




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、大數據中心建設思路國網數據中心概念6數據中心物理架構業務系統數據庫服務器業務系統數據庫服務器心跳線心跳線DSO/DM磁帶庫光纖交換機光纖交換機磁盤柜存儲存儲WEB備份服務器BI 應用服務器群應用服務器群ETL/Monitor/AnalysisETLAnalysisHPODSDW/DMBI應用服務器可由多個服務器組成應用集群數據中心建設的終極目標企業統一數據模型數據邊界頂層信息模型實現最終目標的困難11網省電力數據應用所面臨的挑戰網省電力數據應用所面臨的挑戰業務挑戰業務挑戰 現有分析系統僅提供簡單的報表能力,功能單薄 領導層無法從企業全局角度出發對企業各個業務條線進行跨業務、多角度、多層次的綜合
2、分析 業務分析系統多集中于各自專業領域,而跨業務專題的分析應用能力尚不具備 存在相同數據多頭上報并且上報數據不一致的問題 缺乏對現有數據的高級分析應用,沒有合理地發揮和利用網省電力業務數據資產的價值技術挑戰技術挑戰 各個業務系統相互獨立,業務人員難以進行跨系統業務分析 現有分析型系統與相應生產型系統耦合性較強,受到生產型系統影響較大,缺乏對全業務分析的支持 數據不一致問題較嚴重,對于相同業務數據存在多個不同版本 各業務系統自行管理數據,業務數據的含義在企業的各個部門內存在不一致的解釋 各類業務系統內數據質量較低業務因素業務因素 數據分析類型劃分不夠明確 缺少統一的報表與指標體系規范 缺乏明確的
3、數據認責技術因素技術因素 缺乏規范的數據架構 缺乏明確的數據定義 數據分布不合理 數據模型不一致 數據管理不規范 缺乏企業級整合的數據 缺乏有力的系統實施和使用管控機制數據中心的建設策略 短期見效、應用驅動 展現全局指標數據,早出成果,短期見效,以應用促建設 非源頭數據直接導入,健全全局類指標數據 轉移部分業務系統查詢功能 切斷統計途徑推動數據中心應用數據中心建設最終是為解決業務部門專業分析能力而服務,在這個逐步推進、不斷完善成熟的過程中,應著重解決影響應用實用性不強的如下幾點:q好的經驗、方法和操作流程是關鍵,促進信任關系的建立,解決互不信任的局面。q在一套有效的方法的指導下,同時遵照一個好
4、的流程,就容易得到領導支持,得到業務人員的有效參與和技術人員的有力配合 q解決長周期項目中期沒有任何產出的現狀q消除領導及業務人員對數據中心建設疑慮q建設期間、獲取業務人員對實施過程中的認可和支持,從而不斷增強他們對項目的信心及應用實用性的肯定q解決企業數據“進口”與“出口”數據統一q切斷網省業務人員獲取統計數據的其他來源,統一定義從數據中心獲取q切斷業務應用向總部交換數據的其他途徑123業務部門主導過程中不斷出成果切斷原有數據統計、匯報方式數據中心的建設方式 1、自頂向下(追溯法分析應用法) 既先分析報表中指標數據,再根據指標的構成進行追溯分析,直至建設粒度到最小的、不可再分的業務細節數據;
5、這種方式有利于梳理統計類指標,分析企業中各統計指標的口徑。側重縱向數據關聯。 2、自下而上(數據整合法) 這種建設思路是先建立企業的概念模型,然后利用數 據倉庫和企業建模標準等思想進行全面的數據模型設計、物理模型設計。側重橫向分析和標準建設。 3、折中建設建設方法對比方法方法1. 1. 先數據整合先數據整合、再構建分析應用、再構建分析應用方法方法2. 2. 先構建分析先構建分析應用、再進行數據整應用、再進行數據整合(或者不進行全局合(或者不進行全局整合)整合)方法方法3. 3. 邊構建分析邊構建分析應用、邊進行數據整應用、邊進行數據整合合優勢挑戰適用于業務較為簡單或業務需求明確數據基礎較好有成
6、熟建模經驗業務條線復雜、數據基礎水平不一、應用需求層次不同要具備成熟的數據標準和數據模型數據整合投入較大,短期內與分析應用收益不能相符可實行有效的數據質量管理可快速進行分析應用的擴展分析應用快速見效數據質量無法保障只能滿足部門級使用分析應用快速見效逐步深化的建設方法,兼顧效率和可擴展性調動業務驅動力工作方法的統一一致建設團隊的有效分工、協作建議采用方法3進行數據中心數據整合的建設分析應用演進17專業分析建設方法業務驅動力梳理分工協作模式確認建設任務分工實施驗證q業務部門專業分析建設驅動力調研q按專業分析建設指導思路,深化業務部門專業分析需求調研q按數據耦合度分工建設q可按源系統接入管理、數據整
7、合管理、分析應用建設管理的方式分工建設q組建專業分析應用建設團隊,同數據中心運維團隊建立分工協作機制,有效推進數據整合工作q按試點、推廣、驗證的數據中心建設流程迭代完成數據中心逐條線建設策略的部署18選擇合適專業分析應用滿足業務部門需要量身定制的業務需求生產分析舉例n典型日負荷曲線增長趨勢分析n峰谷差分析n責任頻率合格率分析n電壓合格率分析n變壓器負載情況分析安全生產分析舉例n人身事故分析n設備事故分析n電網事故分析n電力設施保護分析n設備障礙情況分析避免綜合統計查詢建設涵蓋面廣、集中展現指標集合的現象解決數據粒度粗放,業務主題分析不夠深入的問題按專業分析條線逐步完成數據整合,有利推動一體化平
8、臺數據中心的建立專業分析深入性強實施路線成熟度高分析深入性強,需求定義嚴謹專業分析內部耦合性強設計結構要求嚴謹專業分析19數據中心共享演進p繼續完善數據交換平臺,提升交換效率、性能,足以支持遠程大數據傳輸的實現。p在服務質量保證方面,關注數據交換場所的安全性、可靠性。p構建數據交換接口區數據接口規范,隨著數據倉庫建設的進度而擴展接口區數據規范。綜合數據交換區域營銷數據交換區域生產數據交換區域ERP數據交換區域共享數據區域設計完善優化完善特定業務需求的級聯要求基本成型完成基于細粒度歷史數據的專業分析數據起步速成完成基于粒度粗放數據的綜合指標查詢數據 21展示層展示層數據分析數據分析應用層應用層數
9、據集市層數據集市層八大業務應用數據和其它外部數據八大業務應用數據和其它外部數據安全生產財務績效設備生產企業數據倉庫企業數據倉庫(EDW)數據倉庫層數據倉庫層數據的抽取數據的抽取/清洗清洗/整合整合數據源層數據源層安全生產分析營銷分析財務績效分析電網運行分析設備生產分析人力資源分析項目分析物資分析綜合統計分析電網運行電力市場分析人力資源項目電力市場營銷物資綜合統計網省電力公司數據倉庫邏輯架構網省電力公司數據倉庫邏輯架構數據應用分析通過企業級數據倉庫及數據集市提供數據支持,并通過前端展示層將分析的結果用合適直觀的方法展現給最終用戶 22數據倉庫能力藍圖數據倉庫數據倉庫集中整合集中整合信息描述信息描
10、述數據移動數據移動分析展現分析展現質量保障質量保障高級應用高級應用提供多維分析能力,使得用戶能夠把一個實體的多項重要屬性定義為多個維度進行深入分析,并能對不同維度值的數據進行比較;同時,還需具備數據挖掘能力,幫助業務分析人員在現有數據中識別數據的模式,針對整個企業的狀況和未來發展作出較完整、合理、準確的分析和預測,從復雜難懂的數據中發掘出指引企業發展需要的路徑提供標準的報表和圖表功能來幫助不同管理層人員做出正確決策;針對具體分析應用建立數據集市為前端提供高效的數據查詢和分析服務為了方便整個數據倉庫保存信息的管理,需要具備強大的元數據管理功能,以實現各類技術術語與流程在企業內部的統一定義通過數據
11、倉庫,使得數據按照業務主題進行存儲,完成對分散數據的整合工作,形成企業內部“唯一事實”提供較強的數據抽取、轉換與加載能力:能夠高效地將前端業務分析所需要的各類數據移動到數據倉庫內,根據預先制定的業務規則對數據進行處理轉換使其符合目標數據格式,并根據前端展現需求提供高性能數據加載機制數據倉庫應該具備完善的數據質量管理機制,確保企業內部數據的一致性與準確性,提升數據倉庫分析結果的可信性23數據應用的業務目標數據應用的業務目標根據對國際先進電力企業的研究,數據應用工作可以通過提高四項能力(即電網安全運營管理、電力營銷及服務、財務績效分析和資源計劃及決策)來促進電網的業務發展。提高電力營銷管理及服務電
12、力營銷管理及服務能力通過對用電量、電費、電價的分析,提高電量的需求預測能力、價格制定能力全面了解用電戶的電力消費和繳費情況,幫助制定相關的用電政策和服務措施.分析營銷手段及效果,提升營銷策略的有效性提高電網安全運營管理電網安全運營管理能力通過對設備和電網的運行狀況、檢修、缺陷、事故的及時準確掌握,提高設備和電網的監控管理能力,科學管理電網設備資源;通過對安全人身傷亡事故的分析,提高事故管理和防范能力提高財務績財務績效分析效分析能力反映企業單位的財務成果;指導企業單位降低成本和費用,增加收入;充分利用資金,創造好的經濟水平員工績效分析,從組織和個人兩個層面為績效管理提供支撐依據。提高資源計劃及決
13、資源計劃及決策策能力完善報表管理,為領導及時提供全面的關鍵業務信息。通過國網業務運行狀態的分析和監控,提高信息預測能力,為領導的科學決策提供保證,電網用戶前臺業務人員后臺管理人員決策領導數據分析應用的業務目標 通過構建四項能力來促進網省電力業務的發展24數據分析應用基本涵蓋了網省電力所有業務數據范圍安全生產分析安全生產分析設備生產分設備生產分析析財務績效分析財務績效分析電網運行分析電網運行分析電力市場分析電力市場分析營銷分析營銷分析人力資源分析人力資源分析物資管理分析物資管理分析項目建設分析項目建設分析業務監控電量電費電價分析銷售分析市場開發分析需求預測營銷分析線損信息分析客戶服務分析機構構成
14、分析定員定崗分析人員組成分析工資分析教育培訓分析績效考核報表與信息查詢銷售分析物資收入經濟分析物資消耗經濟分析物資庫存經濟分析分析預算超時限分析市場信息分析建設情況分析投資情況分析投產效果分析分析與國網公司生產建設過程中發生的各類人身傷亡事故相關的數據統計 設備構成分析設備動態信息分析設備檢修分析設備缺陷分析設備試驗分析財務指標資金分析成本分析利潤和收益分析負荷分析電壓質量分析電量平衡分析網損分析無功補償分析電網保護設備分析交易量分析交易費用分析電力價格分析市場需求預測綜合分析綜合分析計劃統計計劃統計生產經營指標分析用電營業指標分析電網運行產品成本、銷售收入和利潤電網建設安全指標25公司領導公
15、司領導財務人員財務人員生產人員生產人員計劃人員計劃人員調度人員調度人員人資部門人員人資部門人員項目管理人員項目管理人員科信管理人員科信管理人員物資管理人員物資管理人員營銷人員營銷人員電力交易人員電力交易人員網省電力各層次用戶通過數據分析應用而受益26保證設備綜合信息的完保證設備綜合信息的完整性和歷史性整性和歷史性從橫向確保完整性:設備運行的情況設備消耗的水、煤、氣記錄設備運行的可靠性記錄記錄設備的測試信息。從縱向確保歷史性:當期上期歷史同期歷年情況。設備管理監控人員設備管理監控人員/后臺管理人員后臺管理人員數據整合支持數據整合支持統一設備視圖統一設備視圖設備臺帳信息 設備檢修設備測試設備故障設
16、備運行設備消耗設備事故設備環境設備可靠性其他信息(ODS)數據倉庫ODS保障數據的時實可訪問性數據倉庫保障數據的歷史性統一信息視圖提供了快速訪問主題全面信息的能力某電力設備某電力設備27數據倉庫建設策略比較數據倉庫建設策略比較l 重復的ETL發開和數據整合,人力資源浪費l 重復的ETL工具,前端分析工具,數據倉庫平臺軟件的購買。l 各自的數據模型設計,集市之與集市之間潛在的新一輪數據整合需求。l 無豐富的企業全面業務數據支撐,無法提供跨系統的業務分析能力l 集市各自的指標定義,在企業層面,容易出現不一致l 不符合一體化平臺建設要求l 形成企業范圍內統一信息視圖l 建設統一、可重用的ETL流程l
17、 ETL工具,前端分析工具、數據倉庫平臺單次采購和開發,有效降低TCOl 豐富的企業全面業務數據支撐,領導以及業務人員能夠得到更加豐富的數據l 各業務部門可根據自身需求在統一數據倉庫平臺上建設更深層次的高級數據分析應用l 建設元數據管理機制實現企業內術語理解一致l 建設統一的數據管理機制,提升數據質量推薦推薦實現方法實現方法I業務部門單獨建立各自數據集市,業務部門單獨建立各自數據集市,無企業層面的統一的規化和協調無企業層面的統一的規化和協調實現方法實現方法II信息部門牽頭統一建設企業數據倉庫信息部門牽頭統一建設企業數據倉庫29企業級概念企業級概念數據模型數據模型企業級邏輯企業級邏輯數據模型數據
18、模型企業企業主題主題主題邏輯數主題邏輯數據模型據模型物理數據模物理數據模型型指導指導細化細化概念數據模型概念數據模型邏輯數據模型邏輯數據模型物理數據模型物理數據模型轉換轉換當前已有成果當前已有成果在相當長的時間內在相當長的時間內,還需要做的事情,還需要做的事情數據模型建立過程30數據集市層數據集市層八大業務應用數據和其它外部數據八大業務應用數據和其它外部數據數據倉庫層數據倉庫層數據源層數據源層直接滿足上層數據分析應用要求查詢的高效性和有針對性高度聚合,一般無明細從技術而言是星型模式數據分析模型數據分析模型主題1主題2主題n基于主題域側重于對企業范圍內數據進行整合明細數據與聚合數據共享從技術而言
19、是3NF模式數據倉庫模型數據倉庫模型數據模型在數據倉庫架構中所處的位置數據模型在數據倉庫架構中所處的位置31企業級概念數據建模目的數據分類數據分類企業級概念數據建模的目標在于識別網省電力業務主要數據主題并根據各個數據主題間的邏輯關系劃分其所屬數據主題域數據主題域。數據主題域集中反映了某方面的業務內容,通常是同類或關聯關系較為緊密的數據主題的集合(如,設備主題包括了設備臺帳、設備運行相關事件等多個數據主題)。數據主題數據主題是任何可以區分的人、地點、事情、事件或概念,信息圍繞它來保存。屬性是實體的特性或數據字段。 數據主題域是數據倉庫主題建模的基礎,通過細化數據主題域即可建立統一的數據倉庫模型。
20、統一數據倉庫模型是網省電力公司數據倉庫進行數據整合和集成的重要基礎。32企業級概念數據建模方法l 數據主題梳理數據主題梳理 通過仔細分析網省電力公司各類業務系統詳細說明,IT咨詢組從中梳理出網省電力公司業務所產生和需要的主要數據并形成數據主題清單,這些數據主要包括主數據和事物數據兩部分:主數據是指客戶、供應商、設備臺帳等,而事務數據是指網省電力具體業務運營所產生的各種事務型數據,例如設備檢測數據、調度交易數據等。l 數據主題域設計數據主題域設計 根據分析整理得到的數據主題清單,并結合這些數據的特點和網省電力具體業務關注點即可歸納抽像出數據主題域。主題域集中反映了主題相關的所有業務內容,通常是同
21、類或關聯關系較為緊密的數據主題集合業務系統詳業務系統詳細說明細說明數據梳理數據主題清數據主題清單單歸納整理數據主題域數據主題域33數據主題域劃分安全安全客戶客戶產品產品設備設備電網電網財務財務資產資產物資物資項目項目人員與組織人員與組織綜合管理綜合管理事故信息事故損失安全記錄客戶基本信息客戶信用客戶電價客戶表計信息客戶變更客戶消費電能客戶帳單客戶負荷客戶繳費客戶產品訂購客戶服務產品基本信息產品價格產品質量保障服務流程定義設備臺帳設備運行設備檢修設備測試設備消耗設備環境設備故障設備可靠性電力成本電力價格電網結構電力調度電量交易電力市場預測科目銀行憑證會計帳簿財務報表資產卡片資產形成資產租賃資產借
22、用資產變更資產調撥資產報廢清產核資資產折舊投融資資產報表物資編碼物資分類物資供應庫存信息出入庫管理項目基本信息項目計劃信息項目設計信息項目管理信息設備材料信息竣工決算信息投產成果信息需求信息費用信息合同信息招投標信息業績信息職位信息調動信息獎懲信息培訓信息社保繳納勞保領用外事信息人員基本信息薪酬福利信息社會保險信息勞動保障信息組織機構信息法律國際任務同業對標審計信息紀檢監察計劃統計服務質量考核服務績效分析34數據主題域詳細解釋安全安全安全主題域用于描述公司運營過程中的人身事故、電網事故和安全損失等信息客戶客戶客戶主題域主要由客戶的基本信息、計費繳費信息、客戶服務信息等組成產品產品產品主題描述國
23、網公司提供的電能、熱能與國網公司所提供服務的描述與價格信息以及與服務質量、服務效果相關的各類記錄設備設備設備主數據用于描述企業發電、輸電、配電、供電四大類在網運行設備資源、運行和調度信息、測試、破壞和環境等信息電網電網電網主題域包含了市場的電力價格、預測相關信息,網間、電廠電網的交易信息,以及電力調度中設備產生的相關數據財務財務財務主題域描述了財務的核算、預算、固定資產、資金數據以及會計賬目等相關數據資產資產資產主題域描述了與國網公司各類有形/無形、金融/非金融資產相關的各類信息物資物資物資主題域描述了與國網公司的物資與物資管理相關的各類信息項目項目項目主數據表達了基建項目、跨區電網項目、投資
24、項目、大修項目、技改項目、科技項目、用戶項目和信息化項目的全生命周期的信息人員與組織人員與組織人員與組織主題域用于描述公司業務活動中人和組織結構信息綜合管理綜合管理綜合管理主題域描述同業對標、計劃統計、審計、法律、紀檢、國際任務信息35概念邏輯模型36主題域概念模型產品產品客戶客戶安全安全設備設備37主題域概念模型(續1)物資物資電網電網資產資產財務財務38主題域概念模型(續2)綜合管理綜合管理項目項目人員與組織人員與組織39數據建模一步工作:在概念模型基礎上,進行國網公司企業級邏輯數據模型的建設安全安全客戶客戶企業級邏輯數據模型包含企業級邏輯數據模型包含近千個近千個業務實體及其復雜的關系業務
25、實體及其復雜的關系巨大的挑戰!巨大的挑戰!NoImageNoImage企業級概念數據模型企業級概念數據模型細化細化企業級邏輯數據模型企業級邏輯數據模型*企業級邏輯數據模型的建設應該以數據倉庫建設為線索,是數據企業級邏輯數據模型的建設應該以數據倉庫建設為線索,是數據倉庫建設的重要工作之一倉庫建設的重要工作之一示例41國網數據中心整體建設目標體系電網安全管理能力營銷管理與服務能力財務績效分析能力資源計劃決策能力數據應用數據應用安全生產分析安全生產分析財務績效分析財務績效分析營銷分析營銷分析電網運行分析電網運行分析設備生產分析設備生產分析人力資源分析人力資源分析計劃統計計劃統計物資管理分析物資管理分
26、析電力市場分析電力市場分析項目建設分析項目建設分析42綜合決策綜合決策 綜合國網業務指標綜合國網業務指標 建立數學模型,綜合預測建立數學模型,綜合預測 完善關鍵績效指標考核等應用完善關鍵績效指標考核等應用 制定策略,指導業務實踐制定策略,指導業務實踐 綜合決策綜合決策 套裝軟件內緊密耦合的專業分析套裝軟件內緊密耦合的專業分析 通用平臺專業分析通用平臺專業分析 跨平臺的專業分析跨平臺的專業分析 .專業分析專業分析績效績效預測預測指標指標挖掘挖掘人力人力生產生產財務財務 套裝軟件業務基礎數據整合套裝軟件業務基礎數據整合 在套裝軟件內部完成在套裝軟件內部完成 非套裝軟件業務在通用平臺非套裝軟件業務在
27、通用平臺 整合完成整合完成 交換數據交換數據基礎數據整合基礎數據整合層次:決策層層次:決策層內容內容: 指標衡量指標衡量層次:管理層層次:管理層內容內容: 專業分析專業分析綜合分析綜合分析物質物質項目項目設備設備計劃計劃國際合作國際合作營銷營銷招投標招投標 營銷分析營銷分析 生產分析生產分析 人力人力分析分析財務財務分析分析物質物質分析分析項目項目分析分析設備設備分析分析計劃計劃分析分析數據中心整體建設目標體系在應用架構上的分解數據中心整體建設目標體系在應用架構上的分解43基于通用平臺實現套裝軟件營銷系統生產系統 EDW-ODS企業級數據倉庫企業級數據倉庫通用平臺前端通用平臺前端集集市市集集市
28、市集集市市集集市市前端集市層數據倉庫層ODS源系統lDW中應用國網統一的數據模型和數據標準;l整合后的數據通過開放平臺前端進行分析和展現;風險風險可擴展性較好,適應未來應用需求的增長有利于企業級數據模型的建立有利于系統間共享信息的統一信息視圖建立44數據中心數據架構46主要數據訪問功能名稱名稱功能功能描述描述報表實現預定義和用戶自定義報表功能通過報表工具實現預定義報表的自動生成和分發,并能夠靈活的實現用戶自定義報表的功能。即席查詢進行準實時的業務查詢通常即席查詢的功能會涉及準實時的業務信息,可以由ODS區提供此類應用,通過即席查詢工具,不需要非常專業的SQL知識即可完成業務信息的即席查看。聯機
29、分析利用OLAP分析手段實現多維度的交叉分析利用OLAP分析工具,配合設計良好的OLAP數據模型,可以完成業務人員對業務的分析需求。聯機分析的手段包括各種圖形和表格的表現,以及在其上進行的多維度的交叉分析,幫助用戶快速定位和解決問題。知識發現利用數據挖掘等知識發現技術實現特定的分析專題用戶獲取有用信息的能力體現了數據倉庫系統的價值,通過數據挖掘等高級統計分析技術,企業能夠將數據源中有價值的信息(知識)識別出來并建立模型,同時通過自動化或半自動化的工具進行分析。知識發現應用根據專題的不同可采用自頂向下或自底向上的方法,分別適應假設驗證和知識發現型的應用。47數據訪問類型、數據訪問復雜度和用戶層次
30、三者間的關系復 雜 分析數據訪問數據訪問復雜度復雜度簡 單 分析初 級 用戶有經驗的用戶報表報表數據分析數據分析查詢查詢知識發現知識發現48數據訪問方式有限制的交互有限制的交互靈活的交互靈活的交互客戶端通過瀏覽器客戶端通過瀏覽器訪問數據訪問數據 靜態發布靜態發布靈活交互架構是能夠提供最豐富功能的最新架構。除了與有限制交互相似的功能外,靈活交互架構能夠生成包含嵌入式、可供交互、可執行內容的報表。這些可交互內容允許用戶體驗到接近于客戶端/服務器模式工具開發的圖形界面使用感覺有限制的交互架構能夠讓用戶訪問實時數據。當用戶點擊鏈接來獲取報表的時候,系統允許用戶在一系列參數中選擇自己需要的條件。這些HT
31、ML頁面(可能是靜態形式,也可能是互動形式)將被返回給Web服務器并展現給最終用戶靜態發布是最直觀的數據訪問架構形式,用戶可以通過點擊相關鏈接得到預先生成的報表。這些報表以HTML文件格式存放在Web服務器內。靜態發布的執行架構僅由Web服務器和瀏覽器兩部分組成。報表通常是通過批量處理執行產生的 數據訪問的實現方式是選擇和評價數據訪問工具的重要參考依據,目前市場上主流的數據訪問實現方式分為兩種: 客戶端-分析服務-數據存儲 客戶端為IE流覽器的數據訪問 第二種數據訪問方式因為更容易部署和更少的維護成本,被廣泛的使用和形成行業標準第二種數據訪問方式因為更容易部署和更少的維護成本,被廣泛的使用和形
32、成行業標準50網省數據倉庫的演進方法是以數據倉庫網省數據倉庫的演進方法是以數據倉庫分析能力和數據整合能力的提高為主線分析能力和數據整合能力的提高為主線索索,提升數據管控能力提升數據管控能力,改進數據質量改進數據質量領導決策能力的提高領導決策能力的提高數據質量的改進數據質量的改進數據管理能力的提升數據管理能力的提升建立領導查詢系統挑選重要的主題進行數據倉庫建設提供聯機分析及綜合報表數據倉庫基本建成提供更全面的數據分析以及數據展現可以對數據進行更深層次的挖掘網省數據中心建設演進方法網省數據中心建設演進方法51國網數據倉庫的總體實施策略是以降低風險為原則,通過試點建設積累經驗,驗證方法,從而形成國網
33、成熟的統一的數據模型標準,數據管控方法和流程,數據倉庫體系架構。然后再大面積推廣。這樣可以保證整個國網數據中心的建設在控、有序。推廣網省試點網省數據模型規劃,提供基于業務數據主題的高層數據邏輯模型和細節數據物理模型業務數據標準和代碼指標準確的建立設計數據倉庫技術架構制定數據標準管理及維護流程制定數據質量管理策略和方法數據按其敏感性、重要性建立一套完整的數據安全分級標準試點的建設試點的建設宣貫推廣宣貫推廣經驗驗證經驗驗證執行督導執行督導典型經驗典型經驗數據模型標準數據倉庫技術架構數據管理標準業務數據標準代碼指標標準采用試點先行,典型經驗指導的策略實行全國網范圍內的數據倉庫建設采用試點先行,典型經
34、驗指導的策略實行全國網范圍內的數據倉庫建設52數據倉庫開發的人員和組織53數據倉庫開發的階段、任務和流程計劃計劃分析分析設計設計開發開發測試測試部署部署項目管理項目管理培訓及運行支持培訓及運行支持復查期望目標復查期望目標定義方案藍圖評估現狀能力定義交付策略評估風險定義定義ETL功能、技功能、技術整合術整合設計開發執行運行環境制定ETL、BI產品測試計劃制定UAT計劃開發BI前臺展現組件安裝開發執行運行環境部署ETL、BI組件測試計劃完成產品測試完成UAT測試評估部署就緒條件完成數據轉換發布應用程序完成操作就緒測試完成性能測試ETL高層需求確高層需求確認認TTTTTTETL開發流程定義開發執行運
35、行環境需求定義報表詳細規范建立概念數據模型定義終端用戶訪問技術需求定義數據分析需求性能測試計劃建立邏輯數據模型建立物理數據模型完成組件測試在整個數據倉庫開發過程中,非常關鍵的任務。需要設入較多的資源54計劃階段計劃階段計劃階段復查期望目標復查期望目標評估現狀能力評估現狀能力定義方案藍圖定義方案藍圖定義交付策略定義交付策略回顧愿景及業務目標回顧愿景及業務目標定義方案藍圖定義方案藍圖確認目標業務流程確認目標業務流程定義交付策略定義交付策略TTTT評定當前業務流程評定當前業務流程評定當前的評定當前的 能力、能力、性能、風險性能、風險 評定當前技術架構評定當前技術架構評定當前應用程序評定當前應用程序評
36、定當前組織架構評定當前組織架構評定元數據及數據管控評定元數據及數據管控評定當前支撐能力評定當前支撐能力應用解決方案應用解決方案 技術解決方案技術解決方案 業務流程變更業務流程變更解決方案解決方案 運維解決方案運維解決方案 定義開發策略定義開發策略定義試點策略定義試點策略定義測試策略定義測試策略定義部署策略定義部署策略定義元數據管理定義元數據管理定義數據管控策略定義數據管控策略55分析階段分析階段分析階段復查期望目標復查期望目標定義數據分析需求定義數據分析需求定義定義ETL高層需求高層需求TT建立概念數據模型建立概念數據模型定義開發、執行、運定義開發、執行、運行環境的具體需求行環境的具體需求定義
37、用戶對數據訪問定義用戶對數據訪問的技術需求的技術需求制定制定UAT測試計劃測試計劃制定產品測試計劃制定產品測試計劃制定性能測試計劃制定性能測試計劃評估風險評估風險56設計階段設計階段設計階段定義定義ETL功能技術整合功能技術整合方案高層需求方案高層需求定義報表詳細規范定義報表詳細規范TT建立邏輯數據模型建立邏輯數據模型制定技術架構及組裝制定技術架構及組裝測試計劃測試計劃設計開發、執行、運設計開發、執行、運行環境的準備行環境的準備57開發階段開發階段開發階段ETL開發流程開發流程BI前臺組件開發前臺組件開發TT建立物理數據模型建立物理數據模型ETL、報表組件測試計、報表組件測試計劃劃開發、執行、
38、運行環開發、執行、運行環境的準備境的準備58測試階段測試階段測試階段組件測試組件測試產品測試產品測試TT性能測試性能測試UAT測試測試確認組件測試周期確認組件測試周期編寫組件測試腳本編寫組件測試腳本發布組件測試環境發布組件測試環境 更新測試源數據更新測試源數據 執行組件測試,并將測試通報錯誤及時修復執行組件測試,并將測試通報錯誤及時修復確認產品測試周期確認產品測試周期編寫產品測試腳本編寫產品測試腳本發布產品測試環境發布產品測試環境 執行產品測試,并將測試通報錯誤及時修復執行產品測試,并將測試通報錯誤及時修復 確認性能測試周期確認性能測試周期編寫性能測試腳本編寫性能測試腳本發布性能測試環境發布性
39、能測試環境 執行性能測試,并將測試通報錯誤及時修復執行性能測試,并將測試通報錯誤及時修復 59部署階段部署階段部署階段評估部署就緒條件評估部署就緒條件 完成數據轉換完成數據轉換TT完成部署就緒測試完成部署就緒測試發布應用發布應用評估應用程序是否就緒評估技術架構及基礎架構是否就緒評估應用程序是否就緒評估技術架構及基礎架構是否就緒 評估部署站點是否部署就緒評估部署站點是否部署就緒 評估國家電網最終用戶人員是否就緒并已培訓完成評估國家電網最終用戶人員是否就緒并已培訓完成 制定偶發性事件處理機制制定偶發性事件處理機制 列出部署就緒每一階段檢查點列出部署就緒每一階段檢查點 準備數據轉換就緒動作準備數據轉
40、換就緒動作準備轉換所需正式數據;清洗數據;創建數據備份準備轉換所需正式數據;清洗數據;創建數據備份執行數據轉換動作執行數據轉換動作驗證轉換后的數據驗證轉換后的數據執行部署測試執行部署測試驗證操作結果驗證操作結果錯誤修復;管理及服務支持能力就緒錯誤修復;管理及服務支持能力就緒確認操作就緒驗證完成確認操作就緒驗證完成通知部署、開發及上線實施團隊通知部署、開發及上線實施團隊FI業務管理模塊業務管理模塊財務ERP業務管理模塊總共有7個分析主題;應用到的分析查詢共有75個;BW分析模型8個;用到的源系統分為2類:ECC P800和外部平面文件;數據源總共有11個:財務管理ERP高級分析應用ERP業務運行指標杜邦財務分析體系地市公司對標指標總賬應收應付固定資產貸款業務量統計憑證錯誤率分析預制憑證完成情況財務開放記賬期間查看包含了13
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年微波和高頻波解凍設備合作協議書
- 環境綠化與公共設施管理合作協議細節
- 農田灌溉系統安裝與維護服務合同
- 網絡廣告行業精準投放與廣告優化策略方案
- 行政管理中的市政學課題研究試題及答案
- 小區智能化設備維護協議
- 2025年照相及電影洗印設備項目建議書
- 酒店租賃運營管理合作協議
- 農業生物技術聯合開發協議
- 社交網絡行業社交平臺建設與運營策略方案
- 《城市綜合防災規劃》教學大綱
- 居家環境安全評估量表-Microsoft-Word-文檔
- SimMarketing營銷模擬實驗室操作篇
- 閥門螺栓使用對照表
- 電診斷在康復醫學中的應用ppt課件
- HDPE塑料檢查井施工工藝
- 新人教版二年級下冊數學第七單元《練習十七》教學課件
- 小學生個人簡歷表
- 股東會授權委托書
- 2021年河北中考理科綜合真題及答案
- 畢業設計工程機械液壓系統及其維護與保養
評論
0/150
提交評論