企業級報表中心建設方案_第1頁
企業級報表中心建設方案_第2頁
企業級報表中心建設方案_第3頁
企業級報表中心建設方案_第4頁
企業級報表中心建設方案_第5頁
已閱讀5頁,還剩351頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

目錄

1總述..............................................7

1.1項目背景---------------------------------------------------7

1.2現狀分析---------------------------------------------------8

1.2.1業務系統報表應用現狀----------------------------------------------8

1.2.2企業級數據中心報表應用現狀..................................................................9

1.2.3”一套指標一套表”管理要求----------------------------------------10

1.3建設目標--------------------------------------------------11

1.4建設內容--------------------------------------------------11

1.5應用范圍--------------------------------------------------12

1.6項目進度--------------------------------------------------13

1.7建設原則--------------------------------------------------13

1.7.1集中性原則--------------------------------------------------------13

1.7.2先進性和成熟性原則------------------------------------------------13

1.7.3可靠性和可用性原則-...............................................13

1.7.4前瞻性和擴展性原則------------------------------------------------13

1.7.5效益性和實用性原則-...................-..........................14

1.7.6安全性和保密性原則-...............................................14

1.8建設思路--------------------------------------------------14

1.8.1依托數據中心新架構,突破傳統BI工具局限-........................14

1.8.2基于成熟國產化產品與開源技術方案,深度定制---------------------15

1.8.3無縫集成數據資源管理平臺,實現指標驅動報表---------------------16

1.8.4面向業務人員,高效易用,注重用戶體驗----------------------------17

1

1.9關鍵點----------------------------------------------------18

1.9.1技術選型與創新----------------------------------------------------19

1.9.2指標業務與技術口徑管理..........................................20

1.10遵循標準--------------------------------------------------20

2項目設計方案..........................................22

2.1概述------------------------------------------------------22

2.2報表中心功能設計------------------------------------------23

2.2.1報表中心功能架構--------------------------------------------------23

2.2.2報表應用管理------------------------------------------------------24

2.2.3報表設計管理------------------------------------42

2.2.4數據數據錄入及審批管理-------------------……------------------78

2.2.5報表系統管理------------------------------------------91

2.2.6報表查詢---------------------------------------------------------129

2.3報表中心技術架構設計-------------------------------------133

2.3.1報表中心總體架構-------------------------------------------------133

2.3.2報表中心關鍵技術-------------------------------------------------153

2.3.3集成設計---------------------------------------------------------178

2.4性能和指標目標-------------------------------------------199

2.4.1數據存儲-.......-............................................--199

2.4.2數據備份.........................................................199

2.4.3系統可用性-------------------------------------------------------199

2.4.4性能指標-........................................................199

2.4.5分析模型要求----------------------------------------------------200

2.5安全功能設計---------------------------------------------200

2.5.1身份驗證方式-----------------------------------------------------200

2

2.5.2主機系統安全------------------------------------------------------------------------202

2.5.3應用及數據安全---------------------------------------------------------------------205

2.5.4系統建設過程安全------------------------------------------------------------------211

2.6技術標準及規范遵從----------------------------------------213

2.6.1遵從企業架構(EA)..................................................................................213

2.6.2遵從SOA技術路線.....................................................................................223

2.6.3遵從安全運維要求------------------------------------------------------------------233

2.6.4遵從界面規范要求-.......................................................................................244

2.6.5遵從數據質量管理要求------------------------------------------------------------246

3項目開發及實施.......................................247

3.1實施策略-------------------------------------------------247

3.2實施內容-------------------------------------------------247

3.3規范編制-------------------------------------------------248

3.4需求分析-------------------------------------------------249

3.5系統設計-------------------------------------------------250

3.5.1模型設計------------------------------------------------------------------------------250

3.5.2ETL方案設計..............................................................................................257

3.5.3前端應用設計------------------------------------------------------------------------267

3.6系統開發-------------------------------------------------270

3.6.1數據存儲層構建-..........................................................................................270

3.6.2ETL程序開發..............................................................................................271

3.6.3前端應用開發-..............................................................................................272

3.7系統測試-------------------------------------------------272

3.7.1測試層次------------------------------------------------------------------------------273

3

3.7.2測試資源------------------------------------------------------------------------------273

3.7.3測試方法-----------------------------------------------------------------------------274

3.7.4測試過程------------------------------------------------------------------------------280

3.7.5功能測試-...................................................................................................-283

3.7.6測試內容-......................................................................................................285

3.7.7測試進度安排-..............................................................................................286

3.7.8測試交付物-..................................................................................................287

3.8系統部署-------------------------------------------------288

3.9系統實施重點、難點---------------------------------------290

3.9.1數據質量保證------------------------------------------------------------------------290

3.9.2應用生命周期管理------------------------------------------------------------------291

3.9.3需求梳理-------------------------------292

4項目管理.............................................294

4.1項目組織架構---------------------------------------------295

4.1.1項目組織服務----------------------------------------------------------295

4.1.2項目的組織保證---------------------------------------------------------------------296

4.1.3項目的組織結構---------------------------------------------------------------------296

4.2項目團隊及成員-------------------------------------------298

4.2.1項目團隊------------------------------------------------------------------------------298

4.3項目進度管理---------------------------------------------299

4.4項目里程碑及最終成果-------------------------------------299

4.5項目質量控制---------------------------------------------301

4.5.1管理體系------------------------------------------------------------------------------301

4.5.2先進完整的管理理念---------------------------------------------------------------301

4.5.3強大的支撐工具平臺---------------------------------------------------------------303

4

4.5.4有效的執行保障團隊----------------------------------------------305

4.5.5項目管理流程-----------------------------------------------------305

4.5.6質量保證---------------------------------------------------------316

4.6項目溝通協調----------------------------------------------325

4.6.1分工協作-.......-............................................--325

4.6.2工作匯報-........................................................329

4.6.3設計聯絡會------------------------------------------------------329

4.7項目風險管理----------------------------------------------330

4.7.1技術風險---------------------------------------------------------330

4.7.2業務風險---------------------------------------------------------334

4.7.3管理風險---------------------------------------------------------335

4.8文檔管理--------------------------------------------------336

4.9版本管理--------------------------------------------------337

4.9.1管理原則---------------------------------------------------------337

4.9.2職責與分工-------------------------------------------------------337

4.9.3工作內容---------------------------------------------------------338

4.10系統的驗收-----------------------------------------------343

4.10.1驗收對象-----------------------------------------------------343

4.10.2驗收標準-----------------------------------------------------344

4.10.3驗收方法-……-............................................--344

4.10.4系統試運行-..................................................346

4.10.5系統終驗-....................................................346

4.11交付文檔--------------------------------------------------347

5項目培訓方案..........................................348

5.1總體方案--------------------------------------------------348

5

5.2我方提供的培訓-------------------------------------------348

5.2.1高級培訓---------------------------------------------------------349

5.2.2級培訓-........................................................350

5.2.3初級培訓---------------------------------------------------------350

6

1總述

1.1項目背景

報表是南網公司管理部門掌握公司日常運營情況的主要途徑,亦是日常管理中

重要依據和重要的信息管理載體;同時報表填報是南網公司基層部門重要的日常工

作,因此報表是南網公司內部各層級人員進行信息共享和交流的主要手段。

2014年南方電網公司計劃部開展了“一套指標一套表”的建設工作,完成了基

礎表單和衍生表單的歸類分析和具體表單樣式的全網版本設計工作,并運用實際數

據對從基礎表單到衍生表單最后形成報表的統計全過程,進行關聯性和有效性驗

證。

根據公司企業級決策支持系統及綜合計劃管理委員會的要求,為加快公司“一

套指標一套表”體系的建設,以公司運營管控和決策支持為導向,以“業務管理流

程-決策-指標-數據-報表”為主線,規范公司指標、報表、統計數據管理,建立公

司指標及報表體系管理框架,為公司運營管控和決策提供支撐。

為實現“管理集中化、統計自動化、展現標準化、流程規范化”的報表管理目

標,承接計劃部工作成果,并遵循數據中心總體架構規范,前期公司開展了企業級

報表中心的應用架構、詳細功能、數據架構以及技術架構的設計研究工作,為本項

目的開展建設提供技術指引,奠定了技術基礎。

南方電網公司“十三五”信息化規劃,對數據中心平臺建設提出了開展數據分

析組件建設的要求,其中包括了報表中心、商業智能工具、數據挖掘工具、儀表盤、

機器學習、R語言等的建設。并要求在數據中心平臺升級完善階段(2016-2017年),

建立縱跨網、省、地、縣四級,橫跨業務部門和專業線條的指標級報表中心。

基于以上背景,在公司戰略目標的指引下,借鑒國內外企業級報表中心的最佳

建設經驗,結合南方電網的業務現狀和已有數據條件,充分考慮各業務部門的業務

需求,開展各企業級報表中心建設,為公司決策層提供全面的、可量化的管理依據

7

支持,提升企業管理水平。

1.2現狀分析

1.2.1業務系統報表應用現狀

經過多年的信息化建設,目前南方電網公司已經建成了資產管理系統、財務管

理系統、營銷管理系統、人力資源管理系統、協同辦公系統和綜合管理系統等業務

管理系統等六大業務系統。然而由于現有業務系統既有的建設思路和技術框架等原

因,現有業務系統缺乏對于業務運營的全局統計功能,因此南網公司目前尚未能形

成從業務系統數據源到指標、報表中心,最終形成決策分析內容的縱向一體化聯動

分析體系。目前,南網公司的報表工作仍然處于以分散統計?、手工上報為主的模式。

而這種非自動的統計模式,導致各層關于報表工作存在比較大的矛盾。一方面各業

務部門的統計需求急速增多,統計形式繁多,導致報表統計工作量呈直線上升趨勢。

而另一方面,基層部門則疲于填報各業務部門的報表,嚴重影響了數據的及時性、

準確性和一致性,給報表統計工作帶來了嚴重的挑戰。

總結當前南網公司的報表管理和應用,面臨以下兩個主要矛盾:

報表應用需求強烈:隨著我國經濟的發展以及企業社會關注度的提高,南方電

網各專業、各管理層對來自外部和內部的統計需求日益增加;此外,伴隨南方電網

經營管理水平的不斷提升,對報表的管理和應用已不局限于傳統的固定報表,更側

重于報表個性化以及針對報表數據用戶后續自主化的數據分析。

缺少企業級支撐:對于公司內部運營類數據,一方面,南網公司現有業務系統

建設中雖然也有面向基層統計使用的報表,但一相對分散,數據共享不足,二無法

滿足管理層面的報表需求,三缺乏人工管控,數據欠缺準確性;另一方面,目前南

網公司對報表支撐的應用支撐能力不足,還局限于傳統的固定報表的簡單展示,存

在無法實時、交互性不足等問題。對于公司外部的環境類數據,南網公司缺乏相應

的數據錄入渠道。

8

1.2.2企業級數據中心報表應用現狀

自2009年4月起,公司開展了企業級數據中心建設,目前已完成營銷、財務、

生產、人力資源、基建等業務域明細數據抽取和應用功能建設,并于2015年開始

對數據中心技術架構進行,引入最新的大數據技術方案,形成了傳統集中式數據倉

庫和分布式數據倉庫融合并存的新架構。兩種技術各取所長,面向不同的應用場景,

充分提升數據中心的數據處理效能。

目前,數據中心已有報表相關功能,管理報表26份,業務主題分析功能139

個,涵蓋營銷、財務、人資、生產、物資五大業務域,其中:

營銷域管理報表11份,業務分析主題53個統計分析功能。覆蓋電量電費、停

電管理、客戶服務、客戶檔案、電力交易、購電管理、用電檢查、業擴報裝、計量

管理、稽查等業務。

財務域管理報表4份,業務分析主題27個,覆蓋預算分析、經濟運行監測、

月度經營分析、財務綜合分析、量價費分析、資產綜合分析、財務基礎報表等業務。

人資域管理報表1份,業務分析主題13個,覆蓋員工管理分析、組織機構管

理分析等業務。

生產域管理報表1份,業務分析主題25個,覆蓋生產六大業務主題,包括安

全生產、電網規模、一次設備、二次設備、生產作業、生產指標等。

物資域管理報表9份,業務分析主題21個,涵蓋物資五大業務主題,包括計

劃及需求預測、采購及供應商、履約及品控、倉儲配送、逆向物流等。

由上數據可見,數據中心雖然已經建設相當數量的應用功能,但以主題分析為

主,管理報表相對較少,業務覆蓋面不足,而且主要面向網公司業務部門的管理需

求,無法滿足“網-省-地-縣-所”的五級縱向管理需求。

另一方面,數據中心目前的報表以從業務數據庫數據自動匯總生成的報表為

主,對數據填報錄入的業務需求缺乏必要的支撐。

數據中心采用傳統數據倉庫和商業智能(BI)技術架構,導致需求響應不夠及

9

時,報表實現嚴重依賴IT部門,業務分析人員與數據嚴重隔離,無法第一時間獲

取所需數據開展分析工作。雖然,數據中心也曾在自助分析方面;進行過各種努力,

均因用戶體驗不佳或系統性能存在瓶頸,而無法推廣,限制了系統的實用性。

綜上,有必要對數據中心現有報表相關功能進行提升,支撐業務人員自助統計

分析和報表制作,同時,充分發揮數據中心新架構的技術優勢,提升系統用戶體驗

和系統性能,打破傳統BI工具的局限,確保業務部門的用戶以”零“門檻的報表

使用體驗,及滿足用戶個性化報表需求。

1.2.3“一套指標一套表”管理要求

2014年南方電網公司計劃部已開展“一套指標一套表”的建設工作,完成了基

礎表單和衍生表單的歸類分析和具體表單樣式的全網版本設計工作,并運用實際數

據對從基礎表單到衍生表單最后形成報表的統計全過程,進行關聯性和有效性驗

證。

根據公司企業級決策支持系統及綜合計劃管理委員會的要求,為加快公司“一

套指標一套表”體系的建設,以公司運營管控和決策支持為導向,以“業務管理流

程-決策-指標-數據-報表”為主線,規范公司指標、報表、統計數據管理,建立公

司指標及報表體系管理框架,為公司運營管控和決策提供支撐。

為有效應對上述報表管理和應用的挑戰,承接南方電網公司計劃部的“一套指

標一套表”工作成果,本項目將從技術上全面支撐南方電網公司對企業級管理報表

的管理思路和方式、方法和制度流程,從根本上解決報表中心定義混亂、管理不規

范、冗余、報送流程不清等問題,以信息化為支撐,為基層切實減負,爭取做到網、

省、地、縣四級統一基于公司數據中心開展報表中心相關工作。實現從數據源到指

標、報表中心、決策分析內容的一體化聯動體系架構,實現指標定義、來源、認責

的統一管理,報表中心的統一生成、統一展現、統一管控,以及與決策分析內容的

集成,,實現“管理集中化、統計自動化、展現標準化、流程規范化”的報表管理

目標。

目前市場上主流的“報表中心”解決方案,主要基于傳統BI工具,通過工具

10

自身提供的相關功能來實現各類報表的開發。這種方式只是發揮了工具的作用,解

決了報表中心的功能實現問題,但缺乏對開發完成后的報表的集中管理手段,如:

報表的版本控制、分類查詢統計等。

1.3建設目標

本項目承接公司企業級決策支持系統及綜合計劃管理委員會的要求,開展企業

級報表中心建設工作,面向全網,實現全網統一的自定義報表、集中報表查詢需求,

實現全網統一報表數據錄入,支持全網統一報表上報、審批流轉,推動報表的集約

管理,實現一套表管理需求,項目的具體目標是:

(1)基于數據中心新型數據架構,打破傳統BI工具的局限,確保業務部門的

用戶以"零“門檻的報表使用體驗,及滿足用戶個性化報表需求。

(2)實現報表“填報-審批-上報”流程的靈活配置,從根本上解決報表填報工

作的重復填報、審批權限不清晰、報送流程不清等問題,以信息化為支撐,為基層

切實減負,爭取做到網、省、地、縣四級統一基于公司數據中心開展企業級報表中

心相關工作。

1.4建設內容

本項目的工作內容包括:

一、企業級報表中心詳細設計

開展企業級報表中心三大模塊的界面原型與詳細功能設計,為企業級報表中心

開發提供指導,具備包括:

1.填報模塊詳細設計

與數據資源管理平臺元數據管理有效集成,圍繞填報表單配置、填報任務授權、

填報任務執行進行界面原型設計與詳細功能設計,支持對各類填報任務的靈活配置

和管理,實現統一的報表填報入口。

審批模塊詳細設計:圍繞報表審批流程配置、審批流程執行進行界面原型設計

與詳細功能設計,支持固定報表、自助報表的審批任務配置和管理。

11

2.查詢模塊詳細設計

圍繞固定報表、自助報表和自助查詢等相關查詢類型進行界面原型設計與詳細

功能設計,實現各類查詢任務的靈活配置和管理。

二、企業級報表中心開發與實施

遵從企業級報表中心界面原型與詳細功能設計成果進行開發與測試,具備包括:

1.填報模塊開發

圍繞填報表單配置、填報任務授權、填報任務執行進行系統功能開發,支持對

各類填報任務的靈活配置和管理。

2.審批模塊開發

圍繞報表審批流程配置、審批流程執行進行系統功能開發,支持固定報表、自

助報表的審批任務配置和管理。

3.查詢模塊開發

圍繞固定報表、自助報表和自助查詢等相關查詢類型進行系統功能開發,實現

各類查詢任務的靈活配置和管理。

三、報表中心測試

完成報表中心的各項測試工作,包括功能(單元)測試、集成測試、性能測試

與安全測試。

四、開發成果的培訓和技術支持

針對本項目涉及的所有技術資料,提供技術交底和培訓,為設計和開發成果落

地提供技術支持。

1.5應用范圍

本項目由南方電網公司總部組織建設,企業級報表中心建設的項目范圍如下一:

?組織范圍包括公司各業務部門及全網各級單位,覆蓋南網、分省公司、地

市供電局、縣區供電局、供電所等;

?業務范圍,面向全網的管理類報表;

?應用范圍包括:報表查詢、自助統計分析、填報錄入等;

12

?數據范圍包括公司各級單位及部門的管理類數據。

1.6項目進度

本項目的建設進度要求如下:

1)XX公司(下稱“本公司”或“科騰”)保證本項目在合同生效之日起8

個月內完成系統開發及實施,并通過功能驗收。

2)系統上線試運行3個月后完成竣工驗收。

1.7建設原則

1.7.1集中性原則

系統規劃、設計和建設要以管理集中、數據集中、處理集中為原則,統一規劃、

統一標準、統一設備、統一開發與應用。

1.7.2先進性和成熟性原則

用科學的方法進行系統規劃、設計和開發,避免盲目性和隨意性;選擇技術先

進、具有一定代表水平并且成熟的技術方法和產品來建設報表中心。

1.7.3可靠性和可用性原則

系統設計建設應采用高可靠的產品和技術,充分考慮系統的應變能力、容錯能

力和糾錯能力,確保系統運行穩定、安全可靠;系統開發要面向最終用戶,使用戶

對系統易于接受、易于掌握、易于操作,系統功能要實用性強、可用性好,確保系

統能長期、穩定、高效地使用。

1.7.4前瞻性和擴展性原則

系統規劃、設計應具一定的前導和超前意識,確保系統在較長時期內先進和穩

固,同時,還應具有良好的擴展性和升級能力,使系統能夠在面臨業務擴展、數據

13

量快速變化和架構擴展時平滑升級。

1.7.5效益性和實用性原則

系統設計開發應全面考慮系統的經濟效益和社會效益、考慮性能價格比和投入

產出比等諸多因素、考慮經濟投入規模和實際使用價值,系統建設要力求達到經濟

收益好、社會效益高、資金投入少、實用價值高。

1.7.6安全性和保密性原則

從設備安全、網絡安全、數據安全等多角度考慮系統的安全性和保密性,采用

多種手段對安全性和保密性進行控制來確保數據中心數據和信息的安全。

1.8建設思路

XX公司基于對南方電網數據中心、決策支持系統及南方電網十三五信息化系統

規劃,在充分理解企業級報表中心需求的基礎上,提出如下幾點建設思路:

1.8.1依托數據中心新架構,突破傳統BI工具局限

南方電網企業級數據中心2010年啟動建設,采用傳統的集中式的數據倉庫技

術架構。在大數據浪潮的沖擊下,2015年數據中心進行架構升級,引入了基于

Hadoop的分布式數據倉庫架構,以及多種大數據存儲與計算技術,形成了融合架

構。企業級報表中心建設應依托新架構,充分利用和發揮大數據組件的功能和特性,

突破傳統BI工具的局限。

首先,傳統BI工具,由于其技術架構針對海量數據的計算能力不足,需通過

建模、二次表、Cube提前進行數據運算匯總。導致無法及時響應業務分析需求,

同時業務人員與數據過度隔離,分析需求的實現嚴重依賴IT部門。在大數據架構,

由于各種分布式存儲與計算技術組件的使用,大大提升了數據處理能力和計算效

率,同時為用戶直接探索明細數據提供了技術基礎。

其次,傳統BI工具,雖然也提供了各種自助分析功能,但都依賴于數據倉庫

二次建模,用戶無法突破主題模型或Cube的限制,構建自身關注的報表。傳統BI

14

工具的自助分析或直接基于數據集,或者在服務器端內存構建Cube模型,來提供

數據互動的功能;前者往往對業務人員使用不夠友好,而后者往往由于大量內存占

用,產生性能瓶頸,導致系統最終不可用。而大數據分布式內存計算組件和分布式

內存數據庫的使用,可以大大改善這方面的問題。

再次,傳統BI工具制作的分析報告只能看而不能動。數據展現是起點,而不

是終點。看到了數據,要能交互式分析,要能深入向下挖掘,要能發現問題,要能

找到答案,還要能采取行動。和數據交互的過程要足夠快,如果用戶每次點擊需要

等三五分鐘才出結果,就無法進行交互分析。在新架構下,基于大數據的處理技術,

對TB-PB級的數據可實現秒級響應;實施和操作簡單,業務人員可直接使用;無

需事先建模,可在分析過程中靈活調整分析維度和報表展現,需求變更可以在一天

之內響應,提升企業的洞察力決策力。

最后,傳統BI的分析針對用戶來說“BI是被動的,而用戶是主動的”,即使是

用戶想要的結果,也必須是用戶主動收集,整理,分析,查看等等的一系列行為。

除了預警系統以外,基本都是人在找數據,無法主動發揮數據價值。通過引入大數

據組件,可以使數據通過機器學習等探索方式,主動挖掘發揮數據本身的價值。為

業務用戶提供管理決策的科學參考依據。

1.8.2基于成熟國產化產品與開源技術方案,深度定制

自商業智能這一領域被開拓以來,國內外BI工具層出不窮。以IBMcognos、

SAPBO.OracleBIEE.MicroStrategy等國外產品傳統BI工具的占據了主流,Qliktech

QlikView.Tableau等新一代BI工具則在大數據時代異軍突起。國外產品化軟件,

雖然技術成熟,但都自成一體,內部封閉,可定制性差。而本項目中要求滿足的中

式報表、以及流程填報正是這些工具所缺乏的。

近年來國產化的軟件也有了很大進一步,也涌現出了支撐敏捷BI的新產品,

而且更貼近國內企業用戶的使用習慣和要求,特別是對中式報表和流程填報的支

撐,但南方電網企業級報表中心有其自身的技術特點和要求:

L本項目要求直接面向用戶開放的是可讀的業務指標庫。現有的BI的工具,

有的面向的用戶的是事先由IT人員預定義的分析模型,有的號稱支撐無模型分析,

15

則需要向用戶開放表模型,再根據庫表模型中的元數據(中文別名等)生成可讀的

模型,供業務人員直接使用。這些方式或是限制了用戶獲取指標的范圍,或是給用

戶自定義分析主題帶來障礙,都不能直接滿足項目要求,需要對軟件進行定制性開

發。

2.本項目要求支撐業務部門自定義流程填報,需要實現報表設計與工作流程引

擎的結合。報表產品往往只支持直接填報,或者簡單流程填報,無法滿足由業務管

理人員直接設計填報樣式、及設置各種填報流程的要求。

3.報表快照及版本控制的要求,目前產品化的報表工具或BI工具,都缺乏這

方面的支持,或是只支撐將報表設計結果簡單的另存為其他名字的文件,或是將報

表導出為Excel、Pdf、html文件等,一方面缺少對設計過程中的版本支撐,另一

方面缺少對報表運行快照的支撐,用戶無法獲取歷史樣式的報表、或者歷史口徑的

報表,而在現實中往往由于組織變動,業務發展等原因,統計口徑雖然發生了變化,

管理部門仍需要查詢歷史狀態的報表和數據,做為管理依據。

4.適應數據中心新架構和系統集成的要求。盡管目前產品化的報表工具或BI

工具都對大數據的相關技術有所支持,但仍存在一些局限,不能充分發揮分布式計

算的特性。

基于以上原因,本項目的建設一方面應該積極吸收國產化產品的優點,不需要

從零做起,另一方面要利用開源的大數據組件和J2EE技術對產品進行深度定制。

1.8.3無縫集成數據資源管理平臺,實現指標驅動報表

如前所述,本項目要求直接面向用戶開放的是可讀的業務指標庫,而指標是由

數據資源管理平臺統一管理的,因此要求報表中心與數據資源管理平臺指標管理的

相關功能無縫集成。

目前數據數據資源管理平臺主要管理指標的業務元數據,需要將其與數據中心

相關的技術元數據進行整合,才能夠形成可支撐分析的指標庫。

在實現無縫集成后,用戶直接面對可讀的業務指標庫,可以無需考慮指標對應

的庫表模型,直接通過所見即所得的方式,構建自己的業務分析主題。當指標口徑

16

發生變化時,用戶可以通過指標口徑的版本管理,形成不同的報表。

通過對指標直接設置預警閾值,引用該指標的相關報表就可以自動產生預警功

能。用戶也可以通過監控指標狀態,管理相關報表的更新狀態。

1.8.4面向業務人員,高效易用,注重用戶體驗

企業級報表中心建設以確保業務部門的用戶以”零“門檻的報表使用體驗為目

標。根據ISO9241-210標準將用戶體驗定義為“人們對于針對使用或期望使用的

產品、系統或者服務的認知印象和回應因此,用戶體驗是主觀的,且其注重實

際應用時的產生的效果。IT應用設計方面的用戶體驗主要是來自用戶和人機界面

的交互過程。

盡管用戶體驗是主觀的,但是仍然可以用相關指標進行評估。可用性(Usability),

是交互式IT產品/系統的重要質量指標,指的是產品對用戶來說有效、易學、高效、

好記、少錯和令人滿意的程度,即用戶能否用產品完成他的任務,效率如何,主觀

感受怎樣,實際上是從用戶角度所看到的產品質量。此外還可以用“有用性(useful)、

可找到性(findable)可獲得性(accessible)滿意度(desirable)可靠性(credible)

價值性(valuable)”等指標進行評價。

從設計產品角度來說,系統必須達到有用、易用、友好并且視覺設計有一定的

吸引力,可以將用戶體驗分為以下五個層次貫徹系統建設:

戰略層:明確商業目標和用戶目標,解決兩者之間的沖突,找到平衡點,確定

產品原則和定位。達到''零”門檻的使用體驗這一用戶體驗的戰略層目標。

范圍層,功能規格和內容說明。應細化不同的功能所面向的用戶,針對用戶的

水平和習慣,指定不同的用戶體驗目標。

結構層,交互設計與信息架構。在收集完用戶需求并將其排列好優先級別之后,

我們對于最終展品將會包括什么特性已經有了清楚的圖像。然而,這些需求并沒有

說明如何將這些分散的片段組成一個整體。

框架層,界面設計、導航設計和信息設計。在充滿概念的結構層中開始形成了

大量的需求,這些需求都是來自我們的戰略目標的需求。在框架層,我們要更進一

步地提煉這些結構,確定很詳細的界面外觀、導航和信息設計,這能讓美色的結構

17

變得更實在。

表現層,視覺設計。要把注意力轉移到用戶會先注意到的那些方面:視覺設計,

這里,內容、功能和美學匯集到一起來產生一個最終設計,這將滿足整體的用戶體

驗目標。

1.9關鍵點

XX公司結合國內外報表中心的最佳建設經驗,為南方電網提供最優的報表解決

方案,同時為了充分發揮電網企業報表中心的集中管理職能,需要理清企業級報表

的設計思路,以解決在分散業務系統和異構數據環境下的報表數據質量不高、制作

過程復雜、開發維護代價高、數據決策支持不到位等報表中心應用問題,重點解決

如下幾個方面的問題:

1.統一工具:改變以往各應用系統自行使用不同類型的報表工具進行開發的模

式,統一企業范圍內的報表工具。通過統一報表工具,一方面統一了相關系統開發

商的技術平臺,保證開發出來的報表形成一致的風格,同時又便于后期的維護;另

一方面,通過統一工具,也可以更方便的對各類系統的報表進行集成,達到集中管

理、集中維護的目的。

2.統一發布:通過報表中心建立一套規范的報表發布流程,將報表設計開發過

程和報表的發布過程銜接起來,形成報表中心的發布機制,同時建立報表中心的元

數據信息、版本管理、訂閱機制、快照等功能,從而形成完整的報表生命周期過程

控制。

3.集中管理:給各類用戶建立一種集中的、統一的報表訪問環境、報表管理環

境,報表中心本身能夠與用戶現有的用戶認證、權限控制模式、運行平臺融合,并

且還需要支持公司門戶的規范要求,以保證輸出的報表能夠在門戶中進行展示。

4.分級應用:報表中心根據用戶信息系統部署模式的不同,可以支持企業集中

一個報表中心,以及省、市多級報表中心的應用模式,通過完整的權限控制機制和

發布機制,能夠將報表物理上發布到報表中心或其它應用系統中,并根據用戶的不

18

同權限實現授權使用,以保證報表操作的安全性。

我公司根據長期的項目建設經驗,認為本項目建設過程有以下幾個關鍵點:

1.9.1技術選型與創新

盡管市面已有很多BI產品和報表產品,大數據的處理技術也發展迅速,由于

本項目的特性和要求,現有的產品和方案并不能直接滿足項FI需求,技術選型和創

新仍然是本項目的一個關鍵。

南網數據中心和業務系統在建設過程中曾引入過各種報表產品和BI產品,本

項目必須謹慎選擇。一方面,由于技術架構的變更和性能提升的要求,必然會引入

新的技術組件或產品,另一方面,由于某些報表產品已在南網大范圍使用,培養了

用戶習慣。因此報表工具產品的選擇應在滿足功能的需求基礎上,考慮用戶的學習

成本,尊重用戶的使用習慣。

目前,與南網規模類似的國內大型企業基于大數據架構的報表中心成功案例極

少。所以本項目必然面臨技術應用難點的突破。數據中心技術架構升級后形成了,

集中式數據倉庫(Oracle)和分布式數據倉庫(Hadoop)并存的融合架構。xx公司

經過對類似項目案例的考察,發現由于分布式數據倉庫受限于大表JOIN性能瓶頸,

只能提供單表的快速查詢;而MPP架構的數據集市則受限于并發訪問請求的性能

瓶頸;所以最后成熟的方案都選擇基于傳統的集中式關系型數據庫(如Oracle.DB2

等)的數據集市,面向用戶查詢。

由此,盡管市面上各種新型產品都宣稱支持Hadoop等分布式數據倉庫,或Mpp

數據集市,但并不一定適合本項目的需求和應用場景,做為本項目的技術基石,關

系項目成敗,須對其詳加考察,謹慎選擇。

對于用戶多維分析的支撐,產品級的解決方案,多是內置的ROLAP(關系型

多維分析)引擎。而ROLAP技術雖然比其他技術成本低廉、維護簡單、需求響應

快速,但是由于其基本原理是將多維查詢轉換為可執行的數據庫查詢語句(SQL),

再將結果集載入應用服務器內存進行進一步計算。其性能同時受限于數據庫的查詢

性能和應用服務器內存與計算性能。特別是內存瓶頸十分明顯,往往導致Cube不

可用。

19

現有的報表或BI產品ROLAP引擎,都缺乏對分布式內存計算技術的支持,因

此無法突破性能瓶頸。本項目必須進行技術創新,基于開源技術,引入基于分布式

內存計算的ROLAP技術,同時可以引入分布式內存數據庫與其適配,全面提升性

能,保障系統可用性。

止匕外,本項目還需要報表快照與版本控制、報表數據自動刷新等方面的技術創

新。

1.9.2指標業務與技術口徑管理

報表中心要求向用戶開放業務指標庫,并基于指標庫設計各種報表和填報。按

照數據中心架構,指標由數據資源管理平臺統一管理,而H前數據資源管理平臺只

是實現了對指標業務口徑的管理,報表中心必須實現指標業務口徑與技術口徑的集

成,即實現數據中心業務元數據與技術元數據的統一。由于業務口徑與技術口徑的

分離管理,必須建立嚴密的管理的流程,避免業務口徑與技術口徑脫節。因此,指

標元數據的數據質量也是報表中心在未來運營中成敗的關鍵。

按照“一套指標,-一套表”的管理要求,南網的業務指標定義應該是全網統一。

但是由于現實管理的需要,指標口徑在不同的部門或單位存在不同的版本,另外一

些指標則可能同時存在實際運營口徑和修正口徑等情況。報表中心必須支持用戶在

不同的場景選擇不同的口徑版本。

1.10遵循標準

科騰在項目建設過程中,嚴格遵照南網要求,所提供的設計成果皆引用國際標

準、國家標準、電力行業標準、工信部部頒制定的最新標準。如果這些標準的內容

有矛盾時,按照最高標準的條款執行或按雙方協商同意的標準或條款執行。遵循南

方電網的相關標準和規劃,包括但不限于:

1.《南方電網“十二五”信息化規劃》

2.《南方電網基本數據集標準》

3.《南方電網數據模型規范》

4.《南方電網企業信息模型》

20

5.《南方電網信息分類與編碼規范》

6.《南方電網信息安全保障體系》

7.《南方電網數據中心數據接口單元》

8.《南方電網數據中心數據交換規范》

9.《南方電網數據中心數據質量管理規范》

10.《南方電網數據中心元數據管理規范》

11.《南方電網公司SOA框架規范》

12.《南方電網公司SOA信息集成技術規范》

21

2項目設計方案

2.1概述

根據《中國南方電網有限責任公司“十三五”信息化規劃》數據中心平臺技術

架構描述,“報表中心”屬于數據中心平臺數據分析組件層大數據分析工具。

規劃提出了開展數據分析組件建設,包括大數據分析工具和定制應用框架。其

中,大數據分析工具建設,包括報表中心、商業智能工具、數據挖掘工具、儀表盤、

機器學習、R語言等,為大數據環境下的報表生成、數據分析、數據挖掘提供分析

平臺支持;定制應用框架建設,包括展示控制組件、業務服務組件和技術服務組件,

支持快速進行定制化數據分析應用的開發。

在升級完善階段(2016-2017年)要求加強大數據分析組件封裝,建立縱跨網、

省、地、縣四級,橫跨業務部門和專業線條的指標級報表中心。實現定制應用框架,

支持快速應用開發。

大屏觸控一體機桌面電腦移動終端

安全與

亶運營管

標規

準決策分析運營管控知識管理數據增值

用理體系

范系

1運營模式I

元數據I

經營管理數據電網生產運行數據

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論