1、華北電網售電市場品質分析分析決策(BW)系統 (一期)BW 系統技術與接口架構目錄文檔技術術語112BW 項目概述22.12.2BW 項目背景2數據倉庫、商業智能與分析決策（BW）23SAP BW 系統技術介紹43.1SAP BW 模塊介紹4數據抽取模塊.43.1.5數據與管理模塊5業務瀏覽器模塊6應用管理.7數據開放服務7P 模塊介紹83.23.3SSAP BW 與其它系統的集成.3.3.3BW 與 SAP 系統的集成9BW 與非 SAP 系統的集成9普通文件9數據庫直連11SOAP12第數據抽取13消息中間件14系統共享 BW 系統數據15第4應用系統分析18現有應用系統分析18主要4.1

2、5BW 系統總體技術架構205.1BW 系統架構設計策略.25.1.3BW 系統定位20擴展策略21集成策略225.25.3BW 系統技術架構24B報表展示架構27集成 BW 中的報表數據27界面風格與布局配置27客戶化開發報表的展示2.4SP 與華北電網門戶的集成296BW 系統數據模型架構30系統數據流向30企業數據倉庫（EDW）系統架構機制30企業數據倉庫（EDW）數據建模項目建模建議31EDW 建模層次32EDW 模型設計結構336.3.4EDW 方案特點337BW 系統總體實施架構367.1BW 系統硬件架構3.BW 系統和 ECM 系統拓撲圖36BW 系統的硬件配置

3、需求36開發和測試系統配置37生產系統配置38BI 業務分析：BIA38磁盤陣列的需求40小結417.27.3BW 系統網絡架構42BW 系統實施架構4.2BW 系統實施環境43BW 系統(C nt)架構447.4BW 系統安全策略4.3BW 系統實施安全45開發系統45測試系統45生產系統45系統備份策略46BW 系統容災策略46審閱審閱人審閱日期版本簽字更改版本更改日期更改人更改內容描述V1.02009-1-8、兵藍圖初稿V1.12009-1-20增加3.3 和5.3 小節關于SP 報表展示架構的部分。V1.22009-2-6、兵、全面檢查V1.32009-2-16、兵、更新1文檔技術術語

4、BI : Businesselligence，商務智能。指數據倉庫相關技術與應用的通稱。利用各種智能技術，來企業的商業競爭力。CCS : Customer Care Service，客戶服務。: Customer Relationship Management，客戶關系管理。ECM : Entrise Customer Management 企業客戶管理。EDW : Entrise Database Warehouse，企業級數據倉庫。: Entrise Resource Planning，企業資源計劃，也叫企業資源規劃。ETL : Extraction, Transformation & L

5、oading，數據抽取、轉換與裝載。SAP BW : SAP Business Information Warehouse，SAP 提供的企業數據倉庫解決方案。包含數據倉庫工作臺組件（Data Warehousing Workbench）、OLAP 查詢定義組件（Business Explorer）以及數據裝載流程控制。SP : Sntrise Portal，SAP 企業級門戶。2BW 項目概述2.1BW 項目背景華北電網在兩年半的時間內順利完成了“企業客戶管理系統(ECM)”的實施，為了更好的滿足營銷管理層的需求，華北電網決定實施“售電市場品質分析-分析決策(BW)系統 (一期)”（以下簡稱

6、BW 系期）。其目的在于：以目前 ECM 系統所具備的售電市場品質分析相關信息為數據基礎，構建一個基于數據倉庫的、可擴展的數據分析，并根據用戶的需求，通過對數據的整合、分類、提煉和轉換，實現對海量數據的匯總和分析，設計出各種數據分析報表，形成各類直觀的表現形式，為各級制定具有前瞻性的市場策略提供決策依據。該項目的實施將在全面分析現有各相關系統的基礎上，建設的專業分析決策系統，為售電分析進行數據統計和報表處理，提高運營效率。同時，增強公司市場品質分析力度，提高公司客戶服務管理水平，增加公司經濟效益。項目的實施對于推進 ECM 系統數據分析水平、完善售電市場品質分析工作具有重要的意義。2.2數據倉

7、庫、商業智能與分析決策（BW）要正確了解企業數據倉庫的概念，首先要理解數據倉庫與商務智能之間的關系。商務智能的技術體系主要有數據倉庫（DW）、部分組成。分析處理（OLAP）以及數據挖掘（DM）三數據倉庫是商務智能的基礎，許多基本報表可以由此生成，但它更大的用處是作為進一步分析的數據源。所謂數據倉庫（DW）就是面向的、集成的、穩定的、不同時間的數據集合，用以支持經營管理中的過程。分析和數據挖掘是最常聽到的例子，數據倉庫能供給它們所需要的、整齊一致的數據。分析處理（OLAP）技術則是為了幫助分析、管理從多種角度進行快速、一致、交互地從原始數據中轉化出來的能夠真正為用戶所理解的、并真實反映數據維特性

8、的信息，從而獲得對數據更深入了解的一類軟件技術。數據挖掘（DM）是一種決策支持過程。它主要基于機器學習、統計學等技術，高度自動化地分析企業原有的數據，做出歸納性的推理，從中挖掘出潛在的模式，客戶的行為，幫助企業的決策者調整市場策略，減少風險，的決策。商務智能為更好地制訂和決策提供良好的環境，為特定的應用系統（如客戶關系管理、供應鏈管理SCM、企業資源計劃）提供數據環境和決策分析支持。當面向特定應用的特定和決策問題，商務智能從數據準備做起，建立或虛擬一個集成的數據環境。在集成的數據環境之上，利用科學的決策分析工具，通過數據分析、知識發現等過程，為制訂和決策提供支持。整個過程中，集成的數據環境和決

9、策分析工具是十分重要和不可缺少的。分析決策（BW）項目即是商務智能的一個典型應用。它涵蓋了數據倉庫及個部分的建設。分析處理兩華北電網目前的現狀是大多數日常交易系統保留了大量的歷史數據，但卻缺乏深入的統計與分析功能。通過分析決策系統的建設，首先，業務數據進行抽取、轉換、加載到數據倉庫后，業務數據按歷史順序彼此相關，按高效、易于提取的結構進行，成為企業唯一、真實、準確的報表數據源。在此基礎上，用戶可以對分析結果進行過濾篩選、鉆取追溯和交換維度等特有操作，查詢、分析的展現方式更趨向于多樣化。其次，信息傳輸也將越來越實時化，在周轉時間將大為減少。的中層管理者都可以自己設置所需要的分析功能，從而打破部門

10、分割的局限，幫助決策層進行管理。最后，業務處理流程當中可能出現的問題和也易于及時發現，從而使糾錯工作更加迅速和準確。3SAP BW 系統技術介紹3.1SAP BW 模塊介紹SAP BW 是 SAP 提供的數據倉庫解決方案產品，是整個 SAP 商務智能體系的引擎。它從SAP 系統和其它信息系統中獲取數據，經過轉換后存放在一致的空間。在 BW 的數據基礎上，可以支持計劃與預算的編制、數據的實時分析、管理的生成與定量分析以及等功能。SAP BW 系統由 5 大模塊組成，它們是數據抽取模塊、數據與管理模塊、業務瀏覽器模塊、應用管理以及數據開放服務。圖 3-1 BW 系統模型3.1.1 數據抽取模塊在

11、BW 中，所有的外部系統數據都是通過數據抽取模塊進入 BW 系統的，該模塊包含了與外部系統的接口。下圖表示了BW 基本數據抽取方法。主數據主要是描述型的數據，例如部門、崗位、電費結構、工廠信息等，存放在專門的主數據表中，主要由編碼和相應的描述文字組成。主數據通常在系統初始化的過程中傳入，更新量較少，更新頻率也較低。業務數據主要是業務操作產生的數據，例如繳費信息、崗位分配信息、出入庫等，數據量大且更新頻繁，這部分數據在 BW 中是按存放在信息立方體（InfoCube）中的。下圖給出了 BW 數據結構。圖 3-3 BW 數據概念示意圖為了提高報表生成的效率，信息立方體中的數據通常已經經過了加工、合

12、并或轉換，不是明細的業務數據。但在一些特殊情況下，需要BW 系統出具詳細的業務報表，因此除了信息立方體，BW 還提供了專門的數據對象（ODSO）。ODSO 可以近乎于實時地保存最原始的業務數據，便于BW在此基礎上搭建信息立方體。通常，只有在需要 BW 出具跨系統、跨模塊的明細業務報表時，才要用到 ODSO。單一外部系統內的業務報表，還是建議在各外部系統中自行開發。這是因為 ODSO 的成本高，對外部系統的性能有較大影響，而且過于頻繁的數據更新可能會帶來系統信息的不一致。3.1.3 業務瀏覽器模塊此模塊是BW 的前端模塊，提供最終的用戶報表查詢界面。在這個模塊中，預制了SAP 提供的一些業務內容

13、（Business Content），類似于查詢模版，用戶可以使用這些業務內容，快速建立標準的Excel 查詢報表。此模塊還提供了諸如網頁報表、水晶報表、移動智能報表等功能。在華北電網 BW 系統中，采用業務瀏覽器。通過企業門戶對數據進行查詢與挖掘，并進行圖表展示，而不3.1.4 應用管理此模塊主要提供給 BW 的系統管理員使用，具備一些系統管理方面的功能，如日志查詢、權限管理等。具體的使用方法將在實施過程中考慮，本文檔不再過多涉及這方面的內容。3.1.5 數據開放服務數據開放服務是SAP BW 系統的特色功能之一，通過它可以將BW 系統中的數據抽取到外部系統的數據集市中，下圖是通過數據開放服

14、務抽取數據的框架圖：圖 3-4 數據開放服務數據抽取框架圖BW 系統中的數據對象，如信息塊（InfoCube）、數據對象（DSO）、信息對象（InfoObject）等等，都可作為數據開放服務的數據源。通過數據開放服務模塊，BW 將數據源中的數據抽取到結構化的數據表或平面文件中。經過 SAP 認證的第工具可將數據表中的數據抽取到外部系統中，平面文件也可用 FTP 的方式傳輸到外部系統，供之直接使用。BW 系統，從 BW 系統中獲取數分析與輔助決策中間數據庫提供這樣就使得外部系統像普通數據庫或普通文件那樣，據使用這能來實現BW 系統向數據中心和的數據，后續章節中詳細描述數據開放服務的實現方法。3.

15、2SP 模塊介紹SAP EP 企業門戶模塊作為 SAP 各業務組件對外展示的客戶端進行系統接入的方式，取而代之以瀏覽器的零客戶端方式。S形式，改變了以往通過 SAP GUIP 組件可以直接和SAP BW、SAP、SAP R/3 等系統進行完善的整合，通過一些內建的功能就可以將 SAP BW 等系統中的數據直接發布到SP 中展現。圖 3-5 EP 門戶框架圖門戶內容目錄(PCD)PCD 是門戶對象的集中等一系列對象，是所有服務的服務，包含了用戶、角色、頁面、導航、內容管理、System Landsc位置。通過 SAP 提供的Portal Content Studio 工具可以對門戶內容目錄中的對

16、象進行創建/編輯/瀏覽等操作。頁面設計器設計頁面器是 SP 中的重要組件，設計最終用戶所頁面的內容元素、布局、風格等。系統提供了默認的布局方式，也可以客戶化定制所需要的任何布局方式。內容元素 iView 作為基本組成部分，SAP BW 中的報表或者查詢都可以作為iView 發布在S之一。P 中，作為頁面的內容元素用戶管理與安全管理用戶的，認證，保證門戶內容的安全。通過角色對用戶的權限進行分配，規定用戶可以看到的導航條中菜單的內容、可以那些頁面等。連接器SAP EP 提供了對SAP R/3，JDBC 數據庫，其他符合JCA 架構的應用連接。可以接入多種信息來源，顯示在個性化的SP 頁面中。3.3

17、 SAP BW 與其它系統的集成SAP BW 主要通過數據抽取模塊與其它系統進行集成。面的章節中已經提到，SAP BW 針對SAP 源系統內置了抽取增量數據的抽取器，但對于其他外部系統，不管采用何種接口方式，BW 都不能自動獲取增量數據，需要外部系統主動提供增量數據。因此，在考慮 SAP BW 與其它系統集成時，應對SAP 系統和非SAP 系統分別考慮。3.3.1 BW 與 SAP 系統的集成SAP 系統作為 BW 獲取業務數據的源系統，對 BW 來說是最理想的數據源，因為它們都是基于相同的SAP 技術。它們之間可以通過BI Service API（SAPI）調用，進行數據的傳輸，這樣對BW

18、的實施有很大的好處：減少了大量的ABAP 開發。在SAP 的源系統中，可以直接使用已定義好的數據源，來抽取系統中的透明表、數據視圖和SAP 查詢中的數據。使用 SAP 智能增量處理。數據源中會自動識別增量數據，并自動地、定期地將其抽取到 BW系統中；利用虛擬提供者（Virtual Provider）技術，BW 系統可直接從 SAP 源系統中數據；但是，并非所有 SAP 系統中的數據都可以通過已定義好的數據源進行抽取，在必要情況下，還需要進行特定的開發，本文檔將在第五章中對此進行深入的描述。3.3.2 BW 與非 SAP 系統的集成除了與SAP 系統集成外，SAP BW 還提供了諸如數據庫直連、

19、SOAP、第方式與非SAP 系統的數據進行整合，本節將對所有整合方式逐一進行分析。數據傳輸等接口 普通文件該接口方式最為常見。首先，BW 系統與外部系統約定文件格式。然后外部系統負責將所需數據組合為一個文件，放到指定位置，BW 系統從文件中并裝載數據。通常，文件采用“.CSV”的文本格式，并以 FTP 方式將文件傳送到BW 系統指定的服務器路徑上。技術架構在 BW 中，為普通文件配置一個數據源，然后就可以針對這個數據源進行轉換的設置，以實現靈活的數據載入。BW 普通文件接口方式的結構如下圖所示。圖 3-6 BW 與普通文件的接口方式優點普通文件接口方式的優點是適合主數據及業務數據的傳輸，不需了

20、解外部系統底層數據結構，與操作系統無關。同時，由于BW 內置了對文本文件處理的支持，如果使用文本文件格式，在 BW側只需進行配置，無需任何開發工作。另外，一些手工錄入的數據也可以通過普通文件的方式上傳，彌補了數據來源不足的問題。缺點此接口方式的缺點是安全性差（加密傳輸會帶來較多的開發工作量），實時性差，容錯能力差（缺少日志），并且過于依賴網絡硬件環境。此外，BW 在抽取業務數據時，需要的是相關數據的變化值，外部系統必須能夠把每次業務數據的增量情況到文件中，這部分開發有一定的難度。適用場合此接口方式適用于安全性要求不高，網絡環境穩定，系統數據質量高的場合。實施難度此接口方式實施難點在于外部系統如

21、何正確獲取增量數據，在數據的封裝、傳輸與轉換方面的難度不大。由于此接口方式的日志功能較弱，錯誤處理會帶來額外的實施難度，因此對手工輸入的格式和內容的準確性要求較高。 數據庫直連在SAP BW 中，提供了直接與外部系統數據庫連接的方式。技術架構這種方式需要在外部數據庫中安W 提供的數據共享組件（Database Shared Library）。通過這個組件，外部數據庫被為BW 內部的數據源（DataSource）,然后BW 就像處理其它信息源一樣直接獲取外部數據庫中的底層數據。在這種方式下，BW 系統成為外部數據庫的一個特殊的客戶端。此接口方式的結構如下圖所示。圖 3-7 BW 與外部系統數據庫

22、直連示意圖BW 數據共享組件支持絕大多數主流數據庫，包括DB2、Informix、Oracle、SQL Server 等。但系統數據庫有嚴格要求，例如數據表和字段的名稱必須全部是大寫、名稱不能使用 SQL 中是對過 26 個字符等。不過，這些要求通常可以通過在外部數據庫中建立視的專有名詞、名稱長度圖來得到滿足。優點使用數據庫直連的接口方式既可用來傳輸主數據，也可用來傳輸業務數據。由于采用了數據共享組件，有較完善的日志，因此傳輸過程比較可靠，易，同時傳輸的安全性也大大高于普通文件方式。缺點這種方式也有一些缺點。首先，需要為每個連接的外部數據庫安裝相應的 DBSL 組件（該組件隨BW 軟件提供，無

23、需另行）。其次，需要充分了解外部系統底層數據結構。而且，外部系統數據結構必須能夠標示出增量數據，否則只能進行底層的數據結構改造，會帶來一定的開發難度。第三，由于直接外部系統數據庫，與外部系統的結合過于緊密，外部系統的升級會影響到接口的穩定。最后，必須保證 BW 服務器能夠全設置。到外部系統的數據庫服務器。這可能會影響到公司網絡之間的安適用場合此方式適用于與那些可提供數據結構、可開放數據庫權限、短期不會升級的穩定的外部系統進行連接。實施難度此方式的實施難度與普通文件方式相當，難點也是集中在如何獲取系統的增量數據。 SOAPSOAP 是一套在HTTP 協議上傳輸的，基于XML 語法的內容協議。目前

24、，SOAP 在企業中主要應用于發布Web 服務，整合企業信息化系統。在BW 中，內置了基于SOAP 協議的數據抽取服務，外部系統可以調用此服務向BW 推送數據。技術架構此方式與其它方式最大的不同點在于此方式是由外部系統發起的數據推送，其技術結構如下圖所示。圖 3-8 BW 采用SOAP 接口方式的技術結構優點此接口方式實時性強，特別適用數據的傳輸。BW 提供基于SOAP 的RFC 服務，在BW 側只需要進行配置，無需進行開發。此方式還有其它一些優點，如數據傳輸與操作系統無關，不需了解外部系統底層數據結構，通過HTTPS 連接可以獲得較高的安全性等。另外，由于是外部系統通過 SOAP 直接調用B

25、W 提供的服務，可以及時獲取調用是否成功的信息，因此容錯能力強、易。缺點此方式最大的局限性就是由于 HTTP 傳輸速度慢，不適于大批量的數據傳輸。此外，SOAP 出現的時間不長，許多外部系統當初并沒有調用SOAP 的功能，開發起來難度較高。適用場合此方式只適用數據或小批量業務數據的傳輸，實施難度較大，適用場合有限。實施難度此方式仍舊需要外部系統開發提取增量數據的功能，這部分開發難度與前兩種方式類似。同時，外部系統還需要開發調用基于SOAP 的BW 服務的功能，這部分開發難度較高。 第數據抽取通常，采用前面的接口方式已經可以滿足絕大部分系統的連接需求，但是在一些需要高度靈活性及表現力，以致 BW

26、 報表不能滿足需求的場合，還可以通過一些更加專業的第取。工具來進行數據抽技術架構通常，第抽取工具與第分析工具是同時提供的，如下圖所示。圖3-9 第軟件在BW 中的位置優點第成熟軟件會提供與許多大型系統（如 Sieble 等）連接進行數據抽取的套件，方便用戶使用。同時，這些軟件具備豐富的后端分析工具，可以做出更加靈活、更具表現力的管理報表，也提供的分析與數據挖掘的功能。另外，一些第的數據抽取工具可以提供強大的實時數據抽取功能。在報表實時性要求高的場合下，采用一些成第軟件可以帶來不錯的效果。缺點這種方式的缺點也是顯而易見。第軟件必須單獨，費用較高。而且必須聘請熟悉第軟件的其他協助進行實施，實施周期

27、較長。因此只有在非常必要的情況下才會考慮采用這種接口方式。適用場合此方式適用于連接非SAP 的大型套裝系統，以及需要非常靈活的報表展現形式的場合。實施難度此方式的實施難度較大，需要對第軟件非常熟悉。 消息中間件近年來，隨著J2EE、.Net 等企業級技術架構的流行，消息中間件作為架構中的一員也已被越來越多的企業所采納。消息中間件是應用松耦合的概念而產生的，主要以點對點（P2P）和發布/定閱（PUB/SUB）模式為消息傳輸機制。典型的產品有BEA 的Tuxedo 和IBM 的MQSeries 等。技術架構在普通文件接口方式中，數據按照雙方約定的格式以文件的形式進行傳輸；使用消息中間件接口方式，則

28、是把數據按照約定的格式以消息的形式進行傳輸。BW 和外部系統分別與消息中間件進行連接，收發消息。消息中間件則負責實際的消息傳遞。下圖以MQSeries 為例，說明了消息中間件與SAP 系統的連接方式。圖 3-10 消息中間件與SAP 的連接方式優點這種接口方式克服了普通文件方式中安全性差、容錯能力差、過于依賴網絡硬件環境等弱點，使數據傳輸更加穩定可靠。此外，使用消息中間件可降低 BW 與外部系統之間的偶合性，利于系統的升級。目前，許多企業的 EAI匹配。也采用了消息中間件，這種接口方式也可以和整個企業的信息規劃相缺點這種方式主要的缺點是需要單獨消息中間件并對消息中間件的拓撲結構進行設計，還需要

29、熟悉消息中間件的專業協助實施。而且，BW 與消息中間件的連接依賴于消息中間件提供的接口函數套件，并非每個消息中間件產品都能提供SAP 直接可用的ABAP 接口函數。適用場合實際上，這種接口方式與普通文件方式非常類似，所不同的僅僅是傳輸模式由 FTP 模式改為消息模式，文件格式改為基于 XML 的消息格式。如果有足夠熟悉第式的適用場合相當廣泛。消息中間件的實施，本方實施難度使用這種接口方式，BW 系統與外部系統雙方都需要針對消息中間件進行開發，提供消息的功能，開發難度大于普通文件接口方式。此外，搭建和消息中間件也需要投入大量的工作。3.3.3 第系統共享 BW 系統數據如 3.1.5 小節中介紹

30、的，BW 系統可通過數據開放服務，將數據開放給第開放服務數據傳輸圖：系統，下圖為數據圖 3-11 數據開放服務數據傳輸圖從上圖中可以看到，數據開放服務通過 3 種方式將數據共享到目標系統中。平面文件方式在數據開放服務中可創建文件方式的數據目標類型，BW 將數據對象中的數據按照一定的邏輯抽取到平面文件中，平面文件的更新方式可以是完全更新或增量更新。BW 產生的平面文件可以保存在BW 服務器端，也可保留在本地 PC 端。平面文件的方式類似于前面介紹的普通文件的集成方式，只不過這個平面文件是由BW 系統生成，共享給第系統。這種方式實現起來簡單，且靈活，不用考慮第系統和BW 系統的集成，只需要將生成的

31、平面文件共享給第系統即可。這種方式的缺點是，實時性差，文件更新完成后，不通知第系統進行數據的抽取，只能安排在固定的時間進行抽取，而且需要人工檢查文件更新的完成狀況。數據庫直連方式當數據開放服務創建數據庫表的目標類型時，BW 系統會自動新建一個數據庫表，可按照一定的邏輯將數據對象中的數據抽取到對應的數據庫表中，數據庫表的更新同樣支持完全更新和增量更新。為了使第系統能到BW 系統數據庫表中的數據，需要開放BW 系統數據庫的對外連接服務，BW 系統的數據庫表。允許第系統直接這樣的優點是不需要額外的軟件，配置工作也相對簡單，支持大數據量的交換，但也有一定的缺點，最主要的缺點就是把 BW 系統數據庫權限

32、直接開放給外部系統，從安全性上是有一定風險的。第工具抽取方式當創建第工具抽取方式的目標類型時，BW 系統會相應的創建數據庫表，當進行數據抽取時，BW 系統會根據傳輸規則，將數據傳輸到數據庫表中。可將這種方式加入到處理鏈中，進行自動的數據抽取，當數據傳輸到數據庫表中后，BW 系統可通過API 接口向第工具發出通知，第工具就會啟動，通過調用 API 接口，從 BW 系統的數據庫表中抽取數據，完成后，第工具向 BW 系統發出通知，并修改數據開放服務的器的狀態，標識為完成。通過第工具進行數據傳輸，方便系統，整個過程都是系統自動完成的，而且傳輸效率很高。缺點是需要經過 SAP 認證的第工具，這樣會增加項

33、目實施的成本；需要對接口進行配置和測試，增加了實施的工作量和難度。4主要應用系統分析4.1 現有華北電網應用系統分析分析決策（BW）系統是一個分析性的系統，其主要數據來源是各個業務應用系統。設計BW 時，必須綜合考慮數據源的各種情況，選擇較優的數據集成和連接方式，從而保證數據抽取的穩定性和可靠性。基于華北電網應用系統的現狀，結合 BW 的建設規劃，針對部分應用系統進行了分析，并相應了與BW 的連接方式（參見下表）。編號系統名稱系統簡介操作系統數據庫系統運行狀況數據結構穩定性BW 實施考慮與 BW 的連接方式1ECM企業客戶管理系統，是市場營銷業務管理與信息分析，主要由4 個模塊組成:抄表計費、

34、信用賬款、客戶服務、電能計量。HP-UX 11.23Oracle 10g上線 1 年 4 個月，現有數據量 1100G 左右，數據增長量為 120G/月左右基本穩定第一期實施BI、 FI、DM 與 CS全部的四個模塊利用SAP 內部的模塊與 BW 系統連接，連接方式穩定 可靠。29559895598 系統是給客戶提供咨詢服務的窗口，包括新 報裝、電費與欠費查詢、用戶信息與用電狀態查詢Windo ws 2003Oracle 9i上線兩年多，現有用戶數將近，運行穩定基本穩定BW 二期實施利用系統中的 Connect 去連接。3客戶關系管理( ) 系統 客戶為中心，圍繞著客戶提供市場、銷售與服務等信

35、息，并在不同部門之間共享 。藍圖規劃中4電能 信息 (EDM) 系統電能信息 (EDM) 系統 是實現負控數據、電量數據、電能質量數據以及控制結果信息的集中的、為抄表管理、市場管理、系統建設中數據結構穩定性與 BW 的連接方式編號系統名稱操作系統系統運行狀況系統簡介數據庫BW 實施考慮用電檢查管理、分析決策 (BW) 等系統提供數據共享信息。表 4-1 華北電網主要應用系統分析5BW 系統總體技術架構5.1 BW 系統架構設計策略5.1.1 BW 系統定位數據中心是的國家電網公司 SG186 工程提出了“一個是在國家電網公司構筑由信息網絡、，兩級數據中心，三級應用”的總體思路，這里一個、數據中

36、心、應用集成、企業門戶五部分組成的一體化，為業務應用提供運行、開發、集成等支撐環境；兩級數據中心是指采用總部和網省兩級進行部署，兩級數據中心通過進行數據的級聯。華北電網企業級數據中心是第二級數據中心。華北電網企業級數據中心是企業的業務系統與數據資源進行集中、集成、共享、分析的場地，是工具、流程等的有機組合。從應用層面看，包括基于企業級數據中心建立的分析決策（BW）系統；從數據層面看，包括操作型數據和分析型數據以及數據與數據的集成/整合流程；從基礎設施層和整體 IT 運行面看，包括服務器、網絡、服務。數據中心作為的，通過信息網絡，借助的運行環境對來自不同業務應用的數據依靠的開發路線進行抽取、轉換

37、和加載，加工形成 ODS 數據庫和數據倉庫，用于綜合查詢、分析等綜合應用，并進行數據挖掘等更高級的業務分析應用。同時，將各種來源的數據轉化成實用的業務信息，為企業級信息系統提供完整的數據支撐，實現企業數據的構建、保存、更新、集成、分發與共享。BW 系統是數據中心的重要組成部分從下圖可以看出，華北電網公司BW 系統覆蓋ECM 系統的四大業務模塊，以及和電能信息，其中 ECM 系統在一期集成，二期將集成、95598、電能信息等業務系統。BW 系統是華北電網公司企業級數據中心的重要組成部分，為數據中心提供分析型數據以及經過梳理后的基礎業務數據。圖 5-1 BW 系統覆蓋業務范圍及定位圖5.1.2 擴

38、展策略華北電網BW 的實施將分成 2 個階段完成，第一階段主要是對 ECM 和BW 系統的整合，滿足營銷部門的報表需求，以及對關鍵績效指標的分析需求。第二階段，將逐步實現對 95598、系統和電能計量實時等系統的數據整合，建立起華北電網分析決策。BW 總體實施的分階段、分步驟策略，決定了BW 系統的技術架構也要具有可擴展性：數據建模的擴展性BW 的數據建模將采用企業數據倉庫EDW 的三層架構模型，即數據抽取層、數據合并層、數據分析層。數據抽取層將相關需求數據抽取到 BW 中，而且可按不同系統來源和不同業務需求將數據分組存放，相互之間不受影響。數據合并層可將抽取層中的分組數據進行合并處理或單獨處

39、理，為下一步數據分析做準備。數據分析層主要針對特定需求對合并層數據進行再此合并與匯總。這樣，在分階段實施中，后續階段的實施就不會影響前期實施的數據，實現了建模的擴展性。關于數據建模的具體架構，將在第五章中詳細闡述。BW 接口的擴展性如前面第 3.3 節介紹的那樣，BW 提供了豐富的系統接口與外部系統進行連接。同一種接口方式可以建立多個不同系統的連接，它們獨立進行數據抽取、合并和分析，相互之間不受任何影響，這為BW 源系統的不斷擴展提供了可能。只需在恰當的時機接入恰當的系統，就可以滿足不斷擴展的數據分析需求。硬件的擴展性BW 的實施是一個循序漸進的過程，硬件的投資也可根據需要逐步增加。前期 BW

40、 實施的范圍比較小，對硬件的需求不是很大。而且，計算機硬件推陳出新的速度相當快，折舊速度也快，如果一次性超大規格硬件，對和資源都是一種浪費。因此在進行硬件設計和選型上，要充分考慮硬件的可擴展性。比如，生產系統的數據庫服務器是 BW 系統處理的，隨著 BW 實施的逐漸深入，對它的性能要求一定會越來越高，建議數據庫服務器具有很高的擴展性；BW 需要整合的系統越來越多，數據的量就會快速增加，這就要求磁盤容量可進行不斷的擴展，因此要合理的對硬件進行規劃，使和資源得到合理利用，幫助BW 的分階段實施順利進行。5.1.3 集成策略面第 3.3 節中，介紹了外部系統和BW 系統集成的多種方式。這些方式都有各

41、自的特點和各自的優缺點，結合華北電網的實際需求和系統現狀，以下系統集成方式：與 ECM 系統直接集成BW 可以和 ECM 系統很好的集成在一起，因為它們都是架構在相同的 SAP 技術SAPI 接口，BW 系統可直接調用ECM 系統中的數據源，進行數據的抽取。上。通過在 ECM 系統中，提供了大量的 SAP 標準數據源，這些數據源幾乎涵蓋了所有和業務相關的主數據和業務數據，基本上可以滿足BW 的數據需要。如果某些特殊需求，標準數據源，則可以在 ECM 系統中進行一定的 ABAP 開發，開發出客制化的數據源來滿足特殊需要。因為 ECM 系統的數據量相當大，利用客制化數據源進行數據抽取的性能很難得到

42、保證，而且客制化數據源也會增加后期的難度，因此從原則上不建議使用過多的客制化數據源。ECM 系統作為 BW 系統的源系統，具有很好的可性。第一，數據完全由 ECM 系統本身完成，只要保證 ECM 系統數據的準確性，BW 系統的這個數據源就是可靠的；第二，數據源的增量數據，可由BW 系統中的增量更新策略，自動更新到BW 系統中；第三，在標準數據源中，可對選擇字段進行，從而方便地控制數據提取的范圍。普通文件的集成方式首先，這種集成方式在中心機房良好的內部網絡環境下，其數據傳輸性能與穩定性是可以達到要求的。而且，ECM 與 EAI 系統已經大量采用了普通文件的連接方式，經長期穩定運行，證明這種方式是

43、完全可行的。其次，這種集成方式可以比較方便地切換到消息中間件方式，可充分利用華北電網現有的 EAI。系統經過分析，可以利用BW 的數據對象（DSO）來普通文件數據，通過DSO 本身的特性來對普通文件的增量進行自動識別。每次文件更新，BW 只將增量部分更新到 DSO 中，從而避免了普通文件中增量更新標識工，進而減少了源文件的工作量和出錯幾率。最后，可以建立一個的 FTP 公共服務站點，通過 FTP 方式進行文件傳輸。將不同系統和不的數據放在不同的目錄下，從而達到分散數據集中管理的目的。同在具體實施中要注意普通文件集成的安全性。因為這些文件都是放在共享文件服務器上的，而且加密，被修改的可能性還是存

44、在的。建議對操作加限控制，定期檢查文件數據的準確性。采用這種方式對文本文件的字段格式有一定要求，特別是手工生成的文件。建議前期對文本中的字段格式進行詳細的定義，生成的文件要嚴格按照字段的定義進行，同時盡可能減少手工數據源的數量。與外部數據庫的直連方式在數據庫直連方式中，數據共享組件位于 BW其分布方式如下圖所示。與外部數據庫中間，起到連接兩個系統的作用。圖 5-2 BW 系統的數據共享組件示意圖數據共享組件負責進行數據的傳輸，外部系統的開發工作將集中于如何獲取增量數據。為了獲取系統的增量數據，通常的做法是在每一個包含業務數據的數據表中，建立一個時間戳字段 T 和一個刪除標記字段D。當每次新增或

45、修改某一條的同時，修改字段T，使 T 字段中始終保存該條最近一次修改的時間。當刪除一條時，將字段D 中的內容設置為有效，同時也修改字段T，表示此被刪除。直到該條上傳完畢以后，再從數據庫刪除此。可見，使用這種接口方式不僅要修改外部系統數據表，增加必要的字段，還需要修改外部系統的相關程序，在操作這些數據表的時候按規則更新這兩個字段。不過，這些操作在數據寫入時就已經完成了。上傳則由 BW 數據共享組件來完成，因此減少了一次數據庫的過程，所以理論上講這種方式比普通文件方式更加可靠。但是，并不是所有系統的數據庫都可以被 BW 直接也不是所有的數據庫都能滿足BW 系統的要求。涉及到一些安全和性能方面的考慮

46、，向外部系統共享 BW 系統數據數據共享方式可參見 3.3.3 小節，在本次實施中，建議通過EAI 系統將BW 數據開放服務產分析和輔助決策系統的數據表中，詳細的生的數據出來，經過一定的校驗，直接更新到電力架構圖可參見下圖：圖 5-3 BW 系統向外部系統供數示意圖分析和輔助決策系統數據庫的設計需求，將所需要的數據指標和特性，利用數據開針對電力放服務，在 BW 系統中生成相應的文本文件或數據表，EAI 系統利用與BW 系統間的接口，這些文本文件或數據表，經過一定的校驗，更新到電力分析和輔助決策系統數據庫相應的數據表中，同時更新日志表。在 BW 數據開放服務中，是采用文件方式還是采用數據表的方式

47、進行數據的共享，主要是由所共享的數據量決定的，EAI 系統按文件方式數據的性能要優于數據表數據的性能，一般來說，條數超過 1 萬條的數據建議采用文本文件的方式來進行數據的傳輸。5.2 BW 系統技術架構華北電網已實施的信息系統很多，BW 系統通過不同接口和這些信息系統進行集成。按照擴展策略和結成策略的分析，BW 系統的總體技術架構如下圖所示：圖 5-4 BW 系統總體架構圖應用系統的分析，知道 ECM 系統、95598 系統、經過第四章對主要系統和電能系統等 4 個系統為華北電網計量管實時分析決策數據倉庫系統提供主要數據來源。在一期的實施中，BW 系統的數據主要來源SCM 系統的BI、FI、C

48、S 與 DM 四個模塊，和平面文本文件；在將來二期實施中，將主要對 95598 系統、表分析。系統以及電能計量中的數據進行報目前，華北電網已經使用 WebLogic 的軟件產品搭建了EAI，是大量系統之間，以及和ECM 系統之間進行數據交互的。由于 BW 系統也會與多個系統進行連接，因此有必要EAI與ECM 以及各系統之間現有的連接方式，以便更有針對性地選擇BW 與外部系統的連接方式。目前，EAI 主要通過三種方式和系統連接，并交換數據：表 5-1 EAI 同系統的連接方式連接方式描 述普通文件傳輸與外部系統共用一個文檔服務器，通過對指定文件夾的文件的共享 實現集成。該類接口應用范圍最廣，手持

49、抄表器系統，計量中心系統和智能表售電系統都通過此類接口與EAI 交互。JMS與外部系統建立收發消息包的通道，以實現異步但快速響應和松耦合的集成效果。同時，有消息緩存和重發機制保證消息成功發送。適用于需要接近于實時的響應速度和高可靠性的接口，如與銀電聯網的 雙方對帳查詢和繳費接口。EAI 通過兩種方式和ECM 系統進行連接：表 5-2 EAI 同ECM 系統的連接方式在未來，華北電網各外部系統也將可以通過 EAI 接口向 BW 發送數據，但前提是外部系統具備向EAI 接口發送消息的能力，否則，仍將使用BW 的數據抽取功能獲取外部系統數據。數據倉庫層是數據抽取、分析和合并的，對 BW 的數據和用戶

50、進行管理，為報表展示提供準備。這一層的設計架構將在下一章詳細闡述。同時，BW 系統還利用數據開放服務功能，為電力分析和輔助決策系統數據庫提供的營銷數據。這樣做有許多好處，第一，BW 系統可以提供滿足華北電網具體管理要求的明細報表；第二，由BW 系統向電力分析和輔助決策系統數據庫提供數據，可以保證數據的，同時避免對生產系統產生影響；第三，對 BW 系統數據模型進行整體考慮，可以滿足電力分析和輔助決策系統數據庫的所有數據需求，而且BW 系統擴展性強，可以滿足以后需求的變化。報表展示是和最終用戶進行交互的，展現形式非常多樣，既可展現明細、匯總的報表數據，也可展現曲線走勢圖、餅狀圖、等等的趨勢圖表。在

51、BW 的一期，采用SAP 企業門戶（EP）產品進行報表展現，而不采用 BW 自帶的web服務，因為EP 能夠提供更豐富更靈活的報表展示還是門戶產品，功能非常強大。，并且不僅僅限于展示 BW 中的查詢結果，它連接方式描 述普通文件傳輸與ECM 系統共用一個文檔服務器，通過對指定文件夾的文件的共享實現集成。原理基本同上。RFC/BAPI適用SAP Adapter for WebLogicegration 實現EAI對ECM 功能的同步調 用。同時SAP Adapter 也能通過在ECM 系統中Destination 實現事件觸發的功能。外部系統通過JMS 和Web Service 的連接會通過這種

52、方式與ECM 系統進行交互。Web Service使用基于HTTP 的SOAP 協議實現高速同步功能調用。由于使用了XML 技術和 WSDL 說明文件標準，可實現不同系統間的同步功能調用。適用于對速度要求較高而對可靠性要求較低的接口，如實時繳費的查詢接口。5.3 B報表展示架構5.3.1 集成 BW 中的報表數據報表展示采用的是SP 系統，SP 是獨立于SAP BW 的一套組件，但同時又和 SAP BW結合的非常緊密。SP 報表展示是基于SAP BW 中已經建立的數據模型（Infocube 等信息對象）作為數據來源，使用Query Designer 工具設計數據查詢，并結合Web Applic

53、ation Designer 設計模板風格。SP 支持報表的展示方式非常多，可以支持零客戶端的網頁方式，也可以支持使用微軟EXCEL 工具對數據進行分析。可以將數據顯示為柱狀圖、餅狀圖、表格等多種方式，可以根據不同的報表類型，選擇不同的展示方式。圖 5-5 報表展示流程示意圖5.3.2 界面風格與布局配置SAP EP 提供的界面框架如下圖所示，主要包含頁眉 LOGO 區域，初始導航區域，詳細導航區域和報表展示區域。頁面的風格根據（Theme）可以客戶化定制，是SP 提供的一套風格框架，根據提供的框架標準，可以客戶化報表的展示風格。通常，為了保證 SP 的界面風格和SAP BW 中的報表風格基本

54、一直，使用SP 提供的默認較容易保持。圖 5-6 報表門戶展示示意圖P 的界面是可以根據用戶的個人偏好進行定制的。比如可以把部分區域最小化或最大化；S隱藏某些報表不顯示（管理員可以設定某些報表必須顯示，而有些報表可以允許用戶個性化的隱藏）；此外，還可以把經常使用的連接或頁面放在門戶收藏夾中。5.3.3 客戶化開發報表的展示通常情況下，大部分報表的數據來源都是來自于ECM 企業客戶管理系統。但是根據以往項目實施的一些經驗，的是有部分報表的數據來源于普通的文檔文件、日常手工制作等。對于這一類的報表是不能通過SAP B集成的方式實現的。這類報表的處理方式是，系統提供可以操作的界面，要求用戶首先上傳（

55、或錄入）報表數據，在系統的數據庫中；其次要通過客戶化開發的方式提取數據庫中的數據，以合適的風格展示。圖 5-7 iView 客戶化開發P 提供了Java iView 支持客戶化報表的開發。Java iView 的開發方式如下：S繼承繼承ponent 類，開發iView 組件類ponent 抽象類，并實現 doContent 方法，方法中包含了業務邏輯和展示邏輯。iView 組件類部署到SP在NWDS 開發工具中，通過File Export Par File 部署到SP 運行環境。在SP 運行環境下創建iView在Portal Content Studio 中，基于Par 文件，創建iView。

56、5.3.4 SP 與華北電網門戶的集成1、與華北電網企業門戶之間的單點登錄華北電網企業門戶是華北電網企業員工企業內部信息的，目前華北電網企業門戶已經集成了 OA、郵件、組成部分，是、數據中心等一系列應用。BW 系統作為市場品質分析體系下的一個重要和企業經常關注的重點信息之一，將其于華北電網企業門戶集成有利于系統的業務價值和客戶體驗。根據和華北電網 EAI 項目組的，目前在與華北電網門戶實現單點登錄時，技術實現方式需要由用戶在首次使用時配置BW 系統連接的用戶名和，通過 URL 提交的方式實現完成登錄。2、與華北電網企業門戶之間的界面集成界面集成的方式有以下三種：1）方式一：用戶登錄華北電網企業

57、門戶后，點擊BW 系統，彈出一個BW 系統的新窗口。2）方式二：通過頁面嵌入的方式，用戶登錄華北電網企業門戶后，BW 系統作為一個子頁面嵌入在整體門戶中。此方式需要保持頁面風格與華北門戶一致。3）方式三：將BW 系統中的部分報表單獨摘出來，放在華北門戶的某個位置。 此方式需要特別開發一個適合華北門戶展示的報表頁面，嵌入在華北門戶中。建議采用方式一和方式三相結合的方案，方式三由于工作量較大，需要對摘出的報表數量作限制。6BW 系統數據模型架構信息作為現代企業的寶貴資源，占據著越來越重要的地位。它已經成為現代企業科學管理的基礎，正確決策的前提，有效調控段。能否擁有及時、準確、全面的信息已經成為衡量

58、一個企業是否具有發展潛力的一個重要指標。信息來源于數據，數據來源于企業業務經營活動。所以，如何把企業經營活動相關的數據，通過一定的數據轉換和工作整一定顆粒度的數據，再經過一定的業務邏輯或規則轉換為基于分析和決策的特點需求的信息，就是 BW 系統數據模型設計要解決的主要課題。6.1 系統數據流向任何企業的信息在 BW 系統中都遵循如下的流向方式。原始數據在 BW 經過數據數據從源系統中傳輸過來；數據轉換可根據邏輯需要把不同數據格式的數據歸類為將有效的格式的數據。經過轉換、，將大量的業務數據整合、匯總成精簡的、統計性的數據，并將其作為最終的需求展現基礎。圖 6-1 數據倉庫數據流向圖6.2 企業數

59、據倉庫（EDW）系統架構機制本項目將采用EDW（企業級數據倉庫）的設計理念與方法搭建BW 系統的數據模型技術架構。EDW 是針對整個企業數據倉庫的三層架構模型，即數據抽取層、數據合并層、數據分析層。在數據抽取層，將與需求相關的明細類數據抽取至 BW 中，保證與需求相關的歷史數據和明細數據的完整性以及這些數據和源系統數據的一致性。它能夠防止因需求變更等原因導致的數據損毀后無法恢復原始數據的問題。數據合并層能夠完成對明細級數據的歸并與匯總，同時包含邏輯處理等功能，為分析層提供較為匯總的數據基礎。數據分析層主要針對各類需求對合并層數據進行再度合并與匯總。采用這種設計理念的好處是顯而易見的。一方面，匯總的數據能夠較快的運行并展現在終端界面；另一方面，數據分析層的信息目標是針對多需求而非單一需求，因此可提供更全面更完整的滿足企業分析需要的分析維度。這種設計方式能夠將應用層的設計從企業數據倉庫設計中分離出來。它能夠向整個企業提供一致的，靈活的信息來支持運營層、戰術層、層的應用。6.3 企業數據倉庫（EDW）數據建模6.3.1 項目建模建議就一期實施的特點而言，主要有面，一、業務數據量大，華北電網的業務數據涉及BI、FI、DM 和 CS 四個模塊，這四個模塊的數據日增長量約每天 300 萬條部針對BI、FI、DM 和 CS 四個模塊提出了的大量需求；三、；二、需求多，和KPI 指標規定的數