1、2010-09-04目錄一、數據集成的必要性二、數據集成主要的三種架構三、數據集成相關技術 四、港口數據集成解決方案一、數據集成的必要性一、數據集成的必要性1、使企業數據資源形成互通互聯的整體、使企業數據資源形成互通互聯的整體 在企業發展的過程中,相繼實施了多個應用系統,每一個應用系統都有自己的運行環境和數據存儲方式,從而產生了各種不同的數據源，需要通過數據集成形成互通互聯的整體。2、滿足企業決策分析的需要、滿足企業決策分析的需要 企業管理層越來越需要通過信息系統來分析企業整體運營情況，這就需要對信息資源進行整合，形成統一的系統訪問入口，避免造成新的門戶孤島現象。3、有助于規范數據和代碼統一、

2、有助于規范數據和代碼統一 通過進行數據集成，有助于將不同系統內的代碼進行規范，形成企業統一的代碼標準。二、數據集成主要的三種架構二、數據集成主要的三種架構 單個系統的數據集成架構單個系統的數據集成架構 這是目前主要的數據集成架構，主要是以數據倉庫系統為代表，集成企業主要基礎信息系統的數據，經過ETL（清洗、轉換、裝載）后，轉換為統一標準，按照星形或雪花型模型存儲海量數據，面向企業的人、財、物等主題進行數據分析或挖掘。 特點是多對一架構，轉換條件復雜，支持TB級的數據量處理和加載，數據存儲結構比較特殊，數據加載層級比較清晰。 缺點是數據實時性不高、程序編程量較大，數據是單向傳遞的。 企業統一數據

3、集成架構企業統一數據集成架構 這種架構適合于像大型銀行、稅務、電信等業務比較獨立、組織結構比較復雜的單位，如銀行的總行和分行間的數據交換。 對于企業主要信息系統的數據可直接來自數據中心，擺脫了沒有企業數據中心前的一對多交叉的問題，可有效避免業務系統對應多種管理系統時需要數據重復傳送，比如某個業務系統新增了一個客戶信息，可直接由數據集成平臺發送至數據中心，然后由數據中心根據需要將該信息發送至相關業務系統即可。 這種架構的特點是屬于多對多、數據交換頻繁、數據接口和數據類型比較繁多，可實現數據雙向交換。 企業統一數據集成架構企業統一數據集成架構機構之間數據集成架構機構之間數據集成架構 這種架構一般應

4、用于跨企業、跨機構的數據集成和交換，通過制定統一的數據標準，從而形成一個多機構間的數據集成平臺，比較典型的是銀聯和各商業銀行間的數據集成。 這種架構相對比前兩種架構，具有跨多企業、單位之間多對多，網絡交換較為復雜，數據安全性和實時性較高。 機構之間數據集成架構機構之間數據集成架構三、數據集成相關技術三、數據集成相關技術1、ETL技術技術 一是采用手工編程或專項ETL工具，這種方法是目前使用較為廣泛的方法，適合滿足較為復雜的數據集成需要。具體方式有PB、JAVA、存儲過程、C/C+等，優點是比較靈活，但存在多一種系統的數據集成就會多一倍的工作量，可拓展性和實時性較差； 另外也有針對具體某個行業如

5、銀行的專項ETL工具，可減少部分工作量，但具有較大的局限性，不能夠通用。 手工編程模式手工編程模式 二是采用商品化的數據集成軟件，如Informatica PowerCenter、IBM DataStage、Oracle ODI等，這些軟件可在較大程度上減少人工編程量，提高效率。 2、數據聯邦技術、數據聯邦技術 通過數據聯邦技術可使數據邏輯看上去存在一個位置，但實際的物理位置卻可能在多個數據源中。數據聯邦技術提供了一種為數據提供抽象的數據接口的能力。這些多個數據源組成的虛擬視圖可以使用戶不需要知道數據的物理位置、數據結構和保存方式。 和傳統數據集成方式相比，不需要建立中央數據庫，不保存實際數據

6、，可以最大限度的保證數據的實時性，前提是首先要有統一的代碼標準，否則數據集成質量較差。 數據聯邦技術適合于對集成數據實時性要求比較高，數據經常變換的環境下，不適合于包含過于復雜數據轉換，數據集特別巨大，否則會使數據轉換的效率降低。 比較典型的有BEA AquaLogic Data Services Platform、IBM Federation Server等。 3、基于、基于SOA的數據集成的數據集成 數據聯邦技術從本質上講并非真正意義的數據集成，更接近一種數據庫視圖的方式，但一定程度上解決了集成實時性的問題，近年來，出現了基于SOA架構的數據集成，一般包括兩個過程，一是對數據按照SOA架構

7、的需要進行整合加工形成可用的信息，二是將信息以符合SOA規范的方式發布出去。 3.1 基于基于ODS（操作性）的數據集成（操作性）的數據集成 這是其中的一種實時數據集成模式，是基于數據倉庫演化而來。這種方式 將分散在數據層的數據先整合到ODS或者數據倉庫中進行整合加工，然后再將加工整理后的數據以標準接口發布到中間件層。 建立一個全局的操作型數據庫數據庫ODS(operational data storage)，該數據庫與企業內的其它數據源通過變化數據捕捉（Change Data Capture）方式（包括日志對比、時間戳、全表對比等）保持實時同步，當數據源內的數據發生變化時，CDC會捕捉到變化

8、的數據并通過ETL工具或者其它手段（如主數據管理工具主數據管理工具）同步到ODS數據庫中。ODS數庫內存儲的數據可以分為三層，如下圖所示 3.2 基于中間件的數據集成基于中間件的數據集成 這種模式，數據集成和發布都發生在中間件層，在中間件層上進行數據的加工整合，同時通過中間件層的標準接口將整合后的數據以標準接口發布。 在中間層上存在一個虛擬的數據服務層，該層通過JDBC，FILE適配器、應用適配器等與數據層的各種數據源實現連接，將數據源中的各種數據實體映射成中間件的虛擬數據層的表，虛擬數據層中的表都只有元數據，而不存儲實際的生產數據。 四、港口數據集成解決方案四、港口數據集成解決方案 青島港經過這些年的信息化建設，信息化系統已經覆蓋了港口的主要業務領域，并且積累了大量的數據資源，如何進一步有效利用這些數據資源，使集成后的數據更好用，建議下一步港口的數據集成向企業統一數據集成轉變。 4.14.1向企業統一數據集成架構轉變向企業統一數據集成架構轉變 4.24.2、技術采用和實施步驟、技術采用和實施步驟 在今后數據集成技術的采用上，可綜合采用ETL、數據聯邦等技術，充分