1、達夢數據交換平臺高效全面的數據集成平臺產品白皮書達夢數據庫有限公司2013年3月本文檔含有達夢數據庫公司的保密的技術和商業信息未經達夢數據庫公司的書面同意，不得進行拷貝、復印或者以其它任何形式向第三方散發。我們盡力保證本文檔中信息的準確和完整，但是仍然可能出現技術或者文字描述的錯誤，如果因使用本文檔造成的損失，達夢概不負責。本文檔中包含的信息可能會隨時更改，恕不另行通知。本文檔發布于2013年3月緒論近幾十年來，信息化的推進和計算機網絡的飛速發展，使得人類社會所積累的數據量已經超過了過去5000年的總和,數據的采集、存儲、處理和傳播的數量也與日俱增。然而，這些為不同應用服務的數據都存儲在許多不

2、同的數據源之中。為更有效地利用這些信息，實現企業或社會組織數據共享與交換，減少數據采集的重復勞動和相應費用，需要從多個分布、異構和自治的數據源中集成數據，同時還需要保持數據在不同系統上的完整性和一致性。因此，如何對數據進行有效的集成已成為增強企業商業競爭力的必然選擇，尤其是對于那些擁有多部門多數據源的大型企業或者組織來說，每一個部門都擁有自己的數據庫，這些數據庫可能是獨立、異構且自治的，為了各部門間更好的合作和數據共享，建立一個完善的數據交換和集成系統是極有應用價值而且尤為重要的。產品介紹達夢數據交換平臺是達夢數據庫有限公司在上十年數據處理經驗的基礎上，研制開發的具有自主版權的、商品化的數據交

3、換與處理平臺。達夢數據交換平臺創新地將傳統的ETL工具（Extract、Transform>Loading與分布式消息平臺相結合，實現了對數據抽取、傳輸、整合、以及裝載的一站式支持，是構建數據中心、數據倉庫、數據交換和數據同步等數據集成類應用的理想平臺，同時也可以作為數據加工處理工具由業務人員直接使用。1功能組件達夢數據交換平臺由以下5個軟件組件構成：達夢數據集成服務器DMETLServerDMETLServer是一個具備數據抽取（Extract、清洗轉換（Transform和裝載（Load功能的通用的數據處理平臺，能夠為異構數據同步和數據整合應用提供完整的支持。達夢數據交換設計器DME

4、TLStudioDMETLStudio提供可視化的管理、流程設計、調試功能管4小44二|,一e*T；M在LT小5*14*苔»*X,FEZMkrMji舞事m.CW0EjrlMBA4>3mn不«flraIffi*i»«葉ls*二AMftrvr«*:17dt*SMWAlS,>.!iLEW<，Ul£Hr-i4嚴5達夢數據交換控制臺DMETLConsoleDMETl服務管理、參數配置與初始化丈中町國加相丁二HE-V.-Ig“HmiHl4IBAft.°nm.owrn¥>i-nJ、迎IU心0£T

5、£.ETDh®-J3T上升RSy-一口MLTLA®L組：好i一.61磔.1-hKtgfi的處泉網，、WibSwcv5陽1.5<3，典理一wr-_，/D*rfRIS#"也3s前占F二N3節£豆慘2（物卻a即1gFXMlStt二SfflSK域IM£由lUiGE-TLIDAPrr_£l£M3ft二臺，0良.«-*S*式LMXII司小"；A3行£狂rrWfliE>rsfi»,.行工慘甘CJ»出.”LMKitULCIt達夢數據總線DMETLDatabus提供基于消

6、息的、可靠的、安全的數據路由與交換服務，用于支持廣域網上跨部門的數據交換達夢數據交換監控系統DMETLWebMonitor對多節點的數據交換網絡的管理、監控以及統計分析功能2版本劃分達夢數據交換平臺分為標準版和企業版，其中標準版主要提供基本的數據整合和數據同步功能，企業版則在標準版的功能上增加了基于消息的數據交換與路由、監控與統計、數據質量管理、數據的發布和訂閱等企業級的功能，其主要功能劃分見下表：標準版企業版數據清洗轉換W增量數據抽取W作業調度W數據發布與訂閱V自定義函數變量W權限管理W操作審計W實時告警W數據質量檢測V數據交換與路由（DMETLDatabusV交換監控與統計（DMETLWe

7、bConsole/典型應用場景達夢數據交換平臺是專門為各種類型的數據集成應用而設計的，使用達夢數據交換平臺，能夠大大縮短數據集成類應用的工作量。達夢數據交換平臺能夠全面而高效的應用于以下一些場景。1異構數據同步異構數據同步是指在一定的時間范圍內，通過特定的技術方式，實現異構數據源之間的數據一致性。數據同步應用通常有以下一些要求：性能要求高，通常要達到準實時同步，因此需要實現增量數據抽取，以達到快速同步和節省網絡資源的；可靠性要求高，故障自動恢復。達夢數據交換平臺可以很好的滿足上述要求，可以支持一對一或者一對多的文件到文件、文件到數據庫、數據庫到數據庫、數據庫到文件的數據同步。同步的源和目的數據

8、可以是不同類型的數據庫或者文件，并且在同步過程中可以對數據格式進行轉換以滿足源和目上的不同應用系統的要求。I一對多數據同步2數據交換數據交換，通常用于不同部門間的業務協同，數據的流動是通常由應用發起并推動的，應用獲取到數據并完成業務邏輯之后，可以把數據存儲下來，也可以丟棄。數據交換應用通常涉及多個部門的數據庫和應用程序，需要部署多臺數據交換服務器。達夢數據交換平臺內置了軟總線功能，可以連接各種應用和數據源，支持數據自動路由，保證數據的安全可靠傳輸。同時達夢數據交換平臺也提供了交換監控配置系統，通過該系統可以實時監控各個交換節點的狀態，并可以可視化的修改交換路由設置。跨部門數據交換3數據整合數據

9、整合是指將不同來源的數據，經過清洗轉換后變為統一格式，存儲到數據中心或者數據倉庫中，用于提供數據共享、數據分析等服務。其特點是：數據量大，數據種類豐富，需要較高的數據裝載性能；對數據質量要求高，需要有豐富易用的數據清洗轉換組件；數據持續集成，不同類型的數據集成的周期可能不同，需要功能強大的作業調度與監控功能；達夢數據交換平臺具有數據分區并發清洗和裝載、數據質量實時檢查以及靈活的調度設置，能全面滿足數據整合應用對于性能、易用性的要求。數據整合功能特色全面的數據源支持支持各種主流數據庫（達夢、Oracle、SQLServer、DB2、Mysql、SybasePostgreSql等的全量和增量數據抽

10、取和裝載，還支持TXT、CSV、Excel、XML文件、消息服務器、LDAP服務器、WebService等數據的抽取和裝載。易用增量數據抽取內置了各種增量數據抽取方式，用戶只需要簡單的設置即可實現對各種數據庫的數據的增量數據抽取，為實時數據集成提供了良好的支持。批量文件處理支持各種文件（txt、excel、xml的批量讀取和解析，能夠自動識別目錄中新增和修改的文件，并且能夠在本地和遠程服務器之間同步文件夾。豐富的數據轉換規則內置近40多種數據清洗轉換規則，支持動態擴充。對于簡繁體、漢字拼音、亂碼處理、字符集轉換、中文數字的中國特有的問題提供內置的轉換規則進行處理。HW.stiff舊*:f才Q/

11、嚕儂，姓等,隘i!£事班，”卜tk鼻,七淮用,由悵帕切山二二北享/K，；一等!9方善宇今也!崎豐利.三停三代合區1去*享批量流程創建提供基于模板的批量流程生成向導，可以快速生成大量類似的轉換，大大提高工作效率企業級的監控提供了BS架構的統一監控系統，通過該系統用戶可以直觀的監控整個多節點數據交換網絡，實時查看后臺流程運行狀態和統計信息、接收和處理系統告警，并執行日常的管理和維護工作。實時數據質量檢查DMETL內置了數據質量檢查功能，能夠根據用戶定義的規則對流程中的數據質量進行檢查，并對結果進行統計。支持用戶定制規則以及和重用質量檢查規則高性能采用基于流水線的多線程架構，并支持數據分區

12、處理和并行裝載，可以充分發揮硬件性能,數據處理能力可以隨著系統CPU和IO性能的提升而同步提升。此外還支持支持單表多連接并行裝載、達夢、oracle的快速裝載接口、文本文件的分段并行解析等。高安全提供基于角色的權限控制機制，責權明晰。支持傳輸加密，不同交換節點之間傳輸的數據都是經過加密處理，防止信息泄露。高可擴展DMETL采用基于OSGI整體架構，系統的各個模塊如流程節點、轉換規則、數據質量檢查規則都支持插件機制，可以根據具體業務需求動態擴展。可編程提供了簡單易用的編程接口API,通過調用該API第三方應用可以快速方便的調用DMETL的各項功能，如創建、執行流程，獲取監控和統計信息等。此外,D

13、METL還支持編寫自定義的java函數和表達式來對數據進行處理。應用案例1浦東新區數據中心該項目建設是結合浦東新區信息化發展的實際需要，解決電子政務建設過程中出現的信息孤島、信息共享交換、數據安全存儲等問題，面向全區主要委辦局，建設一套安全、高效、經濟的公共數據中心，項目總體架構見下圖：項目特色實現了對多個委辦局現運行的各種異質異構系統的支持，包才5windows、linux以及unix操作系統，和對各種品牌的PCServer小型機服務器。支持多種系列的數據庫，包括Oracle系列、SqlServer系列、db2、sybasemysql、DM數據庫、access等多種國內外數據庫管理系統。支持

14、通過政務外網或專用光纖連接對各委辦局的局域網內的數據進行交換，對地理位置從1公里以內到10公里以外的交換節點均支持良好。2國家電網主備調數據同步該項目的最終用戶是國家電網。當前國家電網電力調度系統正面臨大規模的系統升級，而當前的系統升級過程中，面臨的普遍現實是：舊版系統運行了較長的時間，系統相對穩定；新版系統則實現了更多更強的功能。為了保證能夠平穩地完成系統的升級，提高系統白穩定性，需要同時運行新舊兩個版本的系統，并保證新舊系統的數據同步。OpeiLOOO/GiflrlpOpon5OO口鑲0LDM表級MIA比對增量項目特色基于DMETL表級增量抽取和靈活的轉換邏輯，高效的實現了國家電網主備調系

15、統間的異構數據（數據平臺和數據模型、數據結構均不同的同步，保證了新舊調度系統的平穩過渡和升級。3商務部產業安全數據分析平臺該項目的用戶是商務部產業安全調查局。項目的核心建設內容是建設一個數據分析平臺，為產業損害預警業務提供數據，為具體業務部門日常作業提供支撐，為領導決策提供支持。該項目涵蓋了從數據采集、數據加工處理到信息發布的全部過程，系統總體構架采取分層的開放體系結構，分為數據及其管理層、業務分析層、綜合應用層，如下圖所示。項目特色該項目數據來源廣泛，數據結構復雜，主要包括國家統計局數據、海關進出口數據、商務部數據直報系統采集數據、各行業協會和專家報送數據、購買的海外競爭對手貿易數據、調查局自采集數據等。通過DMETL工具實現了上述數據的有效整合，以此為基礎實現了商務部產業安全數據倉庫。4湖北省公安云項目該項目全稱為湖北省公安廳金盾工程多層架構體系建設和政府部門間信息共享平臺項目。項目采用云計算”理念，利用虛擬化技術，對湖北省公安廳現有的軟硬件資源以及內外部數據進行整合，實現基礎設施即服務（I