1、 元數據管理與CWM標準中國移動業務支撐系統部2008-04 提綱 元數據管理基本概念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 元數據定義 “關于數據的數據” 比一般意義的數據范疇更加廣泛 不僅表示數據的類型、名稱、值等信息 提供數據的上下文描述信息（比如數據的所屬區域、取值范圍、數據間的關系、業務規則、數據來源等等） 元數據定義TransformationRelationalTHE BUSINESSPEOPLEPROCESSINFORMATION SYSTEMSPRODUCTSGOALSPROJECTSROLESMeta Data

2、 經營分析系統關心的元數據 業務元數據 業務名稱、定義、描述和別名來表示數據倉庫和業務系統中的各種屬性，直接供業務分析人員使用 業務元數據使經營分析系統使用人員能夠更好理解、使用數據倉庫，成為經營分析系統使用人員在數據倉庫中的業務向導 經營分析系統關心的元數據 技術元數據包含關于經營分析系統數據技術層面的信息 數據源元數據 ETL元數據 數據倉庫元數據 數據集市元數據 OLAP SERVER元數據 前端展現元數據 其它類型元數據（挖掘模型，數據質量分析結果等） 經營分析系統關心的元數據 管理元數據主要是指經營分析日常建設過程中，涉及開發、運維等管理流程的基本信息。 提綱 元數據管理基本概念 元

3、數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 元數據管理 管理商業智能系統的元數據 貫穿商業智能系統的各個環節 系統的各個處理單元由元數據驅動 管理元數據的意義 有哪些數據？ 它們在哪里用？ 它的業務定義是什么？ 這個數據還叫什么？ 它與其他數據有什么關系？ 誰用這個數據？ 為什么我們要用它？ 最近修改是什么時候？ 這些數據準確、可靠嗎？ 管理元數據的意義 理解企業內部的信息資源 動態的數據字典 數據的瀏覽和歸納 數據在企業內部橫向與縱向傳遞 保持整個企業的標準（保證企業內部統一的商業定義和商業規則） 數據生命周期的管理 元數據管理的幾個概

4、念 元模型（元模型（meta model） 元數據庫（元數據庫（metadata repository） 元數據管理工具元數據管理工具 元模型 關于元數據的“元數據” MDIS (Meta Data Interchange Specification) 元數據聯盟發布的元數據交換規范 OIM (Open Information Model) CA和微軟的元數據標準 OIM組織已經解散 CWM (Common Warehouse Metamodel) OMG組織制定的標準 得到IBM，NCR，SAS，Hyperion等公司支持 利用XMI文件進行交換 元數據庫 元數據庫就是一個邏輯上的統一存儲元

5、數據的地點 元數據存儲常見的形式 分散存儲 統一存儲，提供不同接口 統一存儲，統一接口 不同系統各自提供元數據接口n 實現復雜n元數據不統一n易成為”蜘蛛網” 中央元數據存儲n所有存取必須通過中央存儲n元數據交換不方便n中央元數據存儲必須對每一個系統有轉換接口 基于標準的中央元數據管理n有利于元數據的交換n屏蔽系統內部變化n中央元數據只需要統一接口 元數據管理工具 元數據瀏覽、展示和管理的平臺 知名的元數據管理工具包括： Meta Center Meta Matrix Meta Integration DB2, Teradata,Oracle等數據倉庫中的元數據管理模塊 提綱 元數據管理基本概

6、念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 CWM標準背景 OMG是一個擁有500多會員的國際標準化組織，著名的CORBA標準即出自該組織。 公共倉庫元模型（Common Warehouse Metamodel）的主要目的是在異構環境下，幫助不同的數據倉庫工具、平臺和元數據知識庫進行元數據交換。 CWM標準的意義 在形成標準以前，要進行集成的情況如下圖所示：數據建模工具抽取與轉換工具前端訪問工具數據質量評估工具 CWM標準的意義 在形成標準以后的情況如下圖所示：數據建模工具抽取與轉換工具前端訪問工具數據質量評估工具元數據元數據存儲與

7、存儲與管理管理數據倉庫與元數據倉庫與元數據管理員數據管理員 CWM的發展狀況 成為OMG提出的基于模型驅動的體系結構（MDA）的核心之一（其它是MOF和UML） CWM標準概述 CWM標準是基于以下工業標準制定的： UML：它對CWM模型進行建模。 MOF（元對象設施）：為CWM提供元模型的體系結構和元模型語言的語義；MOF反射接口為存取CWM元數據提供通用的API接口；MOF到IDL的映射為存儲CWM元數據提供了一種產生CWM IDL 接口的機制。 XMI（XML元數據交換）：它可以使元數據以XML文件流的方式進行交換。 CORBA IDL(CORBA 接口定義語言) OMG元數據體系結構

8、OMG元數據體系結構實例PRODUCT IDNAMECOLOR1001WidgetRed2002GizmoBlue2002SprogetTeal4034ThingamgigerGray5035GadgetYelloPRODUCT表和它的記錄表和它的記錄M0層層 OMG元數據體系結構實例M1層層ProductIDNameColorisActive=TureDataType=“Integer”DataType=“String”DataType=“String”Product表元數據表元數據 OMG元數據體系結構實例M2層層簡單關系型表元模型簡單關系型表元模型 CWM元數據存儲和接口實現 CWM的發

9、展狀況 絕大多數數據倉庫和元數據管理工具已經支持CWM，或已經宣布在下一版本的產品中支持CWM。 已經被JAVA標準化組織著手擴展到J2EE體系結構當中，形成JMI（JAVA Metadata Interchange）規范、用于OLAP分析的JOLAP規范和用于數據挖掘的JDMAPI規范。 CWM的合作伙伴 IBM Unisys NCR Hyperion Oracle UBS Genesis Dimension EDI CWM的支持者 Deere SUN HP Data Access Inline Aonix Hitachi SAS Meta Integration Adaptive ETL產

10、品產品名稱 是否支持CWM 元數據互換其他形式 IBM DB2 Warehouse Manager 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Oracle Warehouse Builder 是Sagent 不能確定通過API輸入/輸出 Informatica PowerCenter 是Cognos Decision Stream 支持通過API輸入/輸出 TeraData ETL組件 是 OLAP產品產品名稱 是否支持CWM 元數據互換其他形式 Essbase/DB2 OLAP Server 支持Metadata Inter

11、change Specification (MDIS). 通過API輸入/輸出Cognos支持通過API輸入/輸出 Oracle 9i OLAP是 數據倉庫元數據管理產品產品名稱 是否支持CWM 元數據互換其他形式 IBM DB2 Information Catalog 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Warehouse Control Center 是CA PLATINUM Repository 是通過API輸入/輸出 TeraData Meta Data Services 是通過API輸入/輸出Oracle Wa

12、rehouse Builder Repository 是 提綱 元數據管理基本概念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 CWM標準包及其分層倉庫過程倉庫操作轉換XML記錄型多維關系型資源業務信息軟件發布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數據挖掘信息可視化業務術語數據類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 對象模型層（Object Model） CWM對象模型提供了描述其他所有包中元數據模型的類的基本結構和相應的類型屬性 定義基本元模型的概念，關系和約束 包括4

13、個基本包： 核心包(Core) 行為包(Behavioral) 關系包(Relationship) 實例包(Instance) 核心包(Core) 包含所有的其他CWM包使用的基本類和關聯 不依賴于其他任何包 行為包(Behavioral) 描述其他CWM包中類的行為特征，提供一個記錄特定行為請求的基礎 包括操作，方法，接口，事件等 關系包（Relationship） 描述CWM對象之間如何互相聯系 定義了兩種類型的關系 泛化(Generalization) 關聯(Association) 泛化是具有普遍性的對象和特定對象的關聯，層次化的結構 關聯定義兩個或多個類元之間的特定關系 實例包（In

14、stance） 提供了在CWM交換中包含帶值元數據的基礎結構 提綱 元數據管理基本概念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 基礎層（Foundation）倉庫過程倉庫操作轉換XML記錄型多維關系型資源業務信息軟件發布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數據挖掘信息可視化業務術語數據類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 基礎層（Foundation） 提供為駐留在更高層次的其他包提供CWM特定的服務的包 包括6個包 業務信息包（Business Informat

15、ion） 數據類型包（Data Types） 表達式包（Expression） 鍵和索引包（keys and indexes) 軟件部署包（Software Deployment） 類型映射包（Type Mapping） 業務信息包（Business Information） 業務信息元模型給所有CWM包提供了面向業務的信息 這里面向業務指的是支持數據倉庫和商業智能 負責單位 如何聯絡 離線文檔 數據類型包（Data Types） 提供了支持定義基本數據類型和構造數據類型所需的基本結構 CWM模型本身沒有定義很多的現有類型，但是通過數據類型包可以建立目前現有的大多數系統的數據類型 表達式包（E

16、xpression） 表達式包提供了統一的表達式樹的格式，可以為轉換包等進行服務。 統一的表達式格式給ETL流程分析或其他的元數據分析提供了基礎 鍵和索引包（keys and indexes) 鍵和索引包提供了統一的對元素進行標識、排序和檢索所需的方法，可以為其它包所共享 索引是按順序安排的元素列表 鍵是一個或多個值的集合，用來確定數據庫中的某項記錄 類型映射包（Type Mapping） 定義了作為數據類型集合的類型系統的概念，還支持類型系統間數據類型的轉換 主要是為滿足不同系統之間數據類型差異進行的映射 可以進行多對多映射 軟件部署包（Software Deployment） 為了管理和記

17、錄各個軟件系統的分布和連接情況，用于記錄如何使用數據倉庫中的軟件和硬件 捕捉盡可能多的、其他CWM包需要的可操作的配置信息，而不是完全的通用模型 提綱 元數據管理基本概念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 資源層倉庫過程倉庫操作轉換XML記錄型多維關系型資源業務信息軟件發布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數據挖掘信息可視化業務術語數據類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 資源層(Resource) 描述以CWM為中介的交換中既可作為源又可作為目標的數據資

18、源的結構 包括5個包： 對象包（Object Model） 關系型包（Relational） 記錄包（Record） 多維包（Multidimensional） XML包（XML） 對象包（Object Model） CWM已經在對象模型層包含了一個非常好的對象模型 對象模型層的核心包，行為包，關系包和實例包都可以直接建立面向對象的數據資源描述 也用于描述面向對象數據庫的結構和面向對象應用組件的結構 如果遇到不能處理的特征和功能時，可以定義擴展包來增加處理能力 關系型包（Relational） 描述關系數據庫的模式 支持遵從SQL99標準及其面向對象擴展的關系數據庫描述 CWM中最大的包，涉及

19、的類總共68個 Containers Tables, Columns, and Data Types Structured Types and Object Extensions Keys Index Triggers Procedures Instances 列及數據類型應用舉例 記錄包（Record） 提供了用于描述各種面向記錄的數據結構的基礎結構 包括記錄的結構、記錄的實例、記錄文件等 多維包（Multidimensional） 提供關于多維數據庫的通用描述 包括多維模型中的維、維的層次，維屬性、維成員和維度量等數據結構，以及鉆取等操作。 XML包（XML） 定義了 如何在CWM中使用X

20、ML文檔描述數據倉庫中的數據源 XML包 包含用于描述XML數據源的通用類和關聯 基于XML 1.0 提綱 元數據管理基本概念 元數據定義 元數據管理 CWM元數據標準 CWM標準概述 對象模型層 基礎層 資源層 分析層 管理層 分析層倉庫過程倉庫操作轉換XML記錄型多維關系型資源業務信息軟件發布UML 1.3(基礎，行為元素，模型管理)對象 (UML)OLAP分析數據挖掘信息可視化業務術語數據類型表達式鍵索引類型映射管理管理資源資源分析分析基礎基礎對象模型對象模型 轉換包 轉換包包括了所有BI中涉及到ETL過程的元模型 object-oriented Relational record mu

21、ltidimensional XML OLAP data mining. 轉換包 轉換包提供了描述ETL工具和ETL行為的通用的元數據，尤其是： 將ETL過程與數據源和數據目標進行關聯。數據源和數據目標可以是任何類型（基于關系或面向對象），任何粒度（類、屬性、表、列），并且可以是永久的或易失的。 允許將ETL過程進行分組，并行執行以提高執行效率。包括ETL過程的加載情況，行為和步驟等等。 OLAP包 定義了描述OLAP系統通用概念的元數據，提供了將OLAP中的元數據內容映射到具體的物理數據源中的方法 將OLAP模型映射到CWM數據源的包中，如 CWM 關系型包（ROLAP）或 多維包（MOLA

22、P）. 數據挖掘包 為數據挖掘模型構建較為通用的表示方法 除數據挖掘計劃和模型之外其他一些跨挖掘模型或者挖掘工具的實體（例如分類矩陣）以及它們之間的關系和對技術元數據的映射都包括在數據挖掘元數據的范圍之內 經營分析系統中有關數據挖掘的元數據分為七個領域：核心挖掘元數據、和聚類相關的元數據，關聯規則元數據，和監督相關元數據，和分類相關元數據，和近似估計相關的元數據與屬性重要性的元數據 信息可視化包 信息可視化元模型定義了支持信息發布和信息可視化的元數據 CWM信息可視化元模型定義了通用的容器，為實現更加復雜的可視化機制提供支持 業務術語包 數據倉庫的用戶需要很好的理解倉庫中包含的信息，以及倉庫提供的工具。比如信息的意義，信息來自于哪個數據源，有哪些工具可以管理及展示這些信息。 業務術語包提供了能表達業務元數據的實體和關系。 提綱 元數據管理基本概念