中 國 移 動 通 信 企 業 標 準 中國移動省級 NG2-BASS 技術規范 元數據管理分冊（征求意見稿） 版本號： 3.0.0 QB-J-XXX-XXXX The Metadata Management Fascicule of New Generation Business Analysis Support System 中國移動通信有限公司 發布 2010-XX-XX 發布 2010-XX-XX 實施 QB-J-XXX-XXXX I 目 錄 1. 范圍 . 1 2. 規范性引用文件 . 1 3. 術語、 定義和縮略語 . 1 4. 經營分析系統元數據概述 . 3 4.1. 經營分析系統元數據的概念 . 3 4.2. 經營分析系統的元數據管理 . 3 4.2.1. 元數據管理的目標 . 3 4.2.2. 元數據管理的范疇 . 4 4.3. 經營分析系統元模型 . 5 4.3.1. 經營分析系統元模型概述 . 5 4.3.2. CWM 概述 . 6 4.3.3. 經營分析系統元模型與 CWM 的關系 . 9 4.3.4. 經營分析系統核心元模型概述 . 9 5. 元數據管理體系結構 . 10 5.1. 功能結構 . 10 5.2. 技術結構 . 12 6. 元數據管理功能要求 . 13 6.1. 元數據獲取 . 13 6.1.1. 元數據獲取 方式 . 13 6.1.2. 元數據自動獲取管理功能 . 15 6.2. SQL 腳本自動解析 . 16 6.2.1. 運行日志的輸出要求 . 18 6.2.2. SQL 詞法語法分析 . 27 6.2.3. SQL 語義分析與元數據生成 . 28 6.2.4. 元數據入庫處理 . 48 6.2.5. SQL 腳本上下文處理 . 49 6.2.6. 多路徑問題和信息丟失問題的處理 . 54 6.3. TCL 腳本自動解析 . 54 6.4. 元數據存儲 . 56 6.4.1. 元數據存儲內容 . 56 6.4.2. 元數據存儲方式 . 63 6.5. 元數據基本功能 . 64 6.5.1. 元數據維護 . 64 6.5.2. 元數據變更管理 . 64 6.5.3. 元數據查詢 . 64 6.5.4. 元數據統計 . 65 6.5.5. 元數據使用情況統計 . 65 6.6. 元數據分析功能 . 65 6.6.1. 血緣分析 . 65 6.6.2. 影響分析 . 66 6.6.3. 數據地圖展現 . 66 6.6.4. 實體關聯分析 . 73 QB-J-XXX-XXXX II 6.6.5. 實體差異分析 . 73 6.6.6. 主機拓撲分析 . 73 6.6.7. 指標一致性分析 . 74 6.7. 元數據質量管理 . 74 6.7.1. 元數據質量檢查概述 . 74 6.7.2. 元數據一致性檢查 . 74 6.7.3. 元數據關系健全性檢查 . 77 6.7.4. 元數據屬性檢查 . 78 6.8. 元數據服務接口 . 78 6.8.1. 元數據服務接口概述 . 78 6.8.2. 元數據封裝技術實現 . 79 6.8.3. 元數據封裝服務原語 . 80 6.8.4. 元數據封裝接口應用 . 85 6.9. 元數據權限管理 . 95 7. 元數據應用要求 . 95 7.1. 指標庫管理 . 96 7.1.1. 指標庫管理內容 . 96 7.1.2. 指標庫規范化要求 . 96 7.1.3. 指標庫管理功能 . 96 7.2. 業務術語自助學習 . 97 7.2.1. 本地自助學習 . 97 7.2.2. 在線自助學習 . 98 7.3. 維表庫管理 . 98 7.3.1. 管理范圍 . 99 7.3.2. 功能要求 . 99 7.3.3. 管理場景 .107 7.4. 接口管理 .108 7.4.1. 管理范圍 .109 7.4.2. 功能要求 .109 7.5. 兩級經營分析系統元數據互通 . 112 7.5.1. 整體架構 . 112 7.5.2. 元數據互通內容 . 113 7.5.3. 元數據互通接口標準 . 114 7.5.4. 功能要求 . 114 7.6. 輔助應用優化 . 115 7.6.1. 應用開發與上線階段 . 115 7.6.2. 應用評估與優化階段 . 115 7.6.3. 應用退出與恢復階段 . 117 7.7. 輔助安全管理 . 117 7.7.1. 數據敏感度管理 . 117 7.7.2. 敏感度服務接口 . 119 7.7.3. 客戶隱私信息管理 .122 7.7.4. 客戶隱私信息服務接口 .122 7.8. 基于元數據的開發管理 .123 QB-J-XXX-XXXX III 7.8.1. 開發過程與元數據的關系 .124 7.8.2. 開發過程各階段功能 .126 7.9. 數據質量管理 .132 8. 元數據變更流程管理 .133 8.1. 元數據變更流程定義 .133 8.2. 元數據變更流程管理的功能要求 .134 8.3. 元數據變更流程的執行 .135 8.3.1. 指標庫管理中的元數據變更流程 .135 8.3.2. 開發過程中的元數據變更流程 .135 9. 系統技術要求 .136 9.1. 元數據管理遵循標準的要求 .136 9.2. 元數據質量管理要求 .136 9.2.1. 元數據庫中的數據質量要求 .136 9.2.2. 元數據獲取過程的質量要求 .137 9.3. 元數據管理工具的要求 .137 9.3.1. 元數據抽取工具 .138 9.3.2. 元數據展示及分析工具 .138 9.3.3. 元數據維護工具 .138 9.4. 元數據存儲與備份要求 .138 9.4.1. 元數據庫存儲要求 .139 9.4.2. 元數據庫備份要求 .139 9.4.3. 元數據文件存儲要求 .140 10. 編制歷史 .140 附錄：工程實施指導 .145 QB-J-XXX-XXXX IV 前 言 本規范的制訂是為了更好地實現元數據的管理，為包括數據質量管理子系統和經營分析系統的各類基礎技術和應 用提供支撐，加強經營分析系統數據的管控力度，支撐經營分析系統與源系統數據質量協同，增強系統自身管理能力。 本規范主要包括以下幾方面的內容：經營分析系統元數據概述、元數據管理體系結構、元數據功能、元數據應用、元數據變更流程管理和系統技術要求。在元數據功能部分，著重描述了元數據獲取、元數據質量管理和元數據服務接口等功能。在元數據應用部分，重點介紹了兩級經營分析系統元數據互通、維表庫管理和接口管理等應用。 本標準的附錄一為規范性附錄。 本標準由中移有限業 XX 號文件印發。 本規范由中國移動通信有限公司業務支撐系 統部提出并歸口。 本規范由歸口部門負責解釋。 本規范起草單位：中國移動通信有限公司。 本標準主要起草人：段云峰、何鴻凌、付峰、汪峰、尚晶、張韜、易劍光、楊秋雁、崔洪濤、陳濤、曾成、金駿、朱偉勝、秦曉飛、趙靜、徐少飛、鄧青、趙洪松、李倩、謝志崇、田長江、余疆、陶濤、肖建明、張紅星、魏春輝。 QB-J-XXX-XXXX 1 1. 范圍 本標準規定了中國移動省級經營分析系統元數據管理的建設內容，供中國移動內部和廠商共同使用；適用于中國移動各省（直轄市、自治區）公司省級經營分析系統 元數據管理 的建設。 2. 規范性引用文件 下列文件中的條款通過本標準的引用而 成為本標準的條款。凡是標注日期的引用文件，其隨后所有的修改單（不包括勘誤的內容）或修訂版均不適用于本標準。然而，鼓勵根據本標準達成協議的各方對是否使用這些文件的最新版本進行研究。凡是不標注日期的引用文件，其最新版本適用于本標準。 1 中國移動省級 NG2-BASS技術規范總冊（ v3.0） 中國移動通信有限公司 2 中國移動省級 NG2-BASS技術規范數據質量管理子系統分冊 （ v3.0） 中國移動通信有限公司 3. 術語、定義和縮略語 下列術語 、 定義適用于本標準 ： 字母 名詞 解釋 C CWM CWM標準是 OMG組織定義的數據倉庫和相關系統的國際元數據標準， CWM 標準的目的在于使得數據倉庫和商業智能軟件的元數據在分布異構的數據分析工具，數據倉庫平臺，元數據存儲等系統之間交互。 E ETL 特指從數據源系統到經營分析系統的數據抽取、轉換和加載。 G 管理元數據 描述經營分析系統中管理領域相關概念、關系、規則的數據，主要包括人員角色、崗位職責、管理流程等信息。 H 核心元模型 經營分析系統核心元模型是指以 CWM 元模型為基礎擴展而成的，針對經營分析系統進行精確定義的元模型規范，是企業級QB-J-XXX-XXXX 2 字母 名詞 解釋 的元模型規 范。 J 技術元數據 描述經營分析系統中技術領域相關概念、關系、規則的數據。主要包括對數據結構、數據處理方面的特征描述，覆蓋 經營分析系統數據源接口、數據倉庫、 ETL、 OLAP、數據挖掘、前端展現等全部數據處理環節。 S 數據處理過程 包含了從數據源系統到經營分析系統，以及經營分析系統數據倉庫內部的數據抽取、轉換和加載。 S 數據質量監控 自動獲取經營分析系統各環節的數據質量信息，結合元數據庫中的有關檢查規則，對數據質量情況進行診斷，并及時向數據質量監控人員報告。 S 省公司 中國移動通信集團各省移動 通信有限責任公司。 S SQL 腳本 自動解析 經營分析系統的 SQL 腳本中所含的數據處理元數據屬于技術元數據。 SQL 腳本自動解析指通過對 SQL 腳本的詞法、語法和語義分析，自動生成滿足 CWM 規范要求的數據處理元數據的功能。 Y 業務元數據 描述經營分析系統中業務領域相關概念、關系、規則的數據。主要包括業務術語、信息分類、指標定義（指標口徑）、業務規則等信息。 Y 元模型 元模型是構建模型的公共語義基礎，元模型必須達到一定的語義要求，以確保它能對問題領域的各個方面進行建模。必須遵循一系列已有的規則（抽象語言 ）來構建元模型，以保證經營分析系統中的各個軟件產品和工具對元模型具有相同的理解。對于所有希望用元模型解釋共享元數據的產品和工具來說，元模型的含義必須是一致的。 Y 元數據 元數據（ Meta Data）泛指描述領域概念（ Domain Concepts）、領域關系（ Domain Roles）、領域規則（ Domain Rules）的數據，其中，領域語義（ Semantics）和知識（ Knowledge）也屬于元數據的范疇。 QB-J-XXX-XXXX 3 下列 略縮語 適用于本標準 ： 縮寫 英文描述 中文描述 AST Abstract Syntax Tree 抽象語法樹 BOSS Business Operation Support System 業務運營支撐系統 ODS Operational Data Store 操作型數據存儲 CWM Common Warehouse Metamodel 公共倉庫元模型 ETL Extraction Transformation Loading 抽取、轉換和加載 OLAP On-line Analysis Process 在線分析處理 XMI XML Metadata Interchange XML 元數據交換 BI Business Intelligence 商務智能 REST Representational State Transfer 表述性狀態轉移 4. 經營分析系統元數據概述 本章概要介紹了經營分析系統元數據的概念和管理要求，并介紹了經營分析系統中元數據的基本模型。 4.1. 經營分析系統元數據的概念 元數據（ Meta Data）泛指描述領域概念（ Domain Concepts）、領域關系（ Domain Roles）和領域規則（ Domain Rules）的數據。領域語義（ Semantics）和知 識（ Knowledge）也屬于元數據的范疇。 經營分析系統元數據泛指描述中國移動經營分析領域中的概念、關系和規則的數據。 4.2. 經營分析系統的元數據管理 4.2.1. 元數據管理的目標 為增強元數據管理模塊的基礎支撐能力，助力經營分析系統提升數據質量管控能力，NG2-BASS3.0 經營分析系統元數據管理的建設目標是： QB-J-XXX-XXXX 4 建立經營分析系統核心元模型，規范數據處理過程的結構化描述 根據經營分析系統的技術特點和實際建設需要，對 CWM 標準定義的元模型進行擴充和細化，建立經營分析系統核心元模型，細化對數據處理過程的結構化描述，優化 SQL 腳 本自動解析技術，進一步提升數據處理過程元數據的自動獲取能力。 實現兩級經營分析系統元數據互通，促進重點接口數據處理過程規范化 加強對省級經營分析系統生成一級經營分析系統重點接口的數據處理過程元數據的管理，基于互通元數據接口標準實現重點接口元數據的下發和重點接口數據處理過程元數據的上傳，促進兩級系統對重點接口統一理解和數據處理過程規范化。 為經營分析系統基礎技術模塊提供支撐，擴充元數據服務接口 元數據管理模塊為數據封裝和安全管理等經營分析系統的基礎技術模塊提供支撐，存儲數據封裝、數據敏感度和客戶隱私信息等相關 元數據內容，擴充元數據對外服務接口內容，向外部模塊或子系統提供元數據內容和元數據分析服務。 服務經營分析系統數據質量管理子系統，為源系統聯動機制提供基礎支撐 基于元數據管理模塊統一管理指標、接口單元和維表等關鍵數據對象，建立相關應用和管理維護機制，提升關鍵數據對象的元數據質量，為數據質量管理子系統以及源系統協同管理提供元數據內容支撐和應用功能支撐。 4.2.2. 元數據管理的范疇 中國移動經營分析領域可宏觀劃分為三個子領域：技術子領域、業務子領域和管理子領域。相應地，經營分析領域的元數據可以劃分為三類元數據：技術元數據 、業務元數據和管理元數據。這三種元數據的具體描述如下： 技術元數據 技術元數據是描述經營分析系統中技術領域相關概念、關系和規則的數據，主要包括對數據結構、數據處理方面的特征描述，覆蓋 經營分析系統數據源接口、數據倉庫與數據集市存儲、 ETL、 OLAP、數據封裝和前端展現等全部數據處理環節； 業務元數據 業務元數據是描述經營分析系統中業務領域相關概念、關系和規則的數據，主要包括業務術語、信息分類、指標定義和業務規則等信息； QB-J-XXX-XXXX 5 管理元數據 管理元數據是描述經營分析系統中管理領域相關概念、關系和規則的數據，主要包 括人員角色、崗位職責和管理流程等信息。 經營分析系統元數據用于支持經營分析系統的技術活動、管理活動和業務活動，其應用覆蓋經營分析系統技術、管理和業務等各個方面，如 圖 4-1 所示。 數 據 采 集 服 務 器門 戶 服 務 器數 據業 務 系 統外 部 數 據手 工 補 錄數 據 倉 庫 /數 據 集 市O L A P 服 務 器W E B 服 務 器應 用 服 務 器源 數 據 層 數 據 采 集 層 數 據 存 儲 和 管 理 層 應 用 服 務 層 門 戶 管 理 與 用 戶 層源 系 統 信 息 ：系 統 運 行 結 構庫 表 信 息接 口 信 息維 度 信 息E T L 過 程 ：D W 映 射 關 系E T L 程 序 信 息數 據 轉 換 規 則數 據 清 洗 規 則D W 信 息 ：數 據 倉 庫 數 據 處 理 流 程D W 物 理 模 型 數 據 結 構數 據 字 典 及 程 序 庫敏 感 級 別 及 客 戶 隱 私 信 息數 據 庫 目 錄應 用 服 務 層 信 息 ：K P I 關 鍵 業 務 指 標數 據 分 析 模 型數 據 庫 目 錄門 戶 管 理 ：安 全 認 證訪 問 控 制幫 助 文 檔 結 構一 級 經 營分 析 系 統元 數 據 庫圖 4-1 經營分析系統元數據管理范疇 4.3. 經營分析系統元模型 本節介紹經營分析系統元模型的內容，具體內容參見附件一：中國移動省級 NG2-BASS技術規范元模型規范。 4.3.1. 經營分析系統元模型概述 經 營分析系統元模型是經營分析系統元數據管理模塊建設的基礎，用于規范元數據庫內部對象、關系、規則和操作等多方面的內容，其主要包括四個層面：基礎層元模型、獲取層元模型、數據層元模型和訪問層元模型。此外，根據情況還可以包括可選元模型。 經營分析系統元模型需滿足以下要求： 開放性 經營分析系統元模型以 CWM 作為基礎模型，能夠與其他各類 IT 系統進行互操作； QB-J-XXX-XXXX 6 適用性 經營分析系統元模型支持在 CWM 基礎上進行擴展，從而描述經營分析系統自身特有的內容； 標準性 面向兩級經營分析系統元數據互通的需要，以 CWM 為基礎建立經營分析系統核心元模型，形成關鍵元數據對象的統一元數據標準。 經營分析系統元模型組成關系示意如 圖 4-2 所示。 圖 4-2 經營分析系統元模型組成和關系 以下分別介紹 CWM、經營分析系統元模型與 CWM 的關系，以及經營分析系統核心元模型。 4.3.2. CWM 概述 公共 倉庫元模型 （ CWM: Common Warehouse Metamodel） 是為數據倉庫及商業 智能環境間方便地交換元數據而制定的一個標準， 其主要目的是在異構環境下，實現不同的數據倉庫工具、平臺和元數據知識庫之間的元數據交換 。 CWM 標準為數據倉庫和商業智能（ BI）工具之間共享元數據，制定了一整套關于語法和語義的規范，它主要包含以下四個方面的內容： CWM（ Metamodel）：描述數據倉庫元數據的模型； CWM XML： CWM 元數據的 XML 表示； CWM DTD：用來驗證 CWM XML 文檔； CWM IDL： DW/BI 共享元數據的應用程序訪問接口（ API）。 4.3.2.1. 規范涉及的業界標準 CWM 標準是 OMG 組織定義的數據倉庫和相關系統的國際元數據標準，目的在于使數QB-J-XXX-XXXX 7 據倉庫和商業智能軟件的元數據在分布異構的數據分析工具、數據倉庫平臺、元數據存儲等系統之間進行交換。目前，這個元數據標準得到了 IBM、 Unisys、 NCR、 Oracle 和 SAS 等廠商的支持。 CWM1.1 標準涉及以下幾個國際標準： XMI 1.1； MOF 1.4； UML 2.0。 UML 用來描述元模型本身和一些對象元數據， CWM 中，和元數據相關的類定義是借助 UML 語言進行表述的。 MOF 用來定義 CWM 的體系結構和元模型語言的語義。 XMI 是XML 形式 的元數據接口定義語言，它是元數據管理體系中默認的元數據交換文件形式。 4.3.2.2. CWM 結構 CWM 的體系結構如 圖 4-3 所示，包括五個層次：對象模型層、基礎層、資源層、分析層和管理層。 圖 4-3 CWM 體系結構 對象模型層（ Object Core） ：構造和描述其它 CWM 包中的元模型類。 基礎層（ Foundation） : 包括表示 CWM 概念和 結構的模型元素，這些模型元素又可被其他 CWM 包所共享，它由以下六個子包組成： 業務信息（ Business Information）包：包括表示模型元素業務信息的類與關聯； 數據類型（ Data Types）包：包括表示建模者可以用來創建所需數據類型的結構的類與關聯； QB-J-XXX-XXXX 8 表達式（ Expressions）包：包括表示表達式樹的類與關聯； 鍵和索引（ Keys and Indexes）包：包括表示鍵和索引的類與關聯； 軟件部署（ Software Deployment）包：包括軟件如何在數據倉庫中發布的類與關聯 ； 類型映射（ Type Mapping）包：包括表示不同系統之間數據類型映射的類與關聯。 資源層（ Resource）： 用于描述數據資源的包，它包括以下四個子包： 對象（ Object）包：包括表示其他類型數據資源的元數據的類與管理； 關系（ Relational）包：包括表示關系型數據資源的元數據的類與關聯； 記錄（ Record）包：包括表示記錄型數據資源的元數據的類與關聯； 多維（ Multidimensional）包：包括表示多維數據資源的元數據的類與關聯； XML 包：包括表示 XML 數據資源的元數據 的類與關聯。 分析層（ Analysis）： 它由以下五個子包組成： 轉換（ Transformation）包：包含表示數據抽取和轉換工具的元數據的類和關聯； OLAP 包：包含表示 OLAP 工具的元數據的類與關聯； 數據挖掘（ Data Mining）包：包含表示數據挖掘工具的元數據的類與關聯； 信息可視化（ Information Visualization）包：包含表示信息可視化工具的元數據的類與關聯； 業務術語（ Business Nomenclature）包：包括表示分類業務的元數據的類與關聯。 管 理層（ Management）： 用于描述數據倉庫管理的包，它包括以下兩個子包： 倉庫過程（ Warehouse Process）包：包括表示倉庫過程的元數據的類與關聯； 倉庫操作（ Warehouse Operation）包：包括表示倉庫操作結果的元數據的類與關聯。 CWM 作為數據倉庫領域的元模型標準，在元數據的集中管理、元數據互操作和元數據交換方面發揮重要作用。但是 CWM 作為一個國際性、廠商無關、平臺無關的規范，只提供一個公共的元模型框架，將數據倉庫領域的公共特性納入元模型中。 CWM 對于物理實現精確定義的細 化程度不足，而且對業務和管理信息的描述無法滿足經營分析系統實際建設需要。因此，經營分析系統元數據管理模塊需要對