1、目目 錄錄2 元數據管理體系架構1 本期規范修訂目的3 本期規范新增與主要修訂內容4 附件闡明修訂背景實現兩級經分元數據信息互通，保證一、二經目的口徑一致，使各省上報重點實現兩級經分元數據信息互通，保證一、二經目的口徑一致，使各省上報重點一經接口的真實匯總過程透明化，在發生數據質量問題時兩級系統有共同的溝一經接口的真實匯總過程透明化，在發生數據質量問題時兩級系統有共同的溝通平臺，并防備部分省公司干擾目的真實性。通平臺，并防備部分省公司干擾目的真實性。修訂背景修訂背景經過NG1-BASS2.0元數據管理模塊的建立，各省在元數據管理和運用方面積累了一些具有推行價值的閱歷，同時也發現了一些存在問題

2、一級運營分析系統數據質量依賴于省級運營分析系統上傳的接口數據質量，需求加強兩級運營分析系統的數據了解一致性和重點接口的數據處置過程規范性； 為提升經分系統數據質量，需求建立經分與數據源系統的協同管理機制； 運營分析系統的開展對提出元數據管理模塊提出新的要求，需求加強元模型管理、元數據獲取才干和對外效力能根底才干，以更好支持經分建立和運用。修訂目的和思緒修訂目的修訂目的建立運營分析系統中心元模型，規范數據處置過程的構造化描畫實現兩級運營分析系統元數據互通，促進重點接口數據處置過程規范化為運營分析系統根底技術模塊提供支撐，擴展元數據效力接口效力運營分析系統數據質量管理子系統，為源系統聯動機制提供根

3、底支撐 修訂思緒修訂思緒以CWM為根底面向運營分析系統建立和管理需求進展元模型細化和擴展，針對關鍵元數據對象建立中心元模型，實現兩級元數據互通加強SQL腳本解析，提升數據處置邏輯過程的展現才干建立維表庫管理、接口管理機制，支撐數據質量的源系統協同機制提供數據封裝和數據地圖訪問效力接口，加強元數據對外效力才干目目 錄錄3 本期規范新增與主要修訂內容4 附件闡明2 元數據管理體系架構1 本期規范修訂目的元數據管理模塊在運營分析系統中的定位本期修訂內容本期修正內容本期新增內容 運營分析系統中心元模型 兩級經分元數據互通 維表庫管理 接口管理 數據地圖展現 數據封裝元數據 客戶隱私信息元數據 元數據變

4、卦管理 數據源接口元數據 維度數據 輔助平安管理 元數據效力接口二期 SQL腳本自動解析二期二期建立內容目目 錄錄2 元數據管理體系架構4 附件闡明1 本期規范修訂目的3 本期規范新增與主要修訂內容3.1 元數據獲取層p 元數據獲取新增SQL解析二期內容建立p 在原有SQL腳本自動解析一期建立根底上，規范數據處置元數據的構造化描畫、細化描畫粒度、豐富解析效果展現層次，對SQL解析中的關鍵問題提出處置方法要求：p 數據處置過程元數據的生成p SQL腳本對象構造化描畫p 以ClassifierMap對象描畫SQL腳本的數據轉換處置邏輯p 以RelationalOperator對象描畫SELECT子

5、句的關系代數操作p 以FeatureMap對象細化描畫SQL腳本的關系操作p 數據處置過程日志規范要求p SQL腳本的上下文關系處置要求p 多途徑問題和信息喪失問題處置要求二期建立：SQL腳本解析日志規范要求細化運轉日志的輸出方式：日志文件日志表日志內容中要求包含：提交到數據庫執行的SQL腳本創建數據庫鏈接的相關參數文件導入導出操作不要求包含游標操作信息二期建立：SQL腳本解析腳本程序描畫和 SQL片段描畫關系代數操作及其明細的描畫數據轉換處置單元描畫腳本程序：TransformationTaskSQL片段：TransformationMapCREATE_SELECT句型INSERT_SELE

6、CT句型INSERT_ALL句型UPDATE_SELECT句型MERGE句型RENAME句型簡單Select子句復雜Select子句投影操作中嵌套SELECT子句FROM子句中嵌套SELECT子句交并差操作SELECT / COMBINATION / INSERTALL / MERGE / RENAME投影操作/交并差操作/改名操作二期建立：SQL腳本解析SQL腳本上下文信息處置多途徑和信息喪失問題處置要求可以處置如下上下文相關類型：改動數據庫銜接暫時表的處置命名空間的處置SQL腳本循環執行問題自動處置才干：將腳本多次運轉日志自動合并對導入導出命令自動解析export/import/unloa

7、d/load輔助人工處置才干：游標處置，可提供告警功能手工補充相關的元數據。3.2 元數據存儲層p 元數據存儲新增內容包括：p 運營分析系統中心元模型p 數據封裝元數據p 加強內容包括：p 維度元數據的存儲：對維度元數據的屬性要求進展細化，支撐維表庫管理運用p 數據源接口元數據的存儲：對接口元數據的屬性要求進展細化，支撐接口管理運用p CWM作為數據倉庫領域的元模型規范，在元數據的集中管理、元數據互操作和元數據交換方面發揚重要作用。但是CWM作為一個國際性、廠商無關、平臺無關的規范，本身只提供一個公共的元模型框架，將數據倉庫領域的公共特性納入元模型中，而不追求對物理實現的準確定義。p 運營分析

8、系統中心元模型以CWM元模型為根底擴展而成，是面向兩級運營分析系統元數據互通的實踐需求對關鍵元數據對象進展準確定義的元模型規范。新增：運營分析系統中心元模型新增：數據封裝元數據p 數據封裝元數據主要包括數據封裝效力開發生成的邏輯模型，以及邏輯模型與數據倉庫/數據集市物理模型的映射關系。p 數據封裝元數據包括四類：邏輯模型實體、邏輯模型字段、映射關系組、映射關系邏輯模型實體元模型邏輯對象稱號邏輯對象描畫邏輯模型字段元模型字段稱號字段描畫字段類型字段長度能否為PK能否關聯字段映射關系組元模型關系組標識邏輯對象運算表達式映射關系元模型關系組標識關系標識源對象目的對象關系類型能否主關聯3.3 元數據功

9、能層p 元數據功能層新增內容包括：p 基于元數據的多層級數據地圖展現p 元數據效力接口二期建立內容p 加強內容包括：p 元數據變卦管理：添加大版本管理功能，支持批量元數據定版；支持版本差別分析；支持元數據生成修訂記錄功能新增：數據地圖展現p 作為元模型規范化的延伸，一致圖形展現方式，消除圖形表達的語義了解差別。p 處理圖形展現缺乏層次控制、規劃混亂、難于看懂的現狀。p 圖形展現包括：p 作業層圖形展現p SQL語句層的圖形展現和規劃作業層展現數據處置邏輯層展現SQL語句層展現數據處置邏輯層明細展現 數據處置邏輯層的圖形展現 數據處置邏輯明細層的圖形展現二期建立：元數據對外效力接口p 一期建立中

10、，已實現元數據封裝原語定義和根底技術才干建立p 本期建立，重點添加元數據封裝接口運用功能，包括：p 數據封裝元數據訪問效力接口p 讀取物理模型元數據p 寫入數據封裝元數據p 數據地圖訪問效力接口p 關系分析圖形接口p 包含分析圖形接口3.4 元數據運用層p 元數據運用新增內容包括：p 兩級經分元數據互通p 維表庫管理p 接口管理p 元數據運用加強內容：p 輔助平安管理新增：兩級運營分析系統元數據互通p 經過實施兩級運營分析系統的元數據互通，使各省運營分析系統數據處置過程對集團透明化，促進集團對各省營分析系統的數據處置過程的了解，進一步了解各省接口開發方案、新接口改造的實踐進度并加強管理，有助于

11、兩級運營分析系統數據質量的整體提升。 數據倉庫 數據處置過程 源系統接口 源系統維度互通內容 互通元數據維護 互通元數據轉換接口 校驗結果處置功能要求 XML文件 基于互通元數據接口規范互通接口新增：維表庫管理p 維表庫管理是指基于元數據系統，對數據源系統維表庫、各省經分系統之規范維表庫和集團一經維表庫分別進展管理，從而建立一套規范的維表庫體系。實現規范維表庫與源系統維表庫之間的關聯管理，旨在有效處置源系統維表庫與規范維表庫之間的維度數據一致，促進運營分析系統與源系統協同。維表目錄管理維表登記管理維表數據管理維表關系管理維表分類定義目錄調整維表登記維表構造定義維表分類整理維表數據根本維護管理維

12、表數據導入/導出 維表映射關系 維表映射 字段映射 數據映射 維表援用關系 接口援用 現實表援用維表同步機制、維表變卦日志管理、維表信息公揭露布新增：接口管理p 省級運營分析系統與BOSS、CRM等系統和一級運營分析系統以數據接口方式進展大量數據交互?；谠獢祿M展接口管理，對于接口數據規格、數據內容以及接口管理過程進展規范管理，建立接口元數據維護機制，提高接口元數據質量，為源系統變卦協同管理和兩級運營系統元數據互通奠定根底。接口管理范圍 接口元數據獲取 接口元數據管理、維護 查詢分析 變卦管理 對外效力接口功能要求加強：輔助平安管理p 添加客戶隱私信息元數據管理，支撐運營分析系統平安管理提供

13、客戶隱私信息的根本配置和存儲：提供客戶隱私信息的根本配置和存儲：定義能否為隱私信息：定義能否為隱私信息：附加隱私標識附加隱私標識定義所屬的隱私類別：定義所屬的隱私類別：為個人客戶隱私、集團客戶隱私或集為個人客戶隱私、集團客戶隱私或集團客戶成員隱私信息。團客戶成員隱私信息。定義詳細的隱私屬性：定義詳細的隱私屬性：如，手機號碼、地址、客戶姓名等。如，手機號碼、地址、客戶姓名等。提供客戶隱私信息效力接口：提供客戶隱私信息效力接口：獲取隱私信息相關的技術實體：獲取隱私信息相關的技術實體：輸入：需求查詢的隱私標識、隱私類別或輸入：需求查詢的隱私標識、隱私類別或隱私屬性等參數；隱私屬性等參數；輸出：元數據

14、實體，如數據庫表名和字段輸出：元數據實體，如數據庫表名和字段名，以及相關技術元數據屬性。名，以及相關技術元數據屬性。獲取技術實體的隱私信息定義：獲取技術實體的隱私信息定義：輸入：技術元數據實體信息，如數據庫表輸入：技術元數據實體信息，如數據庫表名；名；輸出：該實體的隱私標識、隱私類別和隱輸出：該實體的隱私標識、隱私類別和隱私屬性等客戶隱私信息定義信息。私屬性等客戶隱私信息定義信息。目目 錄錄2 元數據管理體系架構3 本期規范新增與主要修訂內容1 本期規范修訂目的4 附件闡明附件一：CWM元數據模型構造p CWM模型是OMG組織定義的數據倉庫和相關系統的國際元數據規范，CWM規范的目的在于使數據

15、倉庫和商業智能軟件的元數據在分布異構的數據分析工具、數據倉庫平臺、元數據存儲等系統之間進展。p CWM元模型可用于描畫數據加工鏈路中各種實體的平臺無關的公共特性，但是對于特定運用場所，CWM元模型能夠會缺乏實踐運用所必需的某些信息的描畫才干，這時需求對CWM元模型進展擴展。CWM提供了兩種擴展機制：p 子類擴展機制p TaggedValue和Stereotype擴展機制附件一：CWM元數據模型擴展機制從中心包擴展而成的XML元模型Stereotype類和TaggedValue類擴展機制p 運營分析系統元模型主要包括四個層面：p 根底層元模型p 獲取層元模型p 數據層元模型p 訪問層元模型。附件一： CWM和經分系統元模型的對應關系附件一：經分中心元模型對CWM的擴展內容從Transformation包的TransformationTask類派生出TransformationTask類和TransformationMap類，用于描畫腳本程序和SQL腳本；從Transformation包的Transformation類派生出ClassifierMap類，用于描畫腳本程序或者SQL腳本中的轉換處置邏輯；表級數據處置邏輯到字段級數據處置邏輯的臃腫的映射關