1、目錄1 .現狀分析 21.1 目前的困境 21.2 什么是元數據管理 32 .目標分析 42.1 建立完善的指標解釋體系 42.2 建立規范的元數據管理體系 42.3 建立有效的數據稽核體系 53 . 功能概述 53.1 元數據管理 53.1.1 業務元數據 63.2.2技術元數據 73.3 元數據分析 113.3.1 血統分析 113.3.2 影響分析 123.3.3 重要性分析 133.3.4 無關性分析 143.4 數據稽核 143.4.1 稽核規則管理 153.4.2 稽核任務調度 163.4.3 稽核結果分析 163.4.4 數據質量評估 163.4.5 數據問題管理 16元數據管理

2、系統概述1 .現狀分析隨著經營分析系統規模不斷擴大，系統所積累數據量也越來越大，收集到的 海量數據背后隱藏著大量珍貴重要的信息，但也同時提高了系統的數據管理難 度：一方面難以對這些數據進行有效解釋， 缺乏對業務流程執行的實時監控和管 理；另一方面各部門數據與數據整合的難度也不斷加大，影響到了經營分析系統中的數據質量。如何對現有數據進行深層發掘，并揭示出埋藏在元數據中的趨勢、因果關系、 關聯模式等核心信息？這是下一步深化經營分析系統應用的電信運營商需要解 決的頭等大事。構建 BI,首先要保證的是數據質量。元數據管理解決的問題就 是如何把業務系統中的數據分門別類地進行管理，并建立數據與數據之間的關

3、 系，為數據倉庫的數據質量監控提供基礎素材。1.1 目前的困境使用者（決策層、業務分析人員）：1）經營分析系統中存在有很多報表，不同報表中存在一些相同的指標，這些指標往往不一致，給業務分析和決策工作造成很多困惑，必須花費很大的精力去檢查核實。2）對于很多指標，不清楚其具體含義，不清楚其反映的問題，不清楚其具 體算法和來龍去脈。數據倉庫項目開發維護者：1）不同報表中的同一指標不一致，必須花費很大的精力去檢查，目前基本 上是通過手工檢查表和存儲過程的方式，效率較低。2）沒有完善的開發、維護規范。比如，新增一張分析報表，開發人員根據 業務人員的需求制作完成之后，往往沒有整理完善相應的數據指標解釋和元

4、 數據管理，造成日后檢查困難。3）開發、維護規范的執行力較低，沒有行之有效的管控手段。不嚴格按照 規范執行，隨著項目的發展和時間的推移，導致數據倉庫項目的健壯性和可 維護性呈幾何級數下降，給數據倉庫的建設帶來大量的重復工作。1.2 什么是元數據管理元數據最本質，最抽象的定義為：data about data （關于數據的數據）。 而對于經營分析數據倉庫而言，形象的定義為：元數據就是數據倉庫的規范。 這些規范包括對各種指標的定義、 解釋；包括對各表中數據的來龍去脈、 數 據的大小和格式的定義。元數據管理，就是要建立一套行之有效的規范以及該規范的管控體系，實現從管理到查詢到綜合分析的全面管控， 管

5、理層次從接口到ETL處理、業務邏輯處理、結果展現處理和指標分析的方方面面，構成數據倉庫應用系統的核心和基礎。做到開發者能嚴格遵守規范，維護者和使用者有規范可查，有力的保障數據倉庫項目的健壯性和可維護性。2 .目標分析要走出目前的困境，有下面三個方面的問題急待解決：2.1 建立完善的指標解釋體系滿足用戶對業務和數據理解的需求，建立標準的企業內部知識傳承的信息承載平臺，建立業務分析知識庫，實現知識共享。能夠回答諸如以下問題:什么是出帳用戶數？在網用戶數和網上用戶數有何區別？什么是套餐的生命周期？競爭對手新發展用戶數是怎么得來的？這個數據還叫什么名字？2.2 建立規范的元數據管理體系讓用戶能夠清晰的

6、了解數據倉庫中數據流的來龍去脈，業務處理規則、發展情況等，提高系統的可維護性、適應性和集成性，支持數據倉庫/集市的成長需求，減少因員工換崗造成的影響。具體來講，主要是對數據倉庫建設、運行和維護的規范的管理。能夠回 答諸如以下的問題：哪張表是從業務系統抽取過來的原始話單表？競爭對手新發展用戶事實表中的數據，是從哪些表匯總計算出來的？DWB戶下的P_XXX這個存儲過程是誰寫的，現在還有用嗎？我是新手，要生成套餐生命周期演化分析事實表，我該怎么做？表空間不夠了，哪些表的數據可以刪掉？2.3 建立有效的數據稽核體系促進數據倉庫的數據質量建設，為提高整個系統的數據質量奠定堅實的 基礎。建立報警、監控機制

7、，出現故障，能及時發現問題。提供整體系統運 營的情況分析。能夠回答諸如以下問題：今天的出帳用戶數過高，是怎么回事？數據集市層中的DM_XXX表中數據為空，什么原因？A報表中的全省ARPUB和B報表中的ARPUB為什么不同？3 .功能概述3.1 元數據管理對數據倉庫的層次結構、主題域劃分，各層的各種對象，如表、存儲過 程、索引、數據鏈、函數和包等的管理。能夠清晰的展現各層次結構之間的 數據流程，圖形化展現各對象之間的關系，展現表中數據的來龍去脈。3.1.1業務元數據業務元數據包括以下信息：使用者的業務術語所表達的數據模型、對象名和屬性名；訪問數據的原則和數據來源；系統所提供的分析方法及公式、報表

8、信息。業務元數據管理除了管理上述信息外，還提供對業務元數據來源的管理和差異性對比功能，使用戶能夠方便的查詢、比較和追溯。包括兩個子模塊，指標管理和指標解釋接口。指標管理：主要實現對所有指標的維護功能，維護指標的基本信息、業務規則和技術算法等。能夠展現各個主題分析中的指標，以及指標間的區別等信息。元數據指標層器ffiSlD指域名新計量單位至型1E01發屣用戶數估宜A時點數0<CRN口 CRM3 3總部于尚體系 s為本指標2E02收入估翼元時期數3E03移動電話普及率先時點數4E04奚道網點數平時點數士度注類及說明，標，口-營分析+層決策指短屋性翁同E03別名移動電話普及率業多桂迷燒計期末感

9、動電話用尸數占統計區域內人口數的由網口技術超SELECT * FROM BF_GSM_CA1_L_T3>HNBF類型時點數計量單位無劃建時間2m7年07月23日所展都門計費部指，至文，索_指標| |修改指標刪除指1|指標解釋接口 ：提供統一的接口，使用戶能夠在經營分析系統或CRM系統中，點擊任一指標名稱，即可查看該指標的詳細描述和解釋說明經營分析系統聯機幫助濡失用戶數上月出帳本月不出幡的用戶數3.2.2技術元數據技術元數據是存儲關于數據倉庫系統技術細節的數據，是用于開發和管 理數據倉庫的數據，主要包括數據倉庫結構的描述（各個主題的定義，星型 模式或雪花型模式的描述定義等）、ODSU （操

10、作數據存儲ODS .Operation Data Storage）的企業數據模型描述（以描述關系表及其關聯關系為形式）、 對數據稽核規則的定義、數據集市定義描述與裝載描述（包括Cube的維度、 層次、度量以及相應事實表、概要表的抽取規則）。系統除了維護技術員數據的基本信息外，更以圖形的方式展現和管理各 技術元數據之間的關聯關系和來源。技術元數據管理主要包括以下幾個功能模塊：元數據查詢：按關鍵字、分類、主題域名稱等維度進行查詢，展現該元 數據的基本信息，如業務描述、技術描述、計量單位、所屬分類等信息。元數據維護：對元數據的基本信息進行維護，包括增、刪、改元數據關系查詢：展現元數據之間的關系，如：

11、按經營分析數據倉庫的 各個層次進行展現；按元數據之間的映射關系展現；按元數據的處理流程進 行展現等等。點擊選相,理出元數據選擇界面，進行蔣萌選擇.耗據名稱:I出幅用尸數選痢里EBA_rF ；,/_ = 口正一二:二二1.工VL .工：二E二E0A_UF.DM_OPPON ENT_MOBH_E_MOH隈據枳眼控制，鼠母右鍵點擊 某元數錯節點.，進入謖元數據 的美系睢滬界面，對耳與耳獨 元數據之間的關系進行增刪改 操作.點擊某元數據節點.，雇瑯謖元 數掙的關系圖.楮標;出程用戶數元數據關系管理：對元數據關系進行維護，包括增加、刪除和修改元數提英整:全部點擊儂推"薜出元如露選擇界面，遞行精

12、臉遺播.出帳用戶豹元酊期名師:樽巾±嘮節點6期標：出餐用尸JS眼據枳用控制，吊物右艇6擊 某元裁需節點進入餞元數誘 的關系金護界面*對范與H地 元數據二仙的天樂進行墻修胤點擊范無部據制點，黑班謠.兀 數據的美系國.惻*連節點修改元數據信息犀柞*如上圖所示，鼠標右鍵點擊某個節點，對該節點進行增、刪、改操作。點.擊詵擇，浮出元數據選擇界面,進行秸乖ta舞.出席用戶數AO-FC'.EM M0根據挪艮副宜元溫血節&講人世TH數搟增加元數需節點保存取消點擊選擇彈出元數據選擇界面，迸行赭雕過名稱i固帳用戶數：陽單杳詢古&也出3.3 元數據分析血統分析、影響分析、表重要程度

13、分析、表無關程度分析等等。通過上述分析，讓用戶對整個數據倉庫總體上有清晰的認識和理解，解決數據孤島的問題。3.3.1 血統分析數據血統Data Lineage,通過數據血統分析，用戶可以知道數據何時 更新、如何計算以及從何處而來，所有這些手段幫助用戶追溯報表中數據產 生的來源。這種深入洞查數據來龍去脈的能力對于幫助用戶更加信賴他們的 信息來說，具有至關重要的作用ET甘由取話單營帳系統話單表業務生產系統聯通用戶通話詳單從詳單中抽取與移動用戶的通話記錄源數據 SRC層移動用戶通話詳單表ODS層與移動在網用戶比較移動新入網用戶表數據倉庫DW層匯總產生大客戶信息匯總產生新入網用戶信息數據集市 DM層移

14、動大客戶信息展現移動新入網用戶信息展現3.3.2 影響分析影響分析關注的重點是數據的流向，提供端對端影響分析，使您能夠看見源系統發生變化時，BI報表受到的影響，而因此可以輕松地處理 BI環境中的變化.前端展現專題分析模塊競爭專題 大客戶明細競爭專題 用戶分析競爭專題 策反高層決策 市場分析高層決策4爭對手3.3.3 重要性分析分析BI系統中，用戶最關心的分析主題、報表和指標，追溯這些分析主題、報表和指標涉及到的元數據，這對于 BI系統和數據倉庫開發團隊具有重要的指導意義用尸關注度專題，殊關注度（人次）忐層決藁面向即導層面的決端支持3459產品現固分析歌播與擊好對品觸屑的出略硼3442柒理分折分

15、析覆遒的發展祈苴郎4運營監控分析與日第業將運營上聯的敬嘉1456點擊有噩名腳可宜百謖青思 的下落早不表的南妻性分析.用尸美在度對比區|分析各元數據對象之間的關聯密集度,分析數據倉庫中各層次的包、表等對象的重要程度，指導數據倉庫開發和維護團隊對重點元數據進行重點關 注和質量監控3.3.4無關性分析與重要性分析相反，隨著數據倉庫系統的規模不斷擴大， 業務需求的日益變化，會產生一定數量的無關數據、信息和報表，找出這些無關的內容，結合業務需求分析其產生的根源，從而為用戶簡化工作負載，降低項目總擁有成本，為用戶提供可信賴的數據和分析能力。報表無美睚度抿表名稱描述關注度（人次）渠道明細日報面向領導層面的決

16、策支持0自定義春警日報分析政策與市場對品牌發展的戰喀影響2產品群分析分析渠道的發展和收益3基站話務量分析與日常業務運營相關的數據7點擊報表名稱可查看諼報表涉及到的相關數據來源分析.3.4 數據稽核根據預先配置的規則、算法和質量檢查度量，對數據的準確性、合理性 等多角度的檢查，以及時發現問題，解決問題。對于稽核結果，進行統計分析，形成結果報告，為以后的數據倉庫建設、實施和維護的改進打下堅實的基礎。3.4.1 稽核規則管理接口數據檢驗：對接口數據的過程進行稽核和校驗，分為文件接口， DB-LINK接口，其他異構數據庫接口。處理過程檢驗：對數據處理過程進行監控和稽核，分為JOB稽核，工作 流稽核，其

17、他處理方式稽核等。處理環境檢驗：對數據處理環境進行檢查，針對不同的應用環境，主要 分為數據庫系統檢查、主機系統檢查、接口機檢查、應用服務器檢查。日志監控：在ETL自動運行的過程中可能出現各種各樣的錯誤，比如 ETL過程申請的資源超過硬件的物理限制（存儲不足或者排序空間不足）。通過才測ETL過程的日志可以判斷出該過程輸出的目標表數據是否完整。提供選擇日志監控的各種信息供選擇，如：過程名、所屬模塊（營業數據、計 費數據、維表數據等）、執行時間、完成時間、執行時長、執行用戶、執行 結果、預警等。維度檢驗：如：所屬模塊（營業數據、計費數據、維表數據等）、日期、 表名、維度名稱、緯度格式、緯度說明、緯度關聯編碼表、各緯度記錄分布 情況、是否有空值、空值記錄數、空值率、預警區間等指標。指標值檢驗：包括數據量校驗、單指標校驗、交叉校驗等。3.4.2 稽核任務調度在設定數據稽核的模板后，可以對稽核任務實行自動化處理，也可以通 過定制方式來完成，可以定時調用或觸發。由不同類型數據檢驗確定。比如：前序數據（計費營帳數據），可以使用定時調度任務檢查數據完 整性，后序數據（DW層數據直到數據集市展示層的匯總數據）的調用可以 通過日志記錄