網絡質量是通信企業生命線 2009年 7月 中國移動通信集團四川公司網絡管理中心 網管支撐室 數據倉庫在綜合性能分析系統中的應用 中國移動通信集團四川公司網絡管理中心 - 2 - 目錄 四川移動網管系統數據特點 數據倉庫技術簡介 綜合性能分析系統簡介 中國移動通信集團四川公司網絡管理中心 - 3 - 數據倉庫技術簡介 數據倉庫 （ Data Warehouse）是支持管理決策過程的、面向主題的、集成的、隨時間變化的、持久的數據集合。它是一種達成“數據整合、知識管理”的有效手段。其特征有： 2 3 4 面向主題 集成性 相對穩定 反應歷史變化 面向主題進行組織（主題即客觀分析領域，是指在較高層次上企業信息系統中的數據綜合、歸類并進行利用的抽象）。 對不同來源的外部信息進行必要的變換和集成，包括格式轉換、消除沖突、運算、總結、綜合、設置時間屬性、設置缺省值，等等。 反映歷史信息內容。每個數據項對應一個特定的時間，需要大量的查詢操作，很少進行修改和刪除，通常需要定期加載、刷新。 數據是從過去某個時間點到目前各個階段的信息，使用者可利用信息對過去的發展歷程和未來趨勢做出分析和預測。 1 定義及技術特征 中國移動通信集團四川公司網絡管理中心 數據倉庫技術簡介 - 4 - 抽取、清理 轉載、刷新 數據源 數據集市 服務 OLAP服務器 OLAP服務器 數據挖掘工具 分析工具 報表工具 查詢工具 前端工具 數據倉庫系統體系結構 數據倉庫 體系結構（一） 中國移動通信集團四川公司網絡管理中心 數據倉庫技術簡介 - 5 - 體系結構（二） 數據源 是數據倉庫系統的基礎，是整個系統的數據源泉。通常包含企業的各類內部 信息和外部信息。 數據存儲與管理 OLAP服務器 前端工具 是整個數據倉庫系統的核心和關鍵。針對現有各業務系統的數據，進行抽取、清理，并有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋范圍可以分為企業級數據倉庫和部門級數據倉庫。 對分析需要的數據進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，并發現趨勢。其具體實現可以分為： ROLAP、 MOLAP和 HOLAP。 主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具以及各種基于數據倉庫或數據集市的應用開發工具。 中國移動通信集團四川公司網絡管理中心 數據倉庫技術簡介 - 6 - 數據倉庫擅長處理海量數據，特別是 MOLAP存儲方式，能夠向數據使用者提供出色的壓縮效率和查詢速度。 數據存儲 ETL 數據倉庫提供的 ETL過程以及與其相關的諸多技術和工具，易于 集成來源和結構復雜的數據，使之成為干凈、完備、經過整合的數據。 OLAP OLAP是數據倉庫系統的主要應用，支持復雜的分析操作，側重決策支持，向數據使用者提供直觀易懂的查詢結果。 前臺展現技術 將沒有感情的、枯燥的結構化數據，用友好的方式、靈活的方式、可定義的方式展現出來，形式包含報表、圖表，甚至影像多媒體。便于數據使用者理解其中數據的含義和業務表現。 數據挖掘 運用一種或多種算法，對海量數據進行探索，促使數據使用者發現未知 的模式或關系，最終做出預測或總結規律。 主流支撐技術 中國移動通信集團四川公司網絡管理中心 四川移動網管系統數據特點 數據類型均為日志型 數據結構復雜 數據量龐大 使用者觀察數據視角豐富 四川移動網管系統 數據來源復雜 設備廠商、設備類型眾多，各廠家、各設備類型數據存儲方式不同造成數據來源復雜 眾多的設備廠商，以及各廠商采用的不同數據存儲、編碼、計算、表現方式造成了數據結構復雜 各廠商設備記錄數據均為日志型，這類數據一旦產生就不再變化，具有穩定性特征 各廠商設備日產生數據約 160G（數據庫存儲方式），以此估算，年匯總數據達到驚人的 58400G 不同分工人員觀察數據的視角各不相同， 概述 中國移動通信集團四川公司網絡管理中心 四川移動網管系統數據特點 - 8 - 四川網管系統管理的設備廠商包括 西門子 、 摩托羅拉 、 愛立信 、 諾西 、 華為 、 康為 、 東信北郵 、 中興 等等；專業涵蓋 無線 、 交換 、 GPRS、 短信 、 智能網 、 數據網 等等。 各廠家、各類型設備的數據存儲方式并不相同，比如：西門子以 ASCII文件存儲數據；愛立信以 SNMP協議和 ASCII編碼網管數據文件。其他廠商通常把數據存儲在自己的數據庫中，這些數據庫包括 INFORMIX、 SYSBASE、 ORACLE、 SQL SERVER，且數據庫版本各異。 西門子 摩托羅拉 愛立信 諾西 華為 康維 東信北郵 中興 設備廠家眾多 無線 GPRS 交換 短信 智能網 數據網 涉及專業眾多 數據來源、結構復雜 數據來源及結構復雜 中國移動通信集團四川公司網絡管理中心 四川移動網管系統數據特點 - 9 - 數據量龐大 眾多設備廠商的各類設備上產生的數據量非常龐大。如采用數據庫存儲，日數據將占用 160G左右的磁盤存儲空間，年匯總數據量將達 58400G左右。 海量數據 中國移動通信集團四川公司網絡管理中心 四川移動網管系統數據特點 - 10 - 使用者觀察數據視角豐富 領導層 關心系統 KPI指標的實時情況 及 中、長期走勢 網絡規劃 及 分析人員 需要綜合分析相當 長時期 甚至一年、幾年的數據，以便進行 預測 、 規劃 網絡維護 及 優化人員需要確保數據的 及時性 、 準確性 ，以便有效獲知 網絡現狀 、明確 問題隱患 網絡監控人員 除了對數據的 及時性 和 準確性 要求很高外，還需要從大量的數據中剔出哪些特異的數據，以便對網絡進行 整體評價 、對網絡問題進行 故障預警 網管系統 中國移動通信集團四川公司網絡管理中心 - 11 - 綜合性能分析系統簡介 系統概況 綜合性能分析系統是數據倉庫技術在網管系統中的應用項目之一。 系統通過廠家提供的數據接口實時、完整、穩定地自動采集各廠家能夠提供的所有網管性能數據和配置數據。對采集到的數據按照數據倉庫模型進行抽取（ Extract）、轉換（ Transform）、清洗（ Cleansing）、裝載（ Load），并參照集團公司的規范對采集到的數據按業務分類綜合入庫。 在數據倉庫的展現層，使用者可以根據業務和需求的不同，靈活的選擇維度和指標，快速生成想要的報表。 中國移動通信集團四川公司網絡管理中心 綜合性能分析系統簡介 - 12 - 系統數據倉庫過程 數據源 實時數據采集、補充采集 抽取 轉換 清洗 轉載 按業務綜合、自定義指標 多維分析、多維呈現（ OLAP） 中國移動通信集團四川公司網絡管理中心 - 13 - 綜合性能分析系統簡介 系統結構 EDIS系統 智能網系統 短信系統 數據網系統 交換系統 GPRS系統 無線系統 中繼信令目的碼 數據鉆取 數據預估 差異分析 對比分析 GIS模塊 廠家全 COUNTER分析 經營分析 聯機分析(OLTP) 在線分析(OLAP) 中國移動通信集團四川公司網絡管理中心 綜合性能分析系統簡介 - 14 - 技術優勢（一） 數據集成 運用成熟、穩定的 ETL工具及技術，對不同來源、不同結構數據進行抽取、清洗、轉換。有效應對了網管系統中數據來源及數據結構復雜的現狀，為多維形式組織數據提供基礎 。 數據存儲與管理 靈活的 KPI定義 多維分析 采用 MOLAP的多維存儲方式，在縮小存儲空間的同時保證查詢響應速度 。有效解決了網管系統各廠家設備海量數據的長期保留問題 。 提供 KPI指標自定義功能，系統 KPI指標既可來自度量值，也可通過現有度量值根據業務邏輯生成計算成員實現，便于 KPI指標的調整和更新。 支持按照主題進行數據的多維形式組織，以及對多維形式組織的數據采取切片、切塊、旋轉等各種分析動作。為前端進行數據多維呈現提供基礎。使用戶能夠從多角度、多層次觀察數據，深入了解包含在數據中的信息和內涵，為決策提供有效支持。 中國移動通信集團四川公司網絡管理中心 - 15 - 綜合性能分析系統簡介 技術優勢（二） 數據挖掘 支持從有效組織的數據中運用數據挖掘工具、算法， 獲取有效的、新穎的、潛在有用的、最終可理解的模式。目前，系統已實現網絡重要指標走勢的較準確預測。 數據表現 設計模式 標準開放 實現豐富的前端統計分析功能，使用戶可通過自定義查詢、指標等方式自主創建視角觀察數據；支持圖表、地圖等多種形式表現多維數據，確保用戶更有效獲取數據信息；提供豐富的報表管理功能，全面滿足網管部門日常報表需求。 基于 .NET的多層結構設計模式，便于日后靈活快速的升級。 使用 XML，與其它業務系統方便地集成。 中國移動通信集團四川公司網絡管理中心 綜合性能分析系統簡介 - 16 - 查詢 報表 自定義指標 系統管理 系統 前端功能包含： 查詢； 報表； 自定義指標； 系統管理。 前端首頁 系統前端功能 中國移動通信集團四川公司網絡管理中心 綜合性能分析系統簡介 - 17 - 系統前端功能 查詢管理 新建查詢 已創建的查詢，可以修改時間參數后反復使用 通過設置時間范圍以及鎖定指標，可以構造復雜的性能數據查詢 中國移動通信集團四川公司網絡管理中心 綜合性能分析系統簡介 - 18 - 系統前端功能 自定義指標 報表管理 公式和函數列表 性能數據和配置數據列表 已根據用戶需要定義的各類報表，可方便進行查看和數據下載 中