1、內蒙古移動經營分析系統2.0集團客戶系統總總體設計說明明書2008年100月本文檔及其所含含信息為機密密材料并且由中國移動動集團公司和和NCR（中國國）有限公司司共同擁有。本文檔中的任何何部分未經中中國移動集團團和NCR（中國國）有限公司司書面授權，不得將材料泄露露給第三方,也不得以任任何手段、任任何形式進行行復制與傳播播Copyrigght 2006 NCR版權保留所有的權利利目 錄sTOC o 1-3 h z HYPERLINK l _Toc212004220 1綜述33 HYPERLINK l _Toc212004221 1.1編寫目目的3 HYPERLINK l _Toc2120042

2、22 1.2讀者對對象3 HYPERLINK l _Toc212004223 1.3參考資資料3 TOC o 1-3 h z HYPERLINK l _Toc212004220 2系統總體體架構4 HYPERLINK l _Toc212004221 2.1數據集集市數據質量量管理方案4 HYPERLINK l _Toc212004222 2.2其他模模塊說明4 HYPERLINK l _Toc212004223 2.3數據質質量的交互方方式4 HYPERLINK l _Toc212004223 2.4FTPP的輪詢方式式5 HYPERLINK l _Toc212004220 3系統軟硬件件總體

3、結構 PAGEREF _Toc212004220 h 5 HYPERLINK l _Toc212004221 3.1硬件技術結結構 PAGEREF _Toc212004221 h 5 HYPERLINK l _Toc212004222 3.2軟件技技術結構 PAGEREF _Toc212004222 h 6TOC o 1-3 h z HYPERLINK l _Toc212004220 4技術設計 PAGEREF _Toc212004220 h 5 HYPERLINK l _Toc212004221 4.1術術語說明 PAGEREF _Toc212004221 h 5 HYPERLINK l _

4、Toc212004222 4.2一般結結構10 HYPERLINK l _Toc212004223 4.3建議的的結構11 HYPERLINK l _Toc212004220 5數據質量檢檢查互交格式式定義14 HYPERLINK l _Toc212004220 6平臺設計14 HYPERLINK l _Toc2120042221 6.1設計原則1 PAGEREF _Toc212004221 h 5 HYPERLINK l _Toc212004222 6.2系統數數據接口15 HYPERLINK l _Toc212004223 6.3數據轉轉換17 HYPERLINK l _Toc212004

5、223 6.4數據加加載17 HYPERLINK l _Toc212004220 7數據模型17 HYPERLINK l _Toc21200042211 7.1邏輯數據模模型17 HYPERLINK l _Toc212004222 7.2物理數數據模型17 HYPERLINK l _Toc212004223 7.3數據模模型管理18綜述編寫目的編寫本功能規格格說明書的目目的，主要是是對內蒙移動數據質量量管理系統建建設項目的總總體設計思想想、功能的明明確闡述；使使用戶和軟件件開發者雙方方對數據質量量管理系統的的功能點有一一個共同的理理解，為開展展數據質量管管理系統的開開發工作提供供指導，保證證系

6、統功能滿滿足集團要求求和用戶需要要。讀者對象本文檔適合于以以下人員閱讀讀和參考：開發、測試人員員。業務開發人員。系統分析師。系統架構師。參考資料中國移動省級級經營分析系系統規范總冊冊v2.0中國移動省級級經營分析系系統數據質量量管理系統業業務技術規范范v2.0.doc系統總體架構數據集市數據質質量管理方案案其他模塊說明數據接口：是為為了保證數據據的結構、意意義、編碼、保保持一致。數據質量管理：確保從數據據源抽取的數數據質量。數據模型：包括括邏輯數據模模型和物理數數據模型。數據質量的交互互方式交互的頻率準時時提供交互的方式Ftp文件輪詢詢交互的格式交互的格式為XXML，具體體的格式和說說明由Te

7、rradataa提供FTP輪詢方式式系統軟硬件總體體結構硬件總體結構產品型號產品名稱配置數量廠家及說明NCR54500數據倉庫服務器器92TB（裸盤盤）16節點NCR/生產系系統NCR53800數據倉庫服務器器12TB（裸盤盤）5節點NCR/生產系系統NCR53500數據倉庫服務器器9TB（裸盤）3節點NCR/生產系系統小計：103TB（熱熱備）22節點NCR/生產系系統L700磁帶庫8個LTO1驅驅動器1臺NCR-LibbrarySL500磁帶庫18個LTO33驅動器1臺NCR-LibbraryIBM P4660ETL服務器4CPU,8GGRAM,22*73GBB2臺IBMHP DL6330

8、應用服務器2顆Interr CPU 1.4GHHz，2G內存2臺HPHP rx46640WEB服務器4顆Interr CPU 1.4GHHz，4G內存，2塊36G SCCSI硬盤2臺HP-PCSeerver軟件總體結構NCR 54550/5380/5350 Teraddata數據據倉庫服務器器操作系統：NCCR UNIIX SVRR4 MP-RAS數據庫系統：NNCR Teeradatta海量并行行處理數據庫庫管理系統工具：NCR Teraddata公用用程序MultiLooadFastLoaadBteqFastExpportArcmainnNCR A166數據倉庫系系統管理工作作站操作系統：

9、NCCR UNIIX SVRR4 MP-RAS工作站管理軟件件ETL服務器操作系統：IBBM AIXX5.0工具：NCR Teraddata公用用程序MultiLooadFastLoaadBteqFastExpportPerlETL AuttomatiionOLAP服務器器操作系統：HPP Unixx工具：ESSBBASE多維維分析服務器器版本工具：NCR Teraddata公用用程序MultiLooadFastLoaadBteqFastExpportPerlETL AuttomatiionWEB服務器操作系統：HPP Unixx & Wiindowss2000 Serveer工具：Hypee

10、rion Brio Cliennt版本與BBEA WEEBLogiic技術設計內蒙經分系統關關鍵技術設計計是依靠Teeradatta數據庫的的PI及PAARTITIION等技術術，Teraadata是是Relattionall Dataabase Managgementt SysttemRDBMSS,可用于UUNIX，WWINDOWWS NT，對對應于工業化化ANSI標標準,Terradataa用于大型數數據庫服務器器，支持并發發訪問,并發發操作請求使使其有能力處處理海量數據據,可在單節節點或者多節節點上運行,是企業級數數據庫的首選選解決方案.術語說明下表說明所使用用的專有名詞詞：名稱定義數據

11、庫(Dattabasee)數據庫(dattabasee)是一個區區域，其上可可建立對象，例例如表、視圖圖及宏。表是是數據儲存的的地方，而經經由視圖及宏宏可控制數據據的存取能力力。數據庫有配置磁磁盤空間。數據庫結構是層層次性式架構構(hierrarchiical)，子子數據庫(cchild databbases) 建立在母母數據庫(pparentt dataabasess)之下。數據庫DBC是是一種特殊的的數據庫，它它在系統定義義時即已存在在，且為分類類及字典表(catallogue and ddictioonary tablees)的預設設區域。DBBC亦為數據據庫層次結構構的頂層。PI數據分

12、布的機制制，數據分布布是否均勻，直直接影響到查查詢的效率。PARTITIION（Partittionedd Primmary IIndex），分分區索引，通通過建立分區區主索引（PPPI），從從而更好的利利用Teraadata的的強大并行能能力，使我們們可以在主表表里同時儲存存歷史數據和和當前數據，也也不會降低效效能，并降低低查詢的復雜雜性。用戶(Userr)用戶(userr)是一種可可登入至系統統的特殊的數數據庫。 每一位用戶皆被被配置一個嚴嚴格限制的永永久空間，讓讓用戶儲存個個人資料。永久空間(Peermaneent Sppace)永久空間 (pperm或perm spacee) 為系統統

13、中可用以容容納數據庫表表的磁盤空間間總合。永久久空間系配置置給數據庫以以便儲存數據據之用。只在一數據庫所所屬于的母數數據庫(paarent databbase)目目前有剩余可可用空間時才才能配置永久久空間給該數數據庫。一開始，Terradataa數據庫中的的所有空間皆皆為特殊數據據庫DBC所擁有有。Spool空間間(Spoool Spaace)Spool空間間(spoool)是數據據庫系統(DDBMS)需需要提供給表表用以在執行行SQL陳述指指令期間暫時時儲存中間結結果的儲存量量總合。 預設作為spoool的空間間大小是，最最小必須有225%的可用用空間或最大大資料表的11.3倍，兩兩者取較大

14、者者。應將此首要規則則視為最低要要求，且可視視處理程序而而改變。在沒沒有Spoool空間的情情況下，查詢詢無法執行 。 通常Spooll空間是配置置給用戶而不不是數據庫。Spool的配置并非根據其直接母體(immediate parent) 的可用空間，而是一任意總量，用以限制一位使用者所能夠執行的工作量。沒有spool的使用者無法執行任何工作，而具有很大spool的使用者幾乎可以執行任何復雜的SQL工作。 帳號字符串(AAccounnt Strrings)帳號字符串用以以識別用戶組組及用戶的系系統優先權，它它們通常與個個別用戶組相相關而非特定定用戶，但可可以為特定用用戶建立它們們。宏(Mac

15、roo)宏是一組執行一一項工作的SSQL，類似似預存程序(storeed proocedurre)，但完完全是SQLL程序代碼，不不包含其它程程序代碼語言言。 宏儲存在數據庫庫中且由用戶戶利用SQLL命令執行。Teradatta數據倉庫所在的的數據庫系統統。一般結構一個稱作DBCC的數據庫是是Teraddata數據據庫中的最高高層次。它擁擁有系統中所所有的資源。DBC數據庫中存在有各種系統及目錄對象(dictionary objects)。沒有任何用戶對DBC有擁有權。DBC具有其它它各種在系統統產生時自動動建立的數據據庫，且這些些數據庫與特特定的工程任任務及系統維維護任務相關關聯，例如SSy

16、stemmFE及Crashhdump數數據庫。對數數據庫及對象象的擁有權是是層次性的架架構，且繼承承至其下層之之子對象。對對較高層或旁旁系階層之數數據庫、視圖圖或宏的存取取必須單獨給給予不同的權權利。在內蒙移動，在在DBC用戶戶下建立了一一個 NMCCDDW數據庫，其其下包含了所所有關于數據據的數據庫， 包括數據、視圖、宏與用戶。NMCCDW將是內蒙移動數據庫管理員的管理員ID(administrator id)，并且擁有NMCCDW之下的所有對象。利用這種方式，管管理員DBCC可獨立出來來且不必要每每天對它作管管理工作。這這樣就可以保保證DBC用戶的的安全性并可可以避免未經經許可即對DDBC

17、目錄 (caatalogg) 及其它它系統表改變變。DBC及NMCCCDW這兩兩種用戶都必必須設定特定定的權利。數數據庫管理員員(DBAss)應該使用用不同的身份份登錄數據庫庫并用不同的的ID來執行數數據庫的管理理。建議的結構數據庫層次的最最頂層為DBBC，如下圖： 名稱說明$NETVAUULT_CAATALOGGBakBonee NETVVAULT備備份工具CAATALOGG庫CrashDuumpsCrashDuumps數據據庫是系統重重新激活時，系統內存傾傾瀉(sysstem mmemoryy dumpps)之儲存存區域。如此此可查看系統統重新激活時時發生的狀況況，而且對于于NCR實驗室室

18、而言是解決決問題時很有有用的工具。此數據庫必須能能夠保存3個CrashhDumpss。DBCMngrrSysAdmiinSys_CallendarrDefaulttAllConsoleePublicTDPUserr這些全部都是體體系結構的用用戶。 一般而言，這些些用戶ID不會指定定給特定人員員，但是會由由負責的 DDBA保留，用用它建立用戶戶并授予他們們存取權。DbqmTeradatta Queery Maanagemment工具具使用庫NETVAULLTNETVAULLT工具數據據庫恢復用戶戶，用戶可以以自行創建SystemFFE這個數據庫存有有NCR的數據據庫執行維護護和監督各項項活動所需

19、要要的各種視圖圖NMCCDW獲得DBC的大大部分存儲資資源，存放經經營分析系統統基礎數據、匯匯總數據、視視圖、宏、日日志、用戶信信息等。MMART專題分析數據庫庫NMART應用數據庫PData這是基本數據(base produuctionn dataa)的存放位位置。 同時也是數據模模型的資料表表的存放位置置 表是在LDM及及PDM中的資資料表。 只有DBA才有有權利在這個個數據庫中建建立新表在某種情況下，也也可以刪除、更更改數據庫中中數據SDATA數據臨時區，也也稱緩沖區PMART中間層匯總數據據庫及應用層層數據庫Temp在測試工作中所所產生的臨時時資料表在這這里產生建立數據庫管理理員在數據

20、庫庫中建立和刪刪除表，在系系統正常運行行后僅使用這這些表。在這個數據庫中中也可以保存存衍生的數據據和匯總表，這這些表不是LLDM/PDDM的一部分分，而是根據據系統實際需需要產生的。PView在這個數據庫中中保存系統正正式運行后的的所有的視圖圖。這些是基本視圖圖，數據的視視圖為一般執執行系統作業業時執行PView 對對PDataa有 Seleect的權利利。只有DBA才可可以在此數據據庫中建立對對象。ETL在這個數據庫中中包含所有能能夠執行數據據轉換、備份份工作的用戶戶的ID 每個作業/腳本本都應該有唯唯一的用戶IID 這些用戶ID并并不分配給特特定的人員，而而是分配給特特定作業和腳腳本。應該

21、只對這又這這些用戶IDD才可以對正正式運行的數數據，有Pddata及PVieww，的更新的的權限DBODB深度運營平臺數數據庫MARTDB數據集市數據庫庫數據質量檢查交交互格式定義義發送xml： rule-idd :檢查規則IDD,由TD提提供 instancce-id :檢查實例IDD,由TD提提供 rule-coode :檢查規則類型型,由TD提提供 should-execttime :應該提交執行行的時間,由由TD提供 data-daate :數據日期,由由TD提供 script-sql :檢查sql 接收xml： rule-idd :檢查規則IDD,由TD提提供,直接返返回即可 ins

22、tancce-id :檢查實例IDD,由TD提提供,直接返返回即可 rule-coode :檢查規則類型型,由TD提提供,直接返返回即可 should-execttime :應該提交執行行的時間,由由TD提供,直接返回即即可 data-daate :數據日期,由由TD提供,直接返回即即可 result-code :執行結果代碼碼，00執行行失敗，011執行成功 result-valuee :執行結果（具具體數值） result-desc :執行信息（如如果失敗，報報錯信息） 平臺設計數據管理體系結結構的基本概概念是針對各各數據集市的的數據質量管管理，采用統統一配置，分分布執行，統統一管理的方方

23、式。 為了獲得最佳效效果，需在不不同的服務器器之間分配工工作負荷，工工具也相應地地放置于最合合適的服務器器之內。整個個數據管理系統統體系結構圖圖如下圖所示示：設計原則對數據集市數據據質量的管理理只在經分建建立一套數據據質量管理系系統，對個數數據集市開發發統一數據質質量規則接口口 統一在經分數據據質量管理系系統中定義數數據集市各自自的數據質量量檢測規則， 經分定時傳遞規規則給集市，具具體執行在各各個數據集市市上面完成。 集市將執行的結結果返回給經經分的數據質質量管理系統統，進行統一一判斷、告警警、管理和報報告系統數據接口目前有六種數據據來源：BOSS系統: 屬于內蒙移動的的BOSS系統統，其中包

24、括括了計費和營營帳系統與處處理帳務及客客戶資料的系系統。計費系系統以HP 9000為為平臺，營帳帳系統同樣以HP 90000為平臺臺。BOSS系統的的計費系統BOSS系統的的營帳系統商務分公司的短短信業務和移移動夢網系統統數據分公司的上上網直通車業業務客戶服務中心的的大客戶服務務業務客戶服務系統：屬于客戶服務中中心的客戶服服務系統（11860），以以HP Unnix為平臺臺，建立在OOraclee數據庫上的的華為客服系系統。MISC系統：由卓望公司實施施。彩鈴平臺系統：由華為公司實施施。話務網管系統：由億陽公司實施施。中央音樂平臺：由集團統一下發發接口。對于客戶資料應應將進行匯總總整合，以利利

25、數據之一致致性并避免重重復。在總體體設計上，目目前是各個業業務系統將數數據通過接口口或者文件方方式傳送給BBOSS系統統作處理，NNCR建議由由BOSS系統統經過處理后后統一傳送給給內蒙移動經經營分析系統統。我們計劃以上的的數據來源的的的傳送機制制都經由ASSCII文件件。在BOSS系統統中通過FTTP的方法，傳傳送給ETLL加載服務器器，再由ETTL加載服務務器裝載入NNCR的數據倉庫服務務器中。對于新增加部分分和數據更新新部分，經雙雙方共同確認認后，由內蒙蒙移動BOSSS系統，將將新增加部分分和更新部分分按數據傳送送規范，以FFTP方式傳傳送給NCRR的ETL數據加加載服務器。數據加載將會

26、自自動化進行，采采用程序輪詢詢的處理方法法。能及時發發現源系統已已經傳送了新新的數據資料料，這些數據據文件將置于于ETL加載服服務器上的指指定目錄。程程序將在ETTL加載服務務器上執行。它它們會尋找這這些檔案，如如果能取得這這些檔案，程程序就會獲取取這些檔案，并并傳送到轉換換服務器。程程序會進行完完整性檢查，以以確保檔案的的傳送與接收收都正確。數據轉換這項操作一部分分將于ETLL加載服務器器上進行。如如有需要，可可撰寫一些PPerl程序序，轉換程序序將于第7章章詳細說明。另另一部分在入入庫后，利用用數據庫強大大性能的支撐撐下由SQLL腳本實現。這這兩部分程序序都將會自動動化運行。數據加載這項操

27、作將于EETL加載服服務器上進行行，以包括FasstLoadd、MultiiLoad、Bteq等等等高效的Teeradatta加載公用用程序來執行行。這部分程程序將會自動動化運行。我們將會開發增增量加載程序序，這是針對對大數據量的的數據單元，我我們將使用增增量更新，而而非全量更新新。數據模型邏輯數據模型化化通過圖形技技術，來說明明對于Enttity (稱為實體) 具有重要性性的對象的相相關商業規則則；其中包括括實體認為重重要的對象的的屬性或特性性，以及不同同對象之間的的關系。我們們使用邏輯一一詞，因為強強調的重點是是了解資料的的基本邏輯結結構，而非產產生這份資料料如何建設到到具體檔案或或數據庫之內內的設計。支支持任何商業業領域的邏輯輯數據模型通通常非常穩