1、系統設計說明書歸一大數據平臺數據倉庫系統設計說明書件控制檔編號版本號分冊名稱第冊/共冊總頁數正文附錄編制審批生效日期修改變更記錄：更改條款及內容更改人審批人更改日期創建文檔閻飛謝益武2015-11-5目錄1引言51.1文檔編制目的51.2背景61.3詞匯表61.4參考資料62總體設計62.1軟件體系結構62.2系統運行體系72.2.1運行體系圖72.2.2程序/模塊對應表72.3系統物理結構82.4技術路線83系統接口設計83.1用戶接口84子系統/模塊設計94.1數據倉庫94.1.1ODL(操作數據)層設計94.1.2BDL(數據倉庫)層設計104.1.3IDL(寬表)層設計124.1.4P

2、DL(應用)層設計134.1.5PUB(維度)層設計144.1.6數據導出設計165數據結構與數據庫設計176外部存儲結構設計177故障處理說明178尚需解決的問題17編寫指南： 本模板力圖給出系統設計階段可能包括的基本信息，重點在于和需求分析文檔相聯系。描述系統整體情況。如果某個章節在項目或當前階段中無法描述，則可保留其標題，注明“不適用”；如果需要對本模板的個別章節詳細描述，也可將其形成單獨的文檔，成為本文檔附件。若文檔中的某個章節已經在其他項目文檔中加以描述，可保留標題，注明“參見（文檔編號）（文檔名稱）（條款）”。形成正式文檔后須刪除斜體字內容。0報告編制要求這里列出本系統設計報告編制

3、的經驗性要求，須由系統設計人員參照其進行裁剪以確定本次報告編制的相關規定。序號要求1對各種結構圖要求采用Visio繪制。2軟件體系結構圖通常包括：子系統實體、子系統間數據流、相關說明。3軟件結構圖通常包括：模塊實體、模塊間數據流、數據存儲、相關說明。4運行體系圖包括：進程實體、啟動順序、并發性、數據交換。5物理結構圖包括：物理節點實體、物理節點分布、物理節點描述、物理節點間相互關系。6對數據庫結構的描述要求采用結構圖方式描述，而非采用過多表格。7數據庫結構圖主要包括：表實體、表間關系、主要字段、相關說明四部分。8對于平臺性產品，要求有系統層次的劃分圖。9通常要隔離應用對數據庫的直接訪問。1 引

4、言1.1 文檔編制目的Ø 指導開發人員進行后期的開發工作；Ø 指導測試人員進行解決方案級的系統測試；1.2 背景敘述系統設計階段的目標、作用范圍以及其他應向讀者說明的理解本報告所需的背景，如與公司其它軟件之間的聯系等。1.3 詞匯表列出本系統設計說明書中專門術語的定義、英文縮寫詞的原詞組和意義、項目組內達成一致意見的專用詞匯，同時要求繼承全部的先前過程中定義過的詞匯。詞匯名稱詞匯含義備注備注中注明該詞匯的來源，或有其他更詳細的解釋的文檔位置；以及對該詞匯的其他叫法。1.4 參考資料需求規格說明書系統架構設計說明書數據倉庫命名規范.docx2 總體設計2.1 軟件體系結構2.

5、2 系統物理結構描述使用本軟件系統典型用戶的物理設備分布圖及設備上相應基本軟件配置。軟件環境包括：操作系統、數據庫、以及其它支撐軟件；硬件環境包括：主機類型、網絡類型、存儲器容量、其它特殊設備。要求：1）盡量為系統的每個物理節點定義一個和功能相關的名稱，名稱的含義在詞匯表中說明；2）結合運行體系圖中提到的“程序”，將相關的“運行程序”分布到各個物理節點中；3）采用網絡拓撲圖表示。2.3 技術路線描述本軟件系統在實現過程中所采用的技術路線、方法。對較新的技術給予詳細的闡述及必要的說明，在可能的情況下給出相應的技術參考資料。3 系統接口設計3.1 用戶接口無接口。4 子系統/模塊設計4.1 數據倉

6、庫4.1.1 ODL(操作數據層)設計4.1.1.1 功能描述實現從外部系統導入數據到大數據平臺,ODL層數據與數據源保持一致.Ø 同步方式包括:l 增量同步l 全量同步Ø 數據源類型包括:l 數據庫4.1.1.2 業務流程Ø 流程圖:Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 作業讀取數據同步腳本,遠程調用數據庫接口.3. 數據庫接口返回遠程調用結果.4. 接收數據庫接口返回的數據集,裝載到ODL本地表.Ø 異常處理:調度系統捕獲異常并處理Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.Ø 數據源說明:

7、1. 通過視圖封裝需要同步的物理表, 與業務進行隔離. 當物理表發生變動,盡量通過修改視圖兼容. 2. 數據同步程序訪問數據源視圖.Ø 數據粒度說明：與數據源保持完全一致。4.1.1.3 作業設計詳見<<數據同步列表.xlsx>>4.1.2 BDL(事物層)設計4.1.2.1 功能描述BDL層對ODL數據進行清洗、轉換，實現統一維度的數據整合。4.1.2.2 業務流程Ø 流程圖:Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 作業讀取ODL表，進行數據清洗，對不符合規則的數據進行丟棄或轉換.3. 將轉換后的結果數據裝載到BDL本地表

8、.Ø 異常處理:調度系統捕獲異常并處理.Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.Ø 數據粒度說明：與ODL保持一致.4.1.2.3 作業設計詳見<<數據倉庫轉換文檔.xlsx>>4.1.3 IDL(寬表層)設計4.1.3.1 功能描述在IDL層對BDL事實表按主題進行合并, 形成一次寫多次讀的寬表, 降低系統整體開銷. 并實際根據需要進行用戶級粒度的聚合, 進一步提高查詢效率.4.1.3.2 業務流程Ø 流程圖:Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 按主題讀取相關BDL表, 進行關聯,

9、盡量補齊維度字段, 生成事物級寬表.3. 按用戶級粒度聚合, 生成用戶級寬表.Ø 異常處理:調度系統捕獲異常并處理 Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.Ø 數據粒度說明:1. 事物級粒度.2. 用戶級粒度.4.1.3.3 作業設計詳見<<數據倉庫轉換文檔.xlsx>>4.1.4 PDL(應用層)設計4.1.4.1 功能描述PDL層按業務需求, IDL寬表匯總查詢生成各種結果表.4.1.4.2 業務流程Ø 流程圖:Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 讀取IDL寬表,按業務需求進行聚合

10、,篩選,生成指標數據.3. 結果寫入PDL層結果表.Ø 異常處理:調度系統捕獲異常并處理 Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.Ø 數據粒度說明:1. 按業務需求的各種粒度.4.1.4.3 業務賬數據統計設計業務賬數據統計如下特點:Ø 業務賬指標由多個交易類型代碼組合, 一個交易類型代碼對應多個業務指標, 例如:業務賬指標A 交易類型代碼M00010, M00001,M00002,M00003,業務賬指標B 交易類型代碼M00010, M00011,M00012,M00013,業務賬指標C 交易類型代碼M00000, M00011,M0

11、0002,M00023,Ø 隨需求也業務變化, 業務賬指標及其交易類型代碼也會變化.Ø 每個業務賬指標統計算法相同, 只是其交易類型代碼組合不同.Ø 每個業務賬指標可能會被多個報表調用，例如“積分總金額”針對以上特性, 通過抽象的方法，設計對指標（交易類型代碼）配置化管理、運算統一化技術的功能， 減少系統維護成本。4.1.4.4 作業設計詳見<<數據倉庫轉換文檔.xlsx>>4.1.5 PUB(維度)庫設計4.1.5.1 功能描述采用異步LOOUP方法,主動捕獲非法維度數據,經過人工識別生成維度數據.4.1.5.2 業務流程Ø 流

12、程圖:Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 異步讀取ODL表和維表,對比維度映射表查找是否有不存在的維度數據.3. 如果發現非法維度數據,經過人工識別,寫入維度映射表和維度表.Ø 異常處理:調度系統捕獲異常并處理 Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.4.1.5.3 作業設計詳見<<數據倉庫轉換文檔.xlsx>>4.1.6 業務賬(數據集市)庫4.1.7 數據導出設計4.1.7.1 功能描述將PDL表和維度導出,同步給mysql庫,供統計報表查詢使用.4.1.7.2 業務流程Ø 流程說明:1. 調度系統定時啟動數據同步作業.2. 讀取PDL表和維表,將數據裝載到MYSQL庫對應的表中.Ø 異常處理:調度系統捕獲異常并處理 Ø 日志說明:由調度系統負責記錄作業(正常和異常)日志.4.1.7.3 作業設計5 數據結構與數據庫設計詳見<<數據庫設計說明書.docx>>6 外部存儲結構設計說明本系統存貯于磁盤等持久性存貯介質，而且不是由數據庫管理系統進行管理的數據的組織結構，包括數據