商行

基礎數據平臺建設規劃——專注金融領域、專業IT服務、助力商行信息化整體邏輯思路整體規劃目標藍圖實施框架項目路徑技術實現總體設計數據模型技術平臺行業借鑒

Agenda一、數據中心藍圖規劃三、同行借鑒二、技術實現數據平臺建設－藍圖1信息分析人員系統運行維護人員技術開發人員5數據平臺建設－藍圖2(技術)數據中心數據交換調度服務監控服務資源分配服務集中式調度監控管理(ETL平臺）元數據管理數據質量管理數據標準管理統一數據管控數據倉庫數據中心數據加工核心系統T+1計算xx系統ETL應用xx系統ETL應用核心系統T+1計算數據中心數據加工數據中心數據交換數據平臺建設－藍圖3(業務應用)6客戶客戶獲取與挽留客戶細分與價值提升交叉銷售/向上銷售事件驅動營銷營銷活動管理與優化客戶生命周期管理風險合規與信息披露資產負債管理金融犯罪識別信用風險市場風險操作風險財務財務績效管理資本配置與管理法規遵從與報表產品捆綁與定價財務管理流程優化運營交易渠道管理銷售渠道管理渠道遷移與流程優化績效考核與報表產品開發與定價資源規劃與管理信息數據標準數據質量數據安全企業數據整合元數據管理數據訪問管理與支持國外先進銀行總結提煉了一套數據平臺業務應用框架，包括了客戶管理、運營管理、風險管理、財務管理、信息管理五大支柱的近三十種應用，為銀行后續的數據平臺項目建設和推廣應用提供了極好的借鑒。數據平臺建設－建設思路１業務創新期基礎建設數據治理報表支持管理優化期業務支持期數據整合專題應用數據開放創新業務技術主導業務參與業務需求技術支持業務主動技術服務業務價值驅動從技術“推”到業務“拉”的轉變養育數據、由小而大、分期建設規劃勾畫骨架；項目勾畫血肉數據平臺建設－建設思路２信息科技部管理信息部數據分析支持數據管理決策支持分行服務支持總行領導全行業務狀況分析業務發展決策分析……各業務系統收集業務數據控制數據標準……總行各部門公司業務部個人業務部金融同業部風險管理部人力資源部。。。分支行機構分支機構領導分支機構業務部門分支機構管信部客戶經理業務狀況分析業務發展決策分析……相關業務狀況分析業務統計報表……支行業務狀況分析重點業務部門支持……相關客戶業務分析與支持……數據管控體系戰略與規劃業務應用體系服務運營體系技術平臺體系政策、流程、制度數據標準數據質量元數據管理數據架構業務創新戰略決策運營策略管理優化應用驅動型服務數據驅動型服務運營驅動型服務數據運營治理基礎數據平臺數據服務平臺數據應用平臺數據管控平臺運營管理平臺數據平臺建設－目標分解（總體）數據平臺建設－目標分解（業務應用體系）數據平臺建設－目標分解（數據管控、服務運營）數據平臺建設－目標分解（技術平臺體系）數據平臺建設－實施路線圖整體規劃規劃管理規劃調整與實施監控服務運營體系數據服務流程、制度制定業務應用體系業務快報業務價值驅動的專題應用（客戶、運營、風險、財務、信息）政策、流程、制度制定數據治理體系數據架構管理數據安全技術平臺體系基礎數據平臺（數據整合）業務價值

數據架構

技術架構

應用架構

管控架構數據開放數據標準、元數據管理、數據質量主數據管理數據交換服務數據集成服務歷史數據服務數據開放服務基礎數據平臺（歷史數據）基礎數據平臺（統一數據管控平臺）基礎數據平臺（統一ETL平臺）基礎數據平臺（公共應用平臺）基礎數據平臺（統一數據交換）管理駕駛艙部門報表數據平臺建設－本期數據應用方面：建設報表集市的自由查詢功能；初步建設管理駕駛倉（50個KPI指標）。完成30張管理報表。數據接入方面：接入新核心系統、信貸系統、個貸系統數據；另項目一階段提前接入舊核心系統數據表。數據供應方面：在接入系統數據批處理基礎上、實現批量報表數據集中加工和批量處理。提供已接入系統的數據服務。平臺方面：初步建立起數據集中處理平臺架構，重點建設統一數據交換、統一ETL；統一數據管控則主要構建銀行數據治理框架，實現部分簡單的元數據管理和數據質量檢查功能；初步建立統一報表應用平臺，具備報表集中展示以及基于已有模型的分析應用支持能力。以平臺的技術建設為主要目標，主要實現三個關鍵源系統數據集中處理功能、報表集市及管理駕駛倉的初步建設。技術數據應用價值能力：應用：建立統一報表應用平臺、管理駕駛倉，具備決策支持、數據分析支持能力；數據：初步建立全行報表集市；具備全行數據交換能力；技術：統一數據交換技術平臺；BI應用門戶；ETL處理中心。數據平臺建設－二期數據應用方面：完善指標體系，完善管理駕駛艙建設；完成所有日常經營固定報表遷移；建設客戶統一視圖管理專題應用。數據源接入方面：完成所有數據源的接入。數據供應方面：完成已建信息系統（如信貸系統、核心系統等）的數據服務遷移。平臺方面：一期平臺的優化；初步建設數據整合、歷史數據存儲；完善統一數據管控部分的數據質量管理，引入元數據管理工具、數據質量管理工具，支持數據質量管理流程。以數據集中處理功能為主，進一步增加數據源接入；完成1104監管報表及其它管理報表遷移；完善管理駕駛倉建設；開始進行客戶統一視圖等專題分析應用建設技術數據應用價值能力：應用：決策支持、數據分析支持能力；管理駕駛倉；一站式報表服務；

客戶統一視圖專題分析應用數據：全行數據集成能力（企業數據模型）；全行數據交換能力；歷史數據管理能力；

數據管控能力；集中數據處理能力技術：BI應用門戶；ETL處理中心；統一數據中心技術平臺；數據管控平臺數據平臺建設－遠期數據應用方面：為各部門定制部門管理視圖，并開放相關查詢應用；建立客戶分析、績效、CRM、風險管理應用；建設產品分析專題應用。數據源接入方面：進一步接入其他業務系統的數據源。數據供應方面：持續集成新增系統的數據服務。平臺方面：完善數據整合、歷史數據存儲；完善統一數據管控部分的元數據管理，構建企業級元數據管理。進一步完善整個基礎數據平臺體系，增加整個平臺對外的開放程度，增強數據服務職能；技術數據應用價值能力：應用：決策支持、數據分析支持能力；一站式報表服務；專題分析應用；各部門專用自由查詢；業務創新支持能力；管理優化支持能力數據：全行數據集成能力（企業數據模型）；全行數據交換能力；歷史數據管理能力；數據管控能力；集中數據處理能力；數據開放能力技術：BI應用門戶；ETL處理中心；數據管控平臺集市層匯總層匯總基礎層整合層團體協議財務產品渠道資產賬戶匯總交易統計匯總客戶匯總機構匯總產品匯總渠道匯總指標庫:規模指標、客戶指標、盈利指標、風險指標等核心信貸渠道國業財務網銀事件（1）主要業務系統的接入；（2）基于接入系統數據，初步建設基礎層數據表（3）初步建設客戶匯總、建設機構、渠道和產品匯總（4）進行指標層梳理（5）支持報表集市數據平臺建設－數據能力演進１集市層匯總層匯總基礎層整合層團體協議財務產品渠道資產賬戶匯總交易統計匯總客戶匯總機構匯總產品匯總渠道匯總指標庫:規模指標、客戶指標、盈利指標、風險指標等核心信貸渠道國業財務網銀事件（1）新增系統接入（2）初步進行團體、協議和事件領域的模型整合（3）繼續完善匯總建設（4）繼續完善指標層（5）支持新增集市以及原有集市優化客戶匯總數據平臺建設－數據能力演進２集市層匯總層匯總基礎層整合層團體協議財務產品渠道資產賬戶匯總交易統計匯總客戶匯總機構匯總產品匯總渠道匯總指標庫:規模指標、客戶指標、盈利指標、風險指標等核心信貸渠道國業財務網銀事件（1）新增系統接入（2）完善并且增強已有主題、新增資產、產品、財務、渠道主題建設；（3）全面完善匯總建設（4）全面完善指標層（5）支持新增集市以及原有集市優化數據平臺建設－數據能力演進３Agenda一、數據中心藍圖規劃二、技術實現總體設計企業數據模型規劃與建設數據平臺建設總體設計-原則項目總體原則前瞻性、實用性、穩定性和先進性模塊化靈活性安全性開放性易開發性完善的培訓和升級服務系統設計原則總體設計-邏輯架構總體設計-數據架構總體設計-技術架構總體設計-物理架構總體設計-運維架構26設備容量規劃性能工藝優化日常運維管理服務基線管理運維架構程序優化作業配置優化任務依賴優化實施工藝流程優化數據源來數基線時間數據處理結束時間數據傳輸結束時間供數基線時間目標系統要求數據時間對外服務時間定期系統運行情況報告系統規劃容量規劃性能規劃系統維護系統配置參數管理正常啟停機檢查清理過期數據故障干預備份恢復管理定期維護管理報告系統運行情況監控性能監控服務狀態監控作業執行情況監控源數據到達情況監控供數情況監控Agenda一、數據中心藍圖規劃二、技術實現總體設計企業數據模型規劃與建設數據平臺建設企業數據模型-總體規劃企業數據模型-數據層次規劃原則企業數據模型-建設重點（三層）30結構幾乎和源系統一致面向整合主題設計提供規范和共享數據面向應用按需定制初級的數據加工明細VS匯總數據集市層匯總數據層基礎數據層整合數據層企業數據模型-基礎數據層模型基本同源，表增加來源系統，加載日期字段當前全量加短期歷史全量的保存策略表名采用“前綴O_三位源系統縮寫_源表名”字段名同源，規范采用分段首字母大寫其他小寫表和字段的中文說明同源即可，嚴重不清的可適當修改企業數據模型-整合數據層：主題劃分企業數據模型－匯總數據層：設計時間維度匯總：日匯總，月季年匯總等基礎維度匯總：匯總數據層也分主題，但與基礎數據不一致：卡匯總，賬戶匯總，客戶匯總綜合指標匯總：機構匯總，渠道匯總，產品匯總，根據需求補充完善。如：中間業務產品收益，渠道交易統計特殊的匯總：如OLAP類分析，由集市層實現企業數據模型－模型客戶化方法業務驅動分析講解：東南融通公司向客戶講解數據模型，銀行的業務人員就目前的業務進行詳細介紹。定義需求：通過和業務人員進一步的溝通，明確當前的業務需求。差異化分析:根據對目前業務的了解和需求的了解，結合現有的模型進行差異化分析，找出差別所在；了解模型對當前需求的滿足度。數據驅動分析講解：東南融通公司向客戶講解模型，銀行的技術人員就目前數據源的數據結構和邏輯關系進行詳細介紹。確定范圍：確定范圍包括數據源的范圍、抽樣數據的范圍。收集資料：收集資料需要收集所涉及到的業務系統介紹、完整的數據字典以及系統的樣本數據。系統介紹應包含系統架構、設計思想以及和其它系統的關系等。抽樣數據有助于驗證重要、復雜的業務規則，分析數據的使用規則。源系統分析：分析收集到的業務系統資料和抽樣數據，從而清晰了解業務系統的構造和數據規則。差異化分析：根據對業務系統的了解，結合現有的模型進行差異化分析。客戶化實施定義統一的業務術語，通過以上工作，技術人員和業務人員應該就重要的業務術語形成統一的定義。客戶化數據模型，根據之前的差異化分析結果，和業務人員、技術人員一起進行模型的客戶化工作。模型回顧和完善，和客戶的業務人員、技術人員交流和討論，模型是否易于理解，是否能夠實現業務需求，業務規則是否得到體現，是否正確理解了原業務系統的數據，是否有遺漏的數據，實體之間的關系是否正確等。轉化成物理模型，根據數據環境、運行環境等進行物理模型的優化設計。企業數據模型－模型客戶化實施流程Agenda一、數據中心藍圖規劃二、技術實現總體設計企業數據模型規劃與建設數據平臺建設數據平臺設計統一數據交換－架構設計統一數據交換設計－文件存儲模塊原始層：用來存放直接從源應用下載獲取的最原始數據。標準層：用于存放進行了標準化的、且提取出增量的數據，通常是通過基礎數據層的標準化視圖而下載出來的對外供數的增量數據文件，標準層數據的標準化工作將遵從于銀行數據標準。加工層：用于存放除上述以外處理的結果文件，包括數據篩選、數據拆分、數據壓縮打包等處理以后的生成文件；位于加工層的數據結構和內容就會有較大的變化了。數據保留周期：3日內原文件保留；4-14日內壓縮保留；之后將原始層和標準層數據轉換到歷史數據存儲，加工層刪除。數據文件格式：采用ASCII編碼的文本文件，采用定界+定長的方式。雙文件規范：每個數據文件都將同時帶有一個控制文件，控制文件的主要作用是在文件傳輸結束后告訴接收方數據文件已傳完；其次還可以包含數據文件本身的一些信息，如大小、行數、生成日期等，用于使用者驗證文件的正確性。統一數據交換－文件處理模塊文件處理模塊－直抽接入直抽接入設計思想采用ETL工具接口（比如，Dbroad

Datastage），完成所需功能支持多源類型支持作業重做直抽接入直加接出譯碼數據篩選數據拆分數據打包文件處理模塊－直加接出42直加接出設計思想采用ETL工具接口（比如，Dbroad，Datastage），完成所需功能通過開關，確定是否執行具體的數據庫加載操作，當作業的加載部分出錯時，由運維人員手工修改該開關，設置為不作實際的加載操作，使作業的加載部分之外的處理能夠成功。支持多種數據庫類型。直抽接入直加接出譯碼數據篩選數據拆分數據打包文件處理模塊－譯碼43

組件設計原理：出錯處理：讀取輸入參數，參數值非法。解析表定義文件時出錯，表定義文件不存在、無讀權限、格式錯誤等

維護設計：表定義文件轉碼配置文件譯碼直抽接入直加接出譯碼數據篩選數據拆分數據打包文件處理模塊－數據篩選數據篩選類型：列篩選根據數據消費系統的公共需要，對文件記錄中的字段進行列篩選，根據選定剔除無用字段，生成新的批量文件。行篩選根據目標系統的公共要求，對文件記錄進行篩選，根據列的計算條件剔除無用記錄，生成新的批量文件。數據篩選實現上數據加工流程中的篩選可以考慮使用ETL工具（DATASTAGE）的組件進行篩選，將篩選后的行列傳給下一個處理流程，避免落地，提高整體的處理效率單獨的篩選需求－單獨公用組件根據配置文件中行篩選條件和列篩選條件，將輸入標準文件進行范圍篩選，并得到處理后的輸出標準文件；即在文件上實現類數據庫中的一些數據篩選操作，提高時間窗口的處理效率。數據篩選直抽接入直加接出譯碼數據篩選數據拆分數據打包文件處理模塊－數據拆分45從數據文件中的某一標識字段中的部分值，確定要歸屬到哪一個分行，此時該值有兩種情況：該值即為分行代碼直接根據該值即可得到歸屬的分行號將該記錄歸到該分行對應的文件。該值不為分行代碼通過映射關系表獲取到歸屬分行號再行進行分發數據拆分直抽接入直加接出譯碼數據篩選數據拆分數據打包文件處理模塊－數據打包46數據打包設計思想和傳輸組件一起封裝，根據輸入的文件列表打包傳輸。使用場景源系統供數時間窗口比較一致且文件大小相差不大臨時性的數據提供（重傳、補傳）直抽接入直加接出譯碼數據篩選數據拆分數據打包統一數據交換－文件傳輸模塊采用TCP/IP協議，客戶端和服務端建立可靠的，全雙工的面向連接的字節流網絡鏈接，傳輸應用指令和數據。客戶端在通過身份認證后，向服務端發送指令和經過壓縮和加密的數據，實現文件安全，高效的傳輸。數據在通信的兩端會經過指紋信息的校驗，以確保數據的完整性。加密算法使用RSA算法，AES算法，DES算法，RC4算法，MD5算法；壓縮算法使用gzip算法。統一數據交換－文件傳輸模塊：組件部署48數據傳輸客戶端查詢某個節點上某個數據文件是否存在。將本地數據文件安全，完整，快速的傳輸到指定的節點。將指定節點上的數據文件安全，完整，快速的下載到本地。數據接收服務端提供安全認證。提供數據傳輸服務相關管理功能數據整合－架構設計數據整合－模型物理化設計接口設計源是數據庫時，從源直抽并直接加載到目標的直接用工具實現，無需接口。源是文本時，采用工具直接加載。文件直傳由交換層直接實現，無需接口目標需要文本的，使用目標文本接口標準針對多個目標的一致性應用，無需復雜處理的可以建立統一的數據視圖，需要復雜處理的可以編制統一數據發布接口，為多個目標提供統一應用統一對外的XML報文接口標準存儲優化設計確定索引策略確定數據存放位置確定存儲分配穩定性及屏蔽源系統設計不使用“select*”基礎數據層中盡量不刪除和修改字段，只是新增字段使用輔表方式數據篩選設計數據整合－數據處理模塊：ETL總體設計數據整合－ETL異常處理流程5252錯誤數據處理異常類型異常小類產生原因處理方法業務異常Reject文件、錯誤日志沒有清洗規則、主鍵重復等數據質量管理平臺統一收集處理基礎平臺異常操作系統、數據庫、網絡異常掉電、系統升級通過統一管控平臺恢復操作主機資源不夠并發數過多作業需要重新配置，或者減少并行度表空間已滿磁盤資源不足新增邏輯卷，擴大表空間日志空間已滿事務過大調整日志級別、擴大存儲空間操作異常程序缺失不明從版本庫恢復程序數據整合－ETL組件：標準化53數據標準化通用清洗檢核增量比對數據標準化內容：定義標準化；屬性標準化；編碼標準化；代碼標準化數據標準化組件原則：減少落地為了減少數據落地，最好是能在加工作業中，直接將代碼字段值映射為所需的代碼標準，處理后將數據直接傳送給其他的加工處理，設計自定義的組件，完成所需的功能。值映射結果可跟蹤代碼映射時，會存在映射不上的情況，要按照統一的結構進行登記警告信息，有利于后期數據質量跟蹤。通用原則為了使組件能夠完成所有的代碼映射，本組件需要代碼對照表，存放原值與新值對照關系表，通過對照記錄完成對照關系，而不是將對照關系固化在程序邏輯中。數據標準化數據整合－ETL組件：格式標準化、通用清洗檢核54設計一個通用的組件，實現所需格式檢核規則并進行格式標準化處理。處理方案：格式標準化、通用清洗檢核數據標準化通用清洗檢核增量比對數據整合－ETL組件：通用檢核清洗檢核示例55規則名稱子規則名稱規則描述所有字段的長度檢核長度控制1、定長記錄，長度不為指定的接口長度，直接reject這條記錄，程序繼續運行；

2、不定長記錄，長度超出指定的接口長度，直接reject這條記錄，程序繼續運行。主鍵字段檢核主鍵空值1、參數中的allowKeyNull為'True'時,不對主鍵字段作任何特殊處理2、參數中的allowKeyNull為'False'時,對所有主鍵作空值判斷，為空則reject這條記錄，程序繼續運行。數值字段檢核空格處理定長記錄或不定長記錄，數據全部為空格或者是出現||的空值情況：

1、schema中若設置為nullable，正常輸出null值；

2、schema中沒有設置nullable,賦默認值0或default值，登記warning文件。

程序繼續運行。整型字段檢核長度控制若schema中沒有設置固定長度或是最大長度，則默認int32的最大長度是10，而int64最大長度是20。本長度包含符號位。整型字段檢核大小控制Int32類型的，只能在[-2147483648，2147483647]區間，Int64類型的，只能在[-9223372036854775808,9223372036854775807]區間。不在上述指定的區間內，若設置了default值，則登記warning并賦為default值；若沒有設置default，則reject這條記錄，程序繼續運行．整型字段檢核非數值判斷該字段出現非”0123456789”和空格“

”情況，若設置了default值，則登記warning并賦為default值；若沒有設置default，則reject這條記錄，程序繼續運行．

其他數值字段檢核非數值判斷該字段出現非”0123456789.”和空格“

”情況，若設置了default值，則登記warning并賦為默認值；若沒有設置default，則reject這條記錄，程序繼續運行。其他數值字段檢核小數點處理該字段只出現字符".＂，置為0，程序繼續運行。其他數值字段檢核大小控制定長數據，不等于接口規定的長度；不定長數據，超出接口規定的最大長度(包含整數位超長或小數位超長），這兩種情況都視為非法，若設置了default值，則登記warning并賦為default值；若沒有設置default，則reject這條記錄，程序繼續運行。日期字段檢核特殊字符處理定長記錄或不定長記錄，數據全部為空格或者是出現||的空值情況，

1、schema中若設置為nullable，正常輸出null值；

2、schema中沒有設置nullable,則賦值為'0001-01-01'或default值。

程序繼續運行。日期字段檢核不滿足月日條件數據不滿足月日條件且不在上面所列情況的,如月份：不在1-12月之間,日期不在1-31之間，登記warning，賦值為'0001-01-01'或default值，程序繼續運行。時間、時間戳的檢核

同日期字段的檢核，時間的內部固有默認值為'12:00:00'，時間戳的內部默認值為'0001-01-0112:00:00'。數據整合－ETL組件：增量比對56增量比對方法：基于快照法的實現：可配置的不同排序算法適應不同的ETL場景全文件排序比對－文件較大的特殊場景(結息)摘要排序比對－日常文件變化不大場景增量比對數據標準化通用清洗檢核增量比對歷史數據存儲-架構設計歷史數據存儲-功能設計歷史數據存儲-設計要點存儲方式歷史數據存儲采用近線存儲+離線存儲兩級存儲方式近線存儲由共享存儲上的大容量SATA硬盤組成，離線存儲通過磁帶庫實現所有數據均以壓縮文件方式保存轉存周期保留5-10年的歷史數據；前1年近線存儲；之后離線存儲。對于統一數據交換原始層和標準層的數據，只在統一數據交換存儲上保留最近14天的，之后會將壓縮文件轉換到歷史數據存儲的“近線”存儲上對于基礎數據層的數據，將只在數據庫中保留最近3-6個月的，之后部分重要表的數據會以統一數據交換的標準格式導出成文件，再壓縮后轉換到歷史數據存儲的“近線”存儲上；為了數據恢復方便，對于記錄狀態的歷史類數據，建議每周將下載一份全量，平時每日下載增量自動歸檔采用參數化配置，依據該數據的生命周期設置轉存參數調度系統根據這個參數，觸發通用的數據庫采集、文件采集作業統一ETL－架構設計統一ETL－邏輯架構Builder代碼生成Scheduler調度平臺Monitor監控平臺統一ETL－技術架構開發流調度流監控流統一ETL－調度模塊事件驅動設計作業封裝屏蔽作業類型資源管理支持集群統一ETL－調度模塊：核心功能調度驅動方式負載均衡調度控制定時時間到事件驅動文件到達事件驅動數據庫就緒事件驅動作業依賴的作業完成事件驅動調度服務器負載均衡ETLServer負載均衡ETLClient負載均衡邏輯通道選擇資源管理與分配多批次調度控制節假日調度控制周期調度控制作業并行度控制作業重跑、暫停、啟用、禁用作業定義與依賴關系定義統一ETL－調度模塊：調度模式65作業調度時機外部事件就緒：比如源系統文件到達，源系統庫表就緒。時間到：某個時刻到達。作業完成：需要其依賴的作業完成。作業調度通道一般通道：大部分作業將在一般通道運行。專用通道：指運行某一類作業的通道。比如大作業，運行在專用通道上，可使其不影響一般作業的處理。VIP通道：對于結息，年結這些特殊場景的處理，運用VIP通道，確保這些作業得到最優的資源進行處理。異常處理自動修復類：調度管理器會間隔一定的時間，自動嘗試恢復。比如事件到達，但文件還沒到（網絡存儲系統的延遲造成）。人工干預類：則需要運維人員，根據具體的異常類型，進行手工處理，此信息登記到全局異常表，通過管控平臺展示。ETLPLUS主要功能演示：系統配置用于ETL作業的運行時支持

ETLPLUS主要功能演示：作業定義1系統配置的可調度的程序單元，它包括執行的程序（比如Shell腳本或datastagejob）及其參數的配置。支持存儲過程、各類可執行程序、虛擬作業和DS作業的管理。ETLPLUS主要功能演示：作業定義2-作業流作業流用于管理作業的依賴關系，它是系統調度的最小單元。ETLPLUS主要功能演示：作業定義3-作業流觸發作業流觸發條件是系統定義的作業流觸發接口，通過文件方式觸發作業流的運行。ETLPLUS主要功能演示：計劃調度計劃是通過頻度+日歷方式定義要激活的作業流ETLPLUS主要功能演示：消息設置設置計劃調度運行后的作業流運行狀態通知，方便用戶監控作業流運行情況。統一ETL－監控模塊：資源監控資源監控運行概況監控到數、供數監控作業監控統一ETL－監控模塊：故障干預與運維報表73故障干預運維報表ETLPLUS主要功能演示：總體監控提供作業流和作業總體監控、作業流和作業的執行日志。在作業流總體監控中，可執行啟動、停止、強制啟動和重置狀態等作業流干預動作。ETLPLUS主要功能演示：計劃監控按計劃監控作業流運行狀態通知，可執行啟動、停止、強制啟動和重置狀態等作業流干預動作。ETLPLUS主要功能演示：事件監控按事件監控作業流運行狀態通知，可執行啟動、停止、強制啟動和重置狀態等作業流干預動作。統一ETL－自動化模塊：處理過程需求說明書處理作業引用公共組件庫自動化工具組件開發78統一ETL－自動化模塊：功能DATASTAGE自動化－定制開發DATASTAGE自動化－批量生成存儲過程自動化自動生成配置文件ETLPLUS主要功能演示：映射定義1ETLPLUS主要功能演示：映射定義2ETLPLUS主要功能演示：自動化開發1

存儲過程自動化將映射定義生成存儲過程腳本，支持Oracle、SQLServer和DB2數據庫。ETLPLUS主要功能演示：自動化開發2

DataStage自動化將映射定義生成DataStageJob，生成程序的方式，目前支持：生成XML文件，生成并編譯JOB統一ETL－實施工藝促進：自定義組件(示例)積累了豐富的組件庫。部分自定義組件通過編寫C++程序實現，調用DataStage底層的API函數，然后編譯成動態鏈接庫的形式供DataStage調用。充分利用DataStage的并行處理能力和程序的靈活性相結合的特點。統一ETL－實施工藝促進：實施工藝標準(示例)統一數據管控－架構設計統一數據管控－邏輯架構元數據管理源系統源系統源系統源系統ETL數據服務StageFDMADM數據服務數據服務元數據元數據元數據元數據元數據數據平臺應用系統計算規則展現控件報表展現元數據元數據元數據業務元數據數據質量管理針對源系統的質量檢核ETL過程質量監控模型間的數據質量分析模型間的數據質量分析針對指標加工的數據質量檢測控件數據兼容性檢測數據質量問題呈現影響分析、血緣分析數據標準管理統一數據管控－元數據管理核心功能87統一數據管控－元數據管理邏輯功能圖88統一數據管控－元模型設計元模型是元數據需求、元數據數據源、元數據應用的結合點，是元數據管理系統的核心部分。存儲模型參照CWM模型，集中存儲、通過XML實現對象、對象關系及對象行為等的定義。元模型主要包括結構元模型、映射元模型、代碼管理元模型等。89元模型結構元模型文件結構數據庫結構映射元模型腳本信息映射信息代碼管理統一數據管控－適配器設計根據源的不同，元數據適配器可以分為以下幾類：XML適配器EXCEL適配器數據庫結構適配器SQL腳本適配器建模工具適配器可以支持外圍系統提供的多種格式的，結構化和非結構化的元信息導入。90XML文件XML適配器EXCEL文件EXCEL適配器SQL腳本SQL適配器數據庫結構數據庫適配器ERWin文件建模工具適配器元數據知識庫91元數據管理模塊－示例：結構管理92元數據管理模塊－示例：ETL作業屬性管理93元數據管理模塊－示例：代碼管理94元數據管理模塊－示例：影響性分析、血緣分析元數據管理模塊－示例：版本管理對同一元數據多個歷史版本提供比較功能數據質量建設：度量標準96非功能性及時性：指數據刷新、修改和提取等的及時和快速性安全性：主要包括數據在傳輸、使用過程中的安全性擴展性：該系統數據體系在不滿足業務需求時進行擴展的可能性與復雜度功能性完整性：主要包括實體缺失、屬性缺失、

記錄缺失和字段值缺失四個方面唯一性：指主鍵唯一和候選鍵唯一兩個方面一致性：指統一數據來源、冗余存儲和統一口徑的一致性準確性：指計量誤差、度量單位等方面的精確度合法性：主要包括格式、類型、值域和業務規則的有效性數據質量建設：問題根源97缺乏明確、一致的數據需求定義數據不正確數據不完整數據不一致缺乏統一的數據規范規范不完整規范不一致缺乏數據質量問題解決的組織和既定的流程缺少合適的組織來解決質量問題缺少制定合適的解決流程數據質量建設：解決框架98成立專門的數據質量管理團隊高層管理人員把控，協調不同部門，不同系統間關系。制定數據質量規則不定期發現質量問題及解決建立統一的數據質量規則統一術語規范統一通用代碼禁止對數據的直接修改，以新記錄方式修改數據。建立并完善數據質量問題處理流程質量問題報告協調相關部門形成數據問題處理建議和方案執行方案，反饋結果質量問題持續跟蹤數據質量長期治理在治理的規范，流程支持下，建立數據質量管理平臺數據平臺應用系統－公共應用平臺公共應用平臺-邏輯架構101公共應用平臺-權限管理為了適應企業人員的變動和崗位的調整，系統將權限與用戶、角色掛鉤實現了多種控制方式，靈活適應各類企業的實際情況用戶級權限角色級權限用戶組級權限公共應用平臺-報表門戶報表管理報表開發報表數據集市BI.OfficeReportServices基本管理參數管理目錄管理報表管理報表引用報表分類報表歸檔報表版本報表收藏報表檢索數據發布報表補錄日志管理日志分級日志審計信息推送報表訂閱報表推送報表生命周期模板管理模板導入模板導出報表制作主題選擇模板歷史對象選擇自定義顯示公式定義圖表支持篩選排序告警計算校驗擴展設置過濾設置轉換規則套打水印報表使用分析模板維護數據整合層規則管理任務代理BI.OfficeUnifiedServer公共應用平臺-綜合查詢語義層數據服務窗口數據安全行級權限業務主題業務對象業務結構表間關系關系數據源Teradata/DB2/SQLServer/SybaseIQ/Oracle/Informix/其他表級權限主題權限字段級權限指標權限業務別名指標模型API開放接口數據分發和查詢服務引擎服務外部系統API集成API集成SQL解析/優化器元數據服務緩存服務負載均衡會話管理輔助/管理需求管理資源審核管理展現定制批量管理瀏覽靈活報表圖形Excel導出文本導出報表定制圖形定制數據集定制可視化查詢SQL查詢存儲過程查詢JDBC用戶習慣分析公共應用平臺-多維展示客戶端模塊（Browser）MDX取數引擎管理定制連接管理參數定義目錄管理日志審計分析瀏覽元數據管理數據格式交叉報表分析圖形成員搜索時間智能導出打印排序過濾分析跳轉告警LongtopXMLAAdapterforEssase7OracleEssbase9Others(BW,SSAS)多維探索MicrosoftSSAS多維數據庫多維計算層報表制作自定義命名集宏擴展自定義成員成員過濾器告警規則跳轉規則維成員權限IBMDB2CubingServiceLongtopXMLAAdapterforSSAS公共應用平臺-儀表盤Dashboard內置表格、油量表、柱圖、餅圖、曲線圖、雷達圖、地圖等多種豐富的數據展示形式，并配以動態畫圖效果，更加生動形象。公共應用平臺-數據補錄支持基于零編程、可配置的明細數據補錄支持純HTML補錄、Excel導入數據補錄支持多表/多庫的數據補錄支持Excel離線數據批量入庫Agenda一、數據中心藍圖規劃二、技術實現三、同行借鑒LongtopBI數據線客戶案例（1）

中國建設銀行總行數據平臺(2006-今)數據線整體規劃ODSEDW/MIS數據標準管理數據質量管理元數據管理ETL自動化平臺調度監控平臺SUP實施工藝中國建設銀行總行應用項目(2006-09年)BASELII－零售PD-EAD-LGD計量零售分池風險模型實驗室平臺ECIFOCRMACRMS-MIS集團客戶關系管理系統貸記卡管理信息系統（CCMIS）反洗錢聯合國黑名單檢索系統中國建設銀行－吉林分行(2008年)ODSB數據移植中國建設銀行－新疆分行(2008年)ODSB數據移植對公/對私客戶分析中國建設銀行－遼寧省分行(2007-2008年)ODSB數據移植對公CRM，對私CRM，產品管理中國建設銀行－廈門分行(2007-2008年)ODSB數據移植對公/對私客戶分析、產品管理、績效考核中國建設銀行－山東省分行(2005-2007年)對公客戶營銷服務支持系統（對公CRM）對私客戶營銷服務支持系統（對私CRM）績效考核，產品