1、1 Professional Create Value數據質量數據質量2 Professional Create Value數據質量問題的危害數據質量問題的危害Poor Data Quality or inconsistent data causes defects in the value chain and is a momentum killer for Data Alignment, Synchronisation and CollaborationCustomer ServiceLevelOOSFailed ATPCost to ServeLogisticsCall CentrePr

2、ice NegotiationsInventories levelsEmergency StockReturnsRetired products3 Professional Create Value日程日程l什么是數據質量什么是數據質量l數據質量的重要性數據質量的重要性l影響數據質量問題的因素影響數據質量問題的因素l如何才能獲取高質量數據如何才能獲取高質量數據lInformatica平臺如何解決數據質量問題平臺如何解決數據質量問題4 Professional Create Value什么是數據質量什么是數據質量-定義定義l數據質量是一個涵蓋面很廣的術語，涉及某條或某組數據數據質量是一個涵蓋面很

3、廣的術語，涉及某條或某組數據的準確性、完備性、一致性、符合性和時效性以及數據如的準確性、完備性、一致性、符合性和時效性以及數據如何進入并在整個企業內流動。不同的企業對數據質量有著何進入并在整個企業內流動。不同的企業對數據質量有著不同的定義和要求，但是數據質量最終可歸結為不同的定義和要求，但是數據質量最終可歸結為“符合要符合要求的數據求的數據” 。并且數據質量是個持續的過程。并且數據質量是個持續的過程。5 Professional Create Value什么是數據質量什么是數據質量-符合要求的數據符合要求的數據l完全性完全性 所有必需的數據是否都存在嗎？所有必需的數據是否都存在嗎？l符合性符合

4、性 哪些數據是以非標準格式存儲的？哪些數據是以非標準格式存儲的？l一致性一致性 哪些數據值提供的信息自相矛盾？哪些數據值提供的信息自相矛盾？l準確性準確性 數據準確表示真實來源還是可驗證的來源？數據準確表示真實來源還是可驗證的來源？l重復性重復性 哪些數據記錄是重復的記錄？哪些數據記錄是重復的記錄？l完整性完整性 哪些數據失去了重要的關系聯系？哪些數據失去了重要的關系聯系？l時效性時效性 數據壽命是否滿足用戶要求嗎？數據壽命是否滿足用戶要求嗎？l域級（字段）域級（字段）l域之間域之間l業務邏輯業務邏輯l數據傳遞，比如數據傳遞，比如etl過程過程6 Professional Create Val

5、ue數據質量的重要性數據質量的重要性數據質量問題是數據質量問題是IT 項目成功的最大障礙項目成功的最大障礙l76%的數據集成項目或完全的失敗，或嚴重延遲l主要的問題是缺乏對數據和數據質量的理解l平均來看, 需要10個左右的迭代過程來分析數據質量，并糾正存在的問題低質量的數據影響決策的制定和執行低質量的數據影響決策的制定和執行l低質量的數據影響對市場的反應效率l低質量的數據導致不恰當的決策l投資沒價值的產品線l關注無價值的客戶現代企業管理是數據質量需求的催化劑現代企業管理是數據質量需求的催化劑l知識工作者正在強烈的意識到數據是他們工作中最重要的資產l全球化的組織和全球化的數據分布，使得數據集成變

6、得愈發重要l合規性的要求使得對數據管理的粗心不能再被容忍高質量數據有利于提高客戶滿意度高質量數據有利于提高客戶滿意度l在與客戶交互環節的數據質量問題更應該得到充分的關注l正確的拼寫客戶的名字、性別和Titlel最新的產品信息l最新的價格信息lCRM，Call Center系統中精確的客戶數據有利于幫助組織提升l提供更佳的客戶服務l提升交叉銷售和向上銷售的有效性l將更多的機會轉化為真正客戶確保法規遵從確保法規遵從l高質量的數據幫助實現Sarbanes-Oxley and BASEL II等法規的控制要求和對業務績效的精確報告. l在法規遵從方面都要求數據是可信賴的，并且是可審計的低質量的數據造成

7、資源、成本的耗費低質量的數據造成資源、成本的耗費lTDWI估算由于客戶數據質量問題，造成全美國$6111億美元的人力資源，打印，郵寄等成本的浪費7 Professional Create Value影響數據質量問題的因素影響數據質量問題的因素8 Professional Create Value數據質量問題歸類數據質量問題歸類l業務系統源數據的質量問題業務系統源數據的質量問題l源數據信息不正確源數據信息不正確l源數據信息不完整源數據信息不完整l源數據信息不一致源數據信息不一致l標準代碼問題標準代碼問題l缺乏一致、完整的標準代碼，如產品代碼沒有可執行的規范，或者缺乏一致、完整的標準代碼，如產品代

8、碼沒有可執行的規范，或者有書面規范但執行不力等有書面規范但執行不力等l代碼直接寫在程序中，沒有代碼表維護代碼直接寫在程序中，沒有代碼表維護lETL產生的質量問題產生的質量問題l技術性問題技術性問題l非技術性問題（如業務規則理解錯誤）非技術性問題（如業務規則理解錯誤）9 Professional Create Value數據質量問題產生的環節數據質量問題產生的環節l數據生產環節數據生產環節l數據和業務規則不符數據和業務規則不符l數據產生不嚴謹數據產生不嚴謹l手工錄入不規范手工錄入不規范l新舊系統的切換新舊系統的切換l數據的孤立修改造成系統之數據的孤立修改造成系統之間數據不一致間數據不一致l數據使

9、用和加工環節數據使用和加工環節l數據抽取錯誤或遺漏數據抽取錯誤或遺漏l數據的時間段錯誤數據的時間段錯誤l數據的重復抽取數據的重復抽取l數據生成的時間點錯誤數據生成的時間點錯誤l數據加載轉換規則錯誤數據加載轉換規則錯誤10 Professional Create Value如何才能獲取高質量數據如何才能獲取高質量數據l訪問和評估數據訪問和評估數據l數據質量規劃和目標數據質量規劃和目標l數據質量策略選擇和實施數據質量策略選擇和實施l上游策略上游策略l下游策略下游策略11 Professional Create Value如何才能獲取高質量數據如何才能獲取高質量數據-訪問和評估數據訪問和評估數據l訪

10、問數據質量的當前狀態，以了解隱藏的數據質量問題訪問數據質量的當前狀態，以了解隱藏的數據質量問題l完全性完全性 所有必需的數據是否都存在嗎？所有必需的數據是否都存在嗎？l符合性符合性 哪些數據是以非標準格式存儲的？哪些數據是以非標準格式存儲的？l一致性一致性 哪些數據值提供的信息自相矛盾？哪些數據值提供的信息自相矛盾？l準確性準確性 數據準確表示真實來源還是可驗證的來源？數據準確表示真實來源還是可驗證的來源？l重復性重復性 哪些數據記錄是重復的記錄？哪些數據記錄是重復的記錄？l完整性完整性 哪些數據失去了重要的關系聯系？哪些數據失去了重要的關系聯系？l時效性時效性 數據壽命是否滿足用戶要求嗎？數

11、據壽命是否滿足用戶要求嗎？12 Professional Create Value如何才能獲取高質量數據如何才能獲取高質量數據-數據質量規劃和目標數據質量規劃和目標l對數據的內容和質量有了一個清晰的了解之后，下一步是對數據的內容和質量有了一個清晰的了解之后，下一步是進行規劃和項目計劃，以糾正當前錯誤和防止將來出現錯進行規劃和項目計劃，以糾正當前錯誤和防止將來出現錯誤。有效的計劃可以解決企業現有應用程序庫中的數據質誤。有效的計劃可以解決企業現有應用程序庫中的數據質量問題，并且能夠確保新的應用程序從開始就融入數據質量問題，并且能夠確保新的應用程序從開始就融入數據質量原則。量原則。 13 Profe

12、ssional Create Value如何才能獲取高質量數據如何才能獲取高質量數據-數據質量策略選擇和數據質量策略選擇和實施實施l采用企業范圍內的、反復的持續性方法解決數據質量問題。采用企業范圍內的、反復的持續性方法解決數據質量問題。與此同時，無法一次性解決所有數據質量問題。要確保為與此同時，無法一次性解決所有數據質量問題。要確保為企業提供準確、一致和及時的數據，唯一途徑是通過可最企業提供準確、一致和及時的數據，唯一途徑是通過可最終涵蓋所有公司數據的階段性數據質量管理程序實現。終涵蓋所有公司數據的階段性數據質量管理程序實現。l選擇用于解決長期數據質量問題的策略要求根據每個數據選擇用于解決長期

13、數據質量問題的策略要求根據每個數據質量方案產生的影響平衡方案的成本。常用的策略類型有質量方案產生的影響平衡方案的成本。常用的策略類型有兩種：在企業中的輸入點解決數據質量問題的方法稱為兩種：在企業中的輸入點解決數據質量問題的方法稱為“上游策略上游策略”，而在消耗來自操作系統（如數據倉庫）的，而在消耗來自操作系統（如數據倉庫）的數據的應用程序中實施則稱為數據的應用程序中實施則稱為“下游策略下游策略” 。 14 Professional Create Value上游策略上游策略l上游策略將檢驗現有應用程序的邏輯、數據和流程，以便上游策略將檢驗現有應用程序的邏輯、數據和流程，以便獲得通過探查來處理未覆

14、蓋的異常情況的機會。這可能包獲得通過探查來處理未覆蓋的異常情況的機會。這可能包括更改應用程序邏輯、增添更好的表單驗證、改進與數據括更改應用程序邏輯、增添更好的表單驗證、改進與數據輸入相關的流程，而且會要求對準備好的數據進行清洗。輸入相關的流程，而且會要求對準備好的數據進行清洗。它還可能強迫在應用程序自身融入數據質量功能，例如，它還可能強迫在應用程序自身融入數據質量功能，例如，在數據進入企業時根據已知示例對數據進行驗證。由于此在數據進入企業時根據已知示例對數據進行驗證。由于此方法可以在源頭上解決數據質量問題，因此它對每個從該方法可以在源頭上解決數據質量問題，因此它對每個從該來源提取數據的應用程序

15、和每個將來會從該來源提取數據來源提取數據的應用程序和每個將來會從該來源提取數據的應用程序大有裨益。的應用程序大有裨益。l但是，上游策略耗費高。它們可能要求對應用程序、其邏但是，上游策略耗費高。它們可能要求對應用程序、其邏輯和數據進行更改。企業在更改現有解決方案時可能會遇輯和數據進行更改。企業在更改現有解決方案時可能會遇到阻礙。要成功實施上游策略，項目需要明確的所有權、到阻礙。要成功實施上游策略，項目需要明確的所有權、共識和來自其它團隊的員工的支持。共識和來自其它團隊的員工的支持。15 Professional Create Value下游策略下游策略l下游策略在目標應用程序或數據倉庫中解決數據

16、質量問題，下游策略在目標應用程序或數據倉庫中解決數據質量問題，而不是在數據源。由于可以迅速修改數據，因此策略可以而不是在數據源。由于可以迅速修改數據，因此策略可以在流程中得到改進，這通常是通過數據轉換、清洗和查找在流程中得到改進，這通常是通過數據轉換、清洗和查找驗證來實現的。下游策略只對正在使用目標應用程序或數驗證來實現的。下游策略只對正在使用目標應用程序或數據倉庫的使用者有益，但是相比上游策略，下游策略實施據倉庫的使用者有益，但是相比上游策略，下游策略實施起來要容易得多并且耗費更低。起來要容易得多并且耗費更低。 16 Professional Create ValueInformatica平

17、臺如何解決數據質量問題平臺如何解決數據質量問題-數據質量管理流程數據質量管理流程探查和分析探查和分析多個來源多個來源數據集成數據集成將來源映射至目標將來源映射至目標結構結構業務業務數據數據構建企業數據構建企業數據質量規則質量規則部署規則交互部署規則交互/批量批量/實時實時報告數據報告數據質量指標質量指標結構分析和映射結構分析和映射對數據質量進行持續清洗和監控對數據質量進行持續清洗和監控 維持維持 監控監控實施（一次性）維持（持續不斷） 清洗清洗分析分析提取提取將問題報告將問題報告發送回來源發送回來源維持（持續不斷）來源來源 DQ 報告和管理報告和管理來源來源 DQ 報告和管理報告和管理源源數據

18、檢查員數據檢查員企業數據檢查員企業數據檢查員數據檢查員數據檢查員糾正的數據和糾正的數據和改進的數據質量改進的數據質量12334517 Professional Create ValueStep 1: 數據質量探查數據質量探查l數據質量探查是一種描述數據的內容、一致性和數據數據質量探查是一種描述數據的內容、一致性和數據結構的有效途徑結構的有效途徑l來自來自 Philip Russoms TDWI 報告報告l所有的數據質量項目都必須從數據質量探查起步l基于工具的數據探查比手工的方法具有更高的生產力l數據質量探查不是一次性的工作l數據探查, 數據集成, 數據質量是數據管理最佳實踐的三個親密兄弟Sou

19、rce: Taking Data Quality to the Enterprise through Data Governance TDWI Report, March 2006 by Philip Russom18 Professional Create ValueApplicationsDatabasesFlat filesMainframe 問題分類完整性Conformity一致性準確性重復的數據數據相關性 數據清理規格說明書 數據轉換規格說明書 數以千計的 數據屬性 數以百萬的紀錄DiscoverDiscoverStep 1: 數據質量探查數據質量探查所有發現的問題都應該向數據源系統

20、的責任人進行報告19 Professional Create ValueStep 2: 建立數據質量度量和定義提升目標建立數據質量度量和定義提升目標l僅僅知道僅僅知道“我的數據質量有問題我的數據質量有問題”對數據質量項目來說是對數據質量項目來說是不夠的不夠的l需要了解，那些數據有問題？這些問題是如何產生的？需要了解，那些數據有問題？這些問題是如何產生的？l定義數據質量度量定義數據質量度量l度量必須和業務目標一致（綁定）度量必須和業務目標一致（綁定）l在沒有綁定之前，不要啟動項目在沒有綁定之前，不要啟動項目l設定改進目標設定改進目標lHow will you know when you are

21、done?20 Professional Create ValueStep 2: 建立數據質量度量、并定義目標建立數據質量度量、并定義目標l一旦完成初步的數據質量探一旦完成初步的數據質量探查，需要馬上設定改進的目查，需要馬上設定改進的目標標l針對特定的系統，制定有針針對特定的系統，制定有針對性，對性，“足夠好足夠好”的改進計的改進計劃劃l定義定義100%滿足，不一定是利滿足，不一定是利用資源的最佳方式用資源的最佳方式21 Professional Create ValueStep 3: 設計設計 & 建立數據質量規則建立數據質量規則Standardize, Correct, and E

22、nrichl數據標準化數據標準化l糾正糾正/補全有問題的數據補全有問題的數據l數據增強數據增強“Once in the system, poor data quality can cost organizations vast sums in lost revenues. Defective data leads to breakdowns in the supply chain, poor business decisions, and inferior customer relationship management.”Informatica Velocity22 Professional

23、 Create ValueStep 4: 建立數據質量放火墻建立數據質量放火墻 CRMFinanceSupplyChainLegacyExternalSystemsData Quality Fire Wall OperationalData StoreLoadTransformExtractData Quality ETL Reconciliation Fuzzy Matching Scorecarding Cleansing Enrichment DataWarehouseERPCustomerHubProductHubSupplierHub Single ViewOfProductSing

24、le Viewof CustomerDQReportingDQScorecardingReporting- Basel II- IAS- SOXDataMining23 Professional Create ValueStep 4: 建立數據質量放火墻建立數據質量放火墻l在數據錄入時進行數據質量檢測在數據錄入時進行數據質量檢測l實現實時的數據質量檢測，例如：在數據錄入時進行數據匹配和清實現實時的數據質量檢測，例如：在數據錄入時進行數據匹配和清理理l這個活動可以有效地阻止有問題的數據進入系統這個活動可以有效地阻止有問題的數據進入系統24 Professional Create ValuelSt

25、ep 5 管理過程包含管理過程包含:l常規的基準設定常規的基準設定l監控質量變化趨勢監控質量變化趨勢l保持和業務發現一致保持和業務發現一致Step 5: 監控數據質量監控數據質量 Vs. 目標目標25 Professional Create ValueCustomer ObjectMaterials ObjectVendor ObjectAsset ObjectStep 5:監控數據質量監控數據質量 Vs. 目標目標26 Professional Create ValueStep 5:監控數據質量監控數據質量 Vs. 目標目標Progress Over Time27 Professional

26、Create Value數據質量管理過程管理數據質量管理過程管理 Analyze1. Profile the Data2. Establish Metrics and Define Targets3. Design & Build Quality Rules5. Monitor Data Quality Versus TargetsEnhanceImplement Audit Controls4. Build a DQ FirewallTargetApplicationXML, Messaging, and Web ServicesPackaged ApplicationsRelational and Flat FilesMainframe and MidrangeSources28 Professional Create Value如何保證數據使用和加工環節的數據質量如何保證數據使用和加工環節的數