基于數據治理的企業數據質量管理與保障解決方案1數據質量問題背景及分類2數據質量體系建設原則3數據質量方案框架及關鍵技術4數據質量行業實踐整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行1數據質量問題產生的背景2數據質量體系建設原則3數據質量方案框架及關鍵技術4數據質量行業實踐整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數據質量管理體系的構成為建立全方位的數據質量管理體系，應同時關注組織、技術和流程三大核心部分，三部分相輔相成才能形成完整的數據質量管理體系。數據質量體系建設五個原則目標提升數據質量問題解決效率，提升企業數據質量全程監控：從數據的定義、錄入、存儲、加工、交互、使用全過程進行數據質量監控，明確各部門在全過程中的責任，全方位保證數據質量主動管理：強化對企業發現的各IT系統數據質量問題的主動管理，協同相關部門推動問題的有效解決閉環管理：建立數據質量問題的發現、通報、整改和反饋等環節具體流程，形成數據質量問題的閉環管理自動管理：深入分析業務人員發現的數據質量問題的業務規則和成因，科技部門將其轉化為技術規則落地到系統中，實現數據質量問題的自動篩選。全員參與：業務人員、技術人員和運維人員要共同參與數據質量提升工作。12345全程監控—事前、事中、事后三階段管理事前預防事中監控事后改善數據質量主動保證，側重面向未來的數據（指業務運營過程中新增的數據），通過業務流程優化、源系統改造和數據標準規范來提升數據質量。未來數據數據質量持續監控與優化，側重面向當前的數據（當前數據質量檢查周期內更新的數據），根據數據質量檢核規則，對數據進行持續、周期性監測。當前數據歷史數據數據質量清洗提升，側重面向歷史數據(指某個時間點前已經生成的數據)。按業務系統或主題分批對數據質量分析、清洗，提高既有數據的質量。從發現到改進閉環管理建立數據質量閉環管理機制、明確各部門關于數據質量提升工作的分工職責并強化執行；同時基于數據管理工具，固化流程，線上支撐企業級數據質量管理，確保企業級數據質量穩步提升。固化流程、全員參與借助工具、自動管理數據質量管理員技術人員業務人員問題定義問題發現/分析問題跟蹤問題處理評估和統計數據質量問題需求提出,選擇系統（檢核對象業務實體、屬性）需求轉化檢核規則，通過可配置化方式，自動生成檢核腳本，批量檢核問題數據。輸入數據質量問題管理，疑似問題發布數據質量問題整改。采用問題認責方式，保證問題處理及時行。數據質量問題整改效果確認。未及時處理的問題，納入考核計分數據質量問題評估與分析，圖形化展示統計報表。1）檢核維度報表2）機構問題統計報表。3）問題整改效果報表。4）問題分布報表。檢核目標庫輸出企業級元數據管理流程自動化sql腳本引擎問題存儲庫數據質量問題分析。元數據模塊提供影響分析，為下游問題預警提升意識、主動管理因子項關聯定義數據標準明確數據責任人開展數據質量宣貫提升數據質量意識3數據質量方案框架及關鍵技術1數據質量問題背景及分類2數據質量體系建設原則4數據質量行業實踐功能架構應用功能層接口服務數據質量報告數據質量分析質量監控獲層取角色管理日志管理權限管理用戶管理參數管理ODS/EDW/hadoop方式一：檢核結果文件方式二：直連數據庫任務手工調度任務自動調度調度參數管理并發跑批設置度量規則定義度量規則類別度量規則管理檢核方法管理檢核腳本生成檢核方法導入檢核方法導出檢核結果管理問題顯示配置問題發布管理問題處理跟蹤問題查詢管理問題考核管理問題導入/導出消息管理通知人管理消息模板管理發送任務管理知識庫管理知識分類管理知識內容管理知識庫查詢多維度數據質量報告數據質量報告導出數據質量匯總分析影響/血統/趨勢分析重點問題監控問題整改監控檢核結果接口檢核方法接口關鍵技術—檢核腳本自動生成SQLEngine方式一：參數化配置空值檢核01）基礎類度量規則02）復雜業務度量規則非法值檢核非法代碼檢核主鍵重復檢核系統間一致性檢核數據總數檢核表間關系檢核業務邏輯Sql存儲過程定時調度方式二：模板導入按照度量規則類別，自動生成檢核Sql語句。對業務邏輯復雜的檢核方法，支持編寫存儲過程腳本對問題檢核。問題跑批處理：1、支持與第三方調度工具的集成。2、產品自身提供跑批調度管理。業務人員通過系統界面進行規則定義或者通過模板導入方式進行，屏蔽技術細節?？s短度量規則轉化為檢核方法的時間。采用模板配置和頁面參數配置方式輸入檢核規則，通過系統內置SQL引擎，實現檢核腳本自動化生成。降低業務規則轉化為技術實現的成本，提高業務規則的實現效率。關鍵技術—數據問題檢核架構檢核系統2數據庫數據質量系統調度平臺（或數據質量調度模塊）檢核規則、方法梳理模板檢核腳本生產組件公共檢核執行組件調度組件檢核腳本存儲表檢核系統檢核結果存儲表線程1線程2線程nEDW/Hadoop檢核系統1數據庫格式化數據文件分發組件關鍵技術·數據質量問題報告4數據質量行業實踐1數據質量問題背景及分類2數據質量體系建設原則3數據質量方案框架及關鍵技術考核