ICS35.24054CCSL7854西 藏 自 治 區 地 方 標 準DB54/T0426—2024公共數據 數據質量管理規范2024-11-18發布 2024-12-18實施西藏自治區市場監督管理局??發布DB54/T0426—2024DB54/T0426—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范圍 1規范性引用文件 1術語、定義和縮略語 1數據質量管理原則 2數據質量管理框架 2數據質量職責 3數據質量目標 4數據質量評價體系 4數據質量評價指標 4數據質量規則 5數據質量控制 5數據生存周期 5數據需求 5數據采集 5數據清洗 5數據應用 5數據評估 6數據退役 6數據質量檢查 6數據質量檢查計劃 6數據質量監控 6數據質量問題處理 6數據質量提升 6數據質量問題分析 6數據質量改進 7數據質量跟蹤 7參考文獻 8前 言本文件按照GB/T1.1—2020《標準化工作導則第1草。請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由西藏自治區經濟和信息化廳（自治區數據管理局）提出并歸口。（自治區數據管理局責任公司、國家工業信息安全發展研究中心。青、賀赟、陶煒、李云志、杜洪濤、欒燕、蔡長亮。DB54/T0426DB54/T0426—2024PAGEPAGE10公共數據數據質量管理規范范圍本文件規定了數據主體單位及相關方開展公共數據質量管理工作的要求，包括數據質量管理原則、管理框架、質量職責、質量目標、質量評價體系、質量控制、質量檢查和質量提升。本文件適用于西藏自治區各級機構的公共數據質量管理。規范性引用文件（包括所有的修改單）適用于本文件。GB/T25000.12系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第12部分：數據質量模型GB/T36073數據管理能力成熟度評估模型GB/T36344信息技術數據質量評價指標術語、定義和縮略語術語和定義GB/T36073和GB/T36344界定的以及下列術語和定義適用于本文件。數據質量dataquality在指定條件下使用時，數據的特性滿足明確的和隱含的要求的程度。[來源：GB/T36344-2018，2.3]3.1.2數據生存周期datalifecycle將原始數據轉化為可用于行動的知識的一組過程。[來源：GB/T36073-2018，3.14]3.1.3數據質量規則dataqualityrules數據質量規則是指判斷數據是否符合數據質量要求的邏輯約束。3.1.4數據質量控制dataqualitycontrol數據質量控制是指通過數據質量檢查、監控等手段發現并反饋數據質量風險的過程。3.1.5數據質量改進dataqualityimprove數據質量改進是指針對數據質量問題采取措施，對現有的數據質量水平加以提高。縮略語下列縮略語適用于本文件。PDCA：“策劃-實施-檢查-處置”循環（Plan-Do-Check-Act）數據質量管理原則實施數據質量管理，應遵循以下原則：聚焦關鍵數據（如主數據要性以及數據問題的風險水平來判定。覆蓋全生存周期統之間的流轉過程。預防為主上。根因修正不僅僅是修正數據。融入治理用元數據工具。數據質量管理框架PDCA見圖14個階段。圖1 數據質量管理閉環架構各階段詳細要求如下：策劃據質量評價的維度和指標體系、質量規則，識別所需的數據質量標準、業務規則；實施流通、應用的全生存周期進行管理控制；檢查警等監控任務，并配套實施質量問題記錄、查詢、分發、跟蹤等管理機制；處置——數據質量分析與提升，建立數據質量評估及分析方法，對檢查結果進行質量評估和問題分析，——將相關分析成果和問題形成質量知識庫；提升質量等，形成良好的數據質量文化。數據質量職責公共數據的管理機構或團隊，應賦予相關人員角色的數據質量職責：首席數據官（或分管領導）作為數據質量管理工作的最高決策者、負責人，其數據質量管理工作內容宜包括：——下達數據質量目標；——簽發數據質量評價及考核結果；——基于數據質量考核結果及改進狀況，對相應領域數據責任人進行獎勵及問責。數據質量主管作為數據質量管理工作的主要監督管理人，其數據質量管理工作內容宜包括：——牽頭制定數據質量規則、數據質量計劃、數據質量報告；——組織實施數據質量檢查和質量問題分析、整改和跟蹤驗證工作；——負責審核相關質量文件、報告和整改措施。各業務/子系統負責人作為所轄業務領域數據質量的負責人，其數據質量管理工作內容宜包括：——承接本單位最高數據責任人設定的數據質量目標；——建立、實施、保持和持續改進所轄領域數據質量管理體系；——向最高數據責任人報告數據質量管理體系的績效和改進需求；——基于所轄領域的數據質量結果及改進狀況，對相應的業務數據責任人進行獎勵及問責；——負責與所轄領域數據質量管理的相關外部聯系工作。各業務數據責任人作為所轄業務數據質量的負責人，其數據質量管理工作內容宜包括：——承接所屬領域數據責任人設定的數據質量目標；——建立、實施、保持和持續改進所轄業務數據質量管理體系；——向所屬領域數據責任人報告數據質量管理體系的績效和改進需求；——明確所轄業務數據質量問題改進責任人，并推動問題閉環管理；——負責與所轄業務數據質量管理工作的相關外部聯系工作。數據質量目標數據質量管理是一個持續的過程，為有效地進行數據質量管理，應達到以下目標：建立數據質量管理組織，承擔最終質量審查監督職能，質量問題有人負責；建立完善的數據質量管理規范，質量管理有章可循；建立數據質量管理平臺，進行質量評估、問題改進系統記錄，質量評估有據可查；建立數據質量管理績效體系，針對質量管理進行目標管理、績效考核，質量考核有人監督。數據質量評價體系數據質量評價指標GB/T25000.12-2017GB/T36344-2018度評價指標包括但不限于：的符合性度量；完整性評價指標，對于數據元和數據記錄的賦值的完整性度量；出現率的度量；度量；可訪問性評價指標，對于數據在需要時的可獲取性，以及在設定有效期的可用性度量。數據質量規則規則進行持續維護與優化，并同步更新數據質量規則庫。法，具體要求如下：根據數據質量評價維度和業務需要，制定詳細的數據質量技術指標；精度校驗、唯一性約束校驗、主鍵及外鍵校驗等；結合應用場景，定義業務規則，保證數據具有合理性；SQL數據質量控制數據生存周期數據質量管理活動應貫穿于數據生存周期的各個階段，應符合圖2的規定。圖2 數據生存周期質量控制數據需求數據管理方應對數據需求進行評估，確認所需公共數據的開放主體。際需求的一致性。公共數據開放主體應按照公共數據目錄規范編制開放數據目錄。數據采集數據管理方應嚴格按照9.2的要求，采集滿足相關需求的公共數據。數據清洗9.3完整性、準確性、一致性和時效性等要求。數據應用質量進行驗證，將相關結果反饋給平臺數據管理方。數據管理方應積極響應公共數據使用方提出的相關需求。數據應滿足規范性、完整性、準確性、一致性、時效性和可訪問性等要求。數據評估數據管理方應聯合公共數據開放主體和公共數據使用方，開展數據評估工作。數據退役數據管理方應結合9.6的評估結果及相關政策要求，對不再適合開放的數據進行歸檔或銷毀。數據質量檢查數據質量檢查計劃務，制定相應的數據質量檢查計劃，內容主要包括：數據質量檢查的業務點位、系統點位；檢查的數據對象；檢查的項目、指標、方法、方式、工具；檢查的時間、頻次；檢查人員及相關的數據質量責任人員；檢查結果的輸出要求；其他相關檢查任務調度信息等。數據質量監控量情況進行實時監控和校驗，監控要求包括但不限于：對數據進行監控，明確數據的來源和去向；對規則校驗的結果進行監控和分析，校驗結果應定位到原始數據項。數據質量問題處理及關聯數據；對數據質量問題進行分類、統計，形成數據質量報表。數據質量提升數據質量問題分析質量問題原因與影響分析方面的內容包括但不限于：信息原因，指數據規范性異常，包括元數據標準異常、數據質量規則異常、變化頻度異常等；用、維護和稽核等流程；據存儲能力有限等，主要涉及數據創建、獲取、傳輸、裝載、使用、維護等環節；不足等；響；問題影響程度，可根據受影響的業務性質、造成的損失、修復難度等，將影響程度分級描述，比如一般影響、嚴重影響、重大影響等。數據質量改進用系統問題修復等，具體要求如下：規則，比如糾正源系統中的數據；數據增強。通過給數據增加屬性以提高其質量和可用性，比如時間戳、審計數據、參考數據、語境信息、地理信息、人口信息等；業務流程優化。通過業務流程優化，從根本上減少數據問題發生，比如改進數據輸入的流程；應用系統問題修復。比如增加防止數據輸入錯誤的功能。數據質量跟蹤析、后續行動、人員反饋等信息，并進行以下措施：驗證質量問題的糾正和改進效果，比如問題的消失、合格率的提升、數據的增值等