23DB23/T3881—2024網絡數據質量管理規范2024-12-03發布2025-01-02實施黑龍江省市場監督管理局發布I本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定本文件由中共黑龍江省委網絡安全和信息化委員會辦公室提出并1網絡數據質量管理規范網絡數據質量管理對象、網絡數據質量保障、網絡數據質量管理過程GB/T25069、GB/T35273、GB/T37988和GB/T3數據任何以電子或者其他方式對信息的記錄。一般數據重要數據重要數據是指對國家安全、經濟運行、社會核心數據網絡數據通過網絡收集、存儲、使用、加工、傳輸、提供、公開的各種數據。2網絡數據處理網絡數據處理者在網絡數據處理活動中自主決定處理目的和處理方式的個人和組織。運用信息化技術和管理方法來規劃、實施與公開等各個階段的準確性、完整性、一致性、可用性、及時性、安全性、合規3可用性致性完整性準確性文檔化合規性安全性及時性數據傳輸與提供數據收集數據公開數據加工數據使用數據存儲圖1網絡數據質量管理框架6網絡數據質量管理對象按GB/T43697的規定對網絡數據進行分類分級，將網絡數據質量管理的對象分為一般數據、重要數據和核心數據，并在數據處理的收集、存儲、使用、加工和傳輸、提供、公開等過程中的對管理對象實施適宜的質量管理方案。7網絡數據質量保障7.1網絡數據質量評價元素通過識別數據集、用戶需求、質量目標中的質量評價元素來描述質量信息。質量評價元素可用于數據集系列、數據集或數據集內具有相同特征的部分數據，描述數據集滿足數據規范中預先設定標準的程度，并提供定量的質量信息。數據質量評價的元素包括但不限于：a)準確性：數據的記錄和存儲應與實際情況一致。b)完整性：數據集的各個部分應保持完整，不得遺漏關鍵信息，數據在處理過程中不得被篡改或丟失。c)一致性：在不同系統或數據庫中的相同數據應保持一致。d)可用性：數據應能被有效訪問和使用。e)及時性：數據應及時被更新和使用。f)安全性：應設置數據訪問權限，防止數據濫用或泄露，防范未經授權的訪問或修改。g)合規性：數據的處理應符合相關法律法規和行業標準。h)文檔化：應對數據的來源、處理方法、變更歷史等進行詳細記錄。7.2網絡數據質量評價7.2.1.1直接評價法直接評價方法通過比較數據與內外部參考信息來確定數據質量，以及采用相應的數據質量管理工具進行質量評價，具體可分為：——完全檢查法：測試數據質量范圍內的所有數據項；4——抽樣檢查法：測試數據質量范圍內的部分數據項，抽樣方法、抽樣率及抽樣過程應在數據質量結果中明確體現。7.2.1.2間接評價法間接評價方法通過使用與數據相關的外部知識推斷或估計數據質量。網絡數據質量評價針對數據處理的每個階段都有質量評價結果輸出，最終匯總分析全生命周期的數據質量結果，輸出數據質量管理報告。網絡數據質量評價流程見圖2。第一步識別數據處理階段選擇數據質量元素識別數據質量范圍識別數據處理階段第四步選擇數據質量評價方法選擇數據質量管理工具進行評價確定數據質量階段結果匯總分析全生命周期數據質量確定數據全生命周期質量數據質量評價結果(評價報告)7.2.3評價報告數據處理的收集、存儲、使用、加工、傳輸和提供、公開的每一個過程中，都需要進行網絡數據質量評價并形成評價報告。8網絡數據質量管理過程8.1.1準確性管理8.1.1.1數據收集前明確數據需求和目標，收集的數據類型和范圍應與業務需求一致。58.1.2.3應實時監控數據收集過程，及時8.1.3.2若數據從多個平臺收集，所有平臺8.1.3.3采集設備和系統的時間應保8.1.4.2在收集數據的過程中，應實時執行數據去重和清8.1.6.1在數據收集過程中，應使用加密技術保護數據傳8.1.6.2應設置數據采集過程中的訪問權限，確保只有8.1.6.3應記錄數據采集過程中的所有操8.1.7.1數據收集過程應符合法律法規和行業標準。在收集個人數據時，應獲得用戶的知情同意，并在數據寫入存儲系統前，應進行數據的校驗和驗8.2.2.3宜使用多副本存儲或分布式存儲系統，在某些存儲設備發生故障時可恢復數據。應確保數據的同步和復制過程正確執行，防止數據不一致或丟失。68.2.4.1設計和部署高可用性存儲架構，確保數據在系統發生故障、停機或升級時仍然可以被訪問和8.2.4.3宜制定并定期測試災難恢復8.2.5.1對存儲的重要和核心數據應進行加8.2.5.2應采取嚴格的訪問控制措施8.2.5.3應記錄所有訪問和操作數據的行為，并定期8.2.6.1應制定并執行數據存儲策8.2.6.2應設定數據保留期，及時8.2.6.3針對個人數據，應遵循“最小化存儲原則”，僅存儲必要的信息，并符合隱私保護的合規要8.2.7.2應對存儲系統的架構、流程和操作指南等文檔資料進行留存，可輔助數據恢復或調整存儲策8.3.2.1應確保所有使用的數據來自同一數據源，避免數據不一致。8.3.2.2分布式系統或多平臺環境中使用8.3.4.1應嚴格控制數據使用階段的訪8.3.4.2應實時監控數據的使用8.3.4.3在數據使用過程中，對重8.3.5.2應定期審計數據使用情況，所有數據使用活動應符合相關要求。8.3.5.3在第三方使用數據時，應簽署數據使用協78.4.1.2應設立錯誤檢測機制，8.4.2.2數據加工過程應具備可追溯性，并符合合規性審計要求。8.5.3.2應建立數據傳輸的恢復機制，在傳輸中8.5.4.1宜為不同類型的數據設置傳8.5.4.2在提供實時或動態數據時，確保數據8.5.6.1數據跨境傳輸時，應遵守