37Publicdata—Datagovernancespecification—Part2:DatacleaningI 2 2 2 2 6 6 8 9 本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定東省先后印發《山東省“十四五”數字強省建設規劃》（魯政字〔2021〕128號）等一系列政策文件，數據清洗比對、數據返還、資源服務目錄等工作存在的普遍問題，制定DB37/T4646《公共數據數據治理規范》系列標準。DB37/T4646擬由以下四——第2部分：數據清洗比對。目的在于規范對歸集至省一體——第3部分：數據返還。目的在于規范各級公共管理和服——第4部分：資源服務目錄。目的在于規范各級公共管理和服務機構1公共數據數據治理規范第2部分：數據清洗比對GB/T2261.1—2003個人基本信息分類與代碼第1部分：個人GB/T22239—2019信息安全技術網絡安全等級保護基本要求GB/T35273—2020信息安全技術個人信息安全GB/T36344—2018信息技術數據質量評價DB37/T4646.1—2023公共數據數據治理規范第1部分：數據歸集4概述和數據轉換，提升數據質量。數據清洗比對流程應符合應根據數據庫表結構、數據字典等，對歸集數據進行數據探查，形成數據探查清單26.1.2數據質量檢查規則應基于業務特征和數據特點制定，并同步至數據質量檢查規則庫，數據質量6.1.3數據質量檢查規則應通過數據質量檢查規則庫統籌管理并進行動態更新維a)對于存在字段缺失、記錄缺失和數值缺失的數據應選擇合適的缺失值修正方法，主要包括刪b)對于存在邏輯、格式、值域等問題的數據應選擇合適的違規值修正方法，主要包括刪除處理c)對于存在字段重復和記錄重復的數據應選擇合適的重復值修正方法，主要包括字段排重、依a)某條記錄的一個或多個關鍵字段空缺；3a)字段類型為數值型時，可使用非空缺值的平均值、最大值、最小值、眾數、某分位數等進行b)字段類型為日期型和日期時間型時，可使用非空缺值的平均日期或時間、最近日期或時間、c)字段類型為字符型時，可對非空缺值分類并統計出各類別的數量和占比，根據各類別數量或可根據該條記錄中其它非空字段的特點，設置關聯條件，對空缺值進行填充。設定A字段為待填充a)B字段與A字段存在強關聯關系，可通過B字段推理出A字段的內容，如學位為碩士的記錄，a)關聯分析：使用關聯分析的挖掘方法，尋找出強關聯的字段，根據強關聯字段關聯情況尋找b)聚類分析：使用聚類分析的挖掘方法，將非空數據記錄聚類成若干簇，根據簇中字段特點選如人的性別名稱為缺失值，性別代碼為1，按照GB/T2261.1—2003規則，對應填充a)關鍵字段存在違規值，且無法恢復，如自然人身份證件號碼為“330******1420”，無b)編碼錯誤導致大量違規值存在，且無法恢復，如因編碼錯誤導致行駛證中車牌號數據存在大4a)規則替換：設定替換規則，將不同的違規字符對應替換為規則內字符，如設定截取自然人身a)模糊匹配：新增規則字典，設置匹配規則后做模糊對應，如行政區劃名稱“濟南”匹配替換“濟南市”；b)精確匹配：新增規則字典，設置匹配規則后做精確對應，如章丘行政區劃由“370181”變更而待修正數據單位為厘米，可通過數值轉換的方式，對待修正數據除以100。數值轉換一般需人工分析a)近似填充：通過考察相近的值平衡違規值，可將違規值修改為離違規值最近的正常值，或修改為離違規值較近的若干個正常值的平均值等，如幼兒園兒童入學年齡數據中，有一條數據b)回歸分析：通過回歸函數擬合數據，光滑違規值，如幼兒園兒童入學年齡數據中，有一條數c)統計分析：依據統計的方法修改違規值，如將違規值修改為正常值的平均值，如幼兒園兒童5b)條件保留：設置條件規則和約束字段，比如按日期型或日期時間型字段保留離當前日期最近a)完全重復：記錄完全一致，選擇保留其中一條記錄；b)不完全重復：設置對比字段的值，保留一條和對比字段的值完全一致的記錄。對于同一字段來自多個部門時，以權威部門來源為準。如“身份證件號碼”以公安部門提供的數條記錄為1.7m，一條記錄為1m，取1.7m為其身高信息。6數據轉換主要包括數據格式轉換和數據代碼轉換，數據轉換規則示例見附錄E。如數據轉換失敗，應查9數據安全9.1應記錄數據探查時間、數據質量檢查時間、數據質量檢查內容、數據質量檢查結果、數據轉換結9.2應對待修正數據和待轉換數據進行備份，并確保備份數據的可用性。7數據歸集數據探查檢查規則制定質量檢查實施存在問題不存在問題數據轉換8數據探查清單包括數據表探查清單和數據字段探查清單。數據表探查清單示例見表B.1是是增0否是否否—未刪除；10否否是是0、109檢查數據是否存在邏輯或常識性錯誤，如幼兒園入學年檢查數據是否存在格式錯誤，如身份證件號碼長度稱12012將各類時間型數據統一轉換為符合GB/T7408—2005的時間型