數據資源治理通用技術要求2024-12-25發布2024-12-25發布北京市市場監督管理局發布I 12規范性引用文件 13術語和定義 14縮略語 25治理框架 26數據架構管理 36.1總體要求 36.2數據資源盤點 36.3數據資源分布 36.4數據資源分層結構 46.5數據資源分類 57數據資源規范管理 57.1業務詞匯管理 57.2參考數據和主數據 57.3數據項要求 68數據質量管理 68.1質量核驗 68.2質量分析 79元數據管理 79.1需求分析 79.2元模型管理 89.3編制元數據規范 89.4存儲 89.5創建與采集 89.6集成與變更 89.7應用 89.8管理機制與評估 810數據生存周期管理 810.1數據資源接入 810.2數據資源探查 910.3數據資源清洗轉化 910.4數據資源整合 10.5數據資源存儲與刪除 10.6數據資源變更 10.7數據資源運維 10.8數據資源服務 附錄A(資料性)數據質量檢核內容與方法舉例 附錄B(資料性)數據質量問題分類 參考文獻 21本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定本文件由北京市經濟和信息化局提出并歸口。本文件由北京市經濟和信息化局組織實施。本文件起草單位：北京柏睿數據技術股份有限公司、京東科技有限公司、方正國際軟件(北京)有限公司、北京中軟國際信息技術有限公司、北京市測繪設計研究院、中國汽車工程研究院股份有限公司、東方微銀科技股份有限公司、北京泰爾英福科技有限公司、北京精友時代信息技術發展有限公司、北京水滴科技集團有限公司。本文件主要起草人：趙菁華、李然輝、周天龍、高陽、樸晟宏、梁漢媚、祝曉坤、張煜、沈鵬、肖丹、羅登亮、肖博勝、劉子莉、李孟凡、艾崧溥、李海翔、周曉波、徐璐希。1數據資源治理通用技術要求1范圍本文件給出了數據資源治理框架，提出了數據架構、數據規范管理、數據質量、元數據和數據資源生存周期的技術要求。本文件適用于數據資源治理的規劃、組織和實施。注：本文件不涉及數據治理組織和數據安全管理。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本GB18030信息技術中文編碼字符集GB/T18391.1信息技術元數據注冊系統(NDR)第1部分：框架GB/T35295信息技術大數據術語GB/T36073數據管理能力成熟度評估模型3術語和定義GB/T18391.1和GB/T35295界定的以及下列術語和定義適用于本文件。數據資源dataresources具有或預期具有價值的數據集合。注：數據資源多以電子形式存在。元數據metadata關于數據或數據元素的數據(可能包括其數據描述),以及關于數據擁有權、存取路徑、訪問權和數據易變性的數據。數據生存周期datalifecycle將原始數據轉化為可用于行動的知識的一組過程。[來源：GB/T36073—2018,3.14]數據資源治理dataresourcegovernance對數據資源進行處置、規范化和利用的過程。2DR1/T2351—2024數據血緣datalineage在數據生存周期中，從數據的產生、處理、加工、融合、流轉到最終消亡，數據之間自然形成的關聯關系。又稱為數據血統、數據起源、數據譜系。對其他數據進行分類和規范的數據。4縮略語下列縮略語適用于本文件。CRUD:創建、讀取、更新和刪除(CreatReadUpadteandDelete)DWS:數據倉庫服務(DataWarehouseService)DW:數據倉庫主題(DataWarehouseTopic)ETL:數據提取、轉換和加載(Extraction-Transformation-Loading)JSON:JavaScript對象表示法(JavaScriptObjKPI:關鍵績效指標(KeyPerformanceIndicator)ODS:操作數據存儲(OperationDataStore)SLA:服務級別協議(ServiceLevelAgreement)URL:統一資源定位符(UniformResourceLocator)5治理框架數據資源治理框架主要涵蓋數據架構管理、數據生存周期管理以及數據治理組織構建這三個重要部分。其中，數據架構管理作為數據治理的根基，會依據業務需求，對需要接入的數據源展開盤點工作，進而生成數據源清單，同時精心規劃數據分層與數據分布等事項。數據生存周期管理涵蓋數據資源接入、探查、清洗轉換、整合、存儲和刪除、變更、運維以及服務等八個階段，并且數據規范管理、質量管理、安全管理和元數據管理貫穿于該周期的各個環節。而數據治理組織則致力于提供系統地管理與運用企業數據資源的能力，保障數據的質量、安全及合規性，以此為企業的業務決策與運營效率提供有力支撐。數據資源治理框架圖如圖1所示。3數據資源服務數據資源服務數據資源運維數據資源變更數據資源存儲與刪除數據資源整合數據資源清洗轉換數據資源探查數據資源接入管理理范理管管規管全量源據安質資數據據據元數數數數據架構管理數據治理組織數據生存周期管理圖1數據資源治理框架6數據架構管理6.1設計要求數據架構設計時應保證：a)明確識別各組織的數據需求，基于數據資源盤點的結果構建數據資源目錄，設計和維護數據架b)使用數據架構來指導數據集成和控制，并使數據資源匯聚與需求保持一致；c)開展數據模型設計、數據流設計，并明確數據分布情況，管理數據模型和策略以及規則。6.2數據資源盤點數據資源盤點應符合下列要求：a)梳理本組織數據資源，形成統一標準、統一管理和統一服務的數據資源清單，掌握全局數據資源的現狀和特點，為數據資源的治理提供基礎支撐；b)以國家、行業現有的基礎信息庫為基礎，梳理形成業務相關的基礎庫；將數據資源基礎庫進行數據目錄的分級分類，對應數據資源進行編碼和標識；c)將整理、編碼標識后的數據進行數據資源注冊、入庫等操作。6.3數據資源分布應根據GB/T36073要求，針對數據模型中的數據定義，明確數據在組織、流程、系統等方面的分布關系，制定CRUD規劃，確保數據的安全及權屬關系。以企業采購管理業務為例，其數據資源分布如4RKRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR圖2CRUD矩陣示例其中主題域是采購與供應商，主要涉及兩類數據實體供應商和采購合同。其中描述供應商的屬性包括供應商基本信息、潛在供應商信息、供應商績效、供應商認證信息和供應商評價。以供應商基本信息為例，該信息只能在財務MIS系統中創建、修改和刪除，可以被項目管理、供應商管理、采購管理等系統讀取。6.4數據資源分層結構6.4.1分層要求應設計數據結構、減少重復開發、屏蔽源數據的影響等信息，實現數據血緣追蹤。數據架構應至少包括數據來源層、數據支撐層、數據存儲層和數據分析層，如圖3所示。少包括數據來源層、數據支撐層、數據存儲層和數據分析層，如圖3所示。數據分析層數據支撐層統一采集平臺統一交換平臺統一調度平臺接口監控平臺數據來源層公共數據企業數據個人數據固定報表多維分析統計建模人工智能信息檢索數據存儲層圖3數據分層結構6.4.2數據來源層本層宜包括公共數據、企業數據和個人數據，涵蓋傳統的數據庫、數據倉庫、分布式數據庫等。6.4.3數據支撐層通過統一采集平臺、統一交換平臺、統一調度平臺和接口監控平臺實現對數據資源治理的支撐工作。6.4.4數據存儲層5存儲層組成本層存儲經過清洗處理后的可用于生產系統的數據，宜包括元數據，業務數據庫，模型數據庫等。數據存儲宜劃分為五層。a)ODS:保存最原始數據，按業務概念組織細節數據，并進行名稱、代碼等標準化處理后長期保b)DWS:存儲整合后的明細數據，在本層應進行指標與維度的標準化，包括數據清洗、脫敏、維度退化等，保證指標數據的唯一性。c)DIM:公共維度表，用于建立一致性維度數據，規范化維度屬性，降低數據計算口徑和算法不一致風險。d)DWT:存儲匯總數據，基于各個主題的加工和使用的共性聚合值。e)ADS:面向業務定制的應用數據，根據不同的業務需求采用星型或雪花型模型設計方法構建的數據集市。數據資源流向a)不應同層依賴；b)ADS不應直接使用DWS的表；c)不應出現反向依賴；d)應避免數據鏈路成環。6.4.5數據分析層本層實現對數據的深加工，宜建立滿足需求的數據統計分析模型，建立大數據運行處理平臺。6.5數據資源分類應進行數據資源分類，將數據進行主題域劃分、歸類和分析利用：a)按照業務或者業務過程劃分；b)根據需求方劃分；c)按照功能或者應用劃分；d)按照部門劃分。7數據資源規范管理7.1業務詞匯管理業務詞匯管理包括下列內容。a)應支持業務詞匯表管理權限配置。b)應建立通用公開業務詞匯表。c)業務詞匯管理內容應包括：1)標準文檔庫管理；2)限定詞、同義詞、術語等信息庫管理；3)標準字典管理；4)數據源字典管理。7.2參考數據和主數據參考數據和主數據要求包括：a)應能夠識別數據值域，包括參考數據和主數據取值范圍；6b)應支持參考數據、主數據和應用系統的集成。7.3數據項要求數據項定義應包括但不限于：a)數據命名；d)業務含義；f)歸屬部門。8數據質量管理質量核驗要求應包括：a)明確數據質量監控的數據指標項；b)評估使用的數據質量度量維度及其權重值；c)定義表示標準質量和質量差數據的值和范圍；d)對不同的度量規則，執行不同的數據質量評估；e)查看并確認數據質量是否可被接受；f)在適當數據流轉中采取糾正措施；g)定期重復上述步驟。8.1.2規范性檢核內容規范性檢核內容應包括：a)數據標準；b)數據模型；d)業務規則；e)權威參考數據；具體檢核方法與描述參見附錄A中表A.1。8.1.3完整性檢核內容完整性檢核內容應包括：a)數據元素完整性；b)數據記錄完整性。具體檢核方法與描述參見附錄A中表A.2。8.1.4準確性檢核內容準確性檢核內容應包括：a)數據內容正確性；b)數據格式合規性；c)數據重復率；7d)數據唯一性；e)臟數據出現率。具體檢核方法與描述參見附錄A中表A.3。8.1.5一致性檢核內容準確性檢核內容應包括：a)相同數據一致性；b)關聯數據一致性。具體檢核方法與描述參見附錄A中表A.4。8.1.6時效性檢核內容準確性檢核內容應包括：a)基于時間段的正確性；b)基于時間點及時性；c)時序性。具體檢核方法與描述參見附錄A中表A.5。8.1.7可訪問性檢核內容可訪問性檢核內容應包括：a)可訪問性；b)可用性。具體檢核方法與描述參見附錄A中表A.6。8.2質量分析8.2.1定性分析數據質量定性分析可采用第三方評測法、用戶反饋法，專家評議等方法。質量子元素評分根據定性評價進行。8.2.2定量分析數據質量定量分析可采用回歸分析、因子分析、魚骨圖分析、帕累托分析、矩陣數據分析等方法。8.2.3綜合分析宜采用定性和定量分析相結合的方法對數據質量進行分析。8.2.4質量問題原因分類影響數據質量的問題主要包括技術、業務、管理三個方面，參見附錄B。9元數據管理9.1需求分析應明確元數據類型和詳細級別，需求分析內容包括但不限于以下內容。a)更新頻次：元數據屬性和屬性集更新的頻率。b)同步情況：數據源頭變化后的更新時間。c)歷史信息：是否需要保留元數據的歷史版本。d)訪問權限：誰可以訪問元數據，如何訪問。e)存儲結構：元數據如何通過建模來存儲。8f)集成要求：元數據從不同數據源的整合程度、整合的規則。g)運維要求：更新元數據的處理過程和規則(記錄日志和提交申請)。h)管理要求：管理元數據的角色和職責。i)質量要求：元數據的質量需求。j)安全要求：元數據的安全需求，是否可以公開等。9.2元模型管理元模型的類型應包括但不限于以下內容。a)業務類元模型：如指標、KPI、報表等元模型。b)技術類元模型：如關系型數據庫、0LAP、接口、ETL等元模型。c)管理類元模型：包括系統資源、人員管理、任務管理等元模型。9.3編制元數據規范規范包括但不限于元數據標準、處理過程文檔、數據交換格式及應用程序接口設計等。應建立元數據存儲庫，實現元模型以及元數據的存儲，可采用不同的架構方法存儲元數據，包括但不限于集中式、分布式、混合式等，具體如下：a)集中式元數據存儲由單一的元數據存儲庫組成，不支持將請求從用戶直接傳遞給各種工具，適用于尋求高度一致性的組織；b)分布式元數據存儲架構，元數據應分散存儲在各自的源系統中，通過實時從源系統檢索數據來響應用戶請求；c)混合式架構應結合集中式和分布式架構的特性。9.5創建與采集應基于相對應的元模型，獲取組織定義的元模型中所需要管理的元數據信息。自動采集包括但不限于使用適配器、掃描儀、網橋應用程序等。9.6集成與變更應對不同類型、不同來源的元數據進行集成，包括從組織外部獲取的數據中的元數據，并將技術元數據與相關的業務、流程和管理元數據集成在一起，形成對數據描述的統一視圖，并基于規范的流程對元數據的變更進行及時更新和管理。9.7應用應根據組織業務需求實現基于元數據的共享服務與應用，包括但不限于元數據的查詢、統計、基于元數據的血緣分析、影響分析等。9.8管理機制與評估應建立元數據管理機制，明確元數據的管理過程及角色、職責；建立元數據管理的質量標準和評估指標，開展元數據績效評估并持續改進。10數據生存周期管理10.1數據資源接入10.1.1總體要求數據接入應滿足以下要求。9a)數據質量：確保數據的準確性、完整性和唯一性。b)數據安全：保障數據的機密性、完整性、可用性，確保數據在傳輸和存儲過程中不被泄露、丟失或被篡改。c)數據格式：按照一定的數據模型和數據字典定義數據結構和格式，確保數據的統一性和標準化。d)數據加工：在入庫前對數據進行清洗、轉換、集成等加工處理，以滿足數據倉庫的需求。e)數據可追溯：記錄數據來源和處理過程，保留原始數據和處理日志，方便數據審計和追溯。f)接入控制：控制數據入庫的頻率和數據量，避免過度入庫導致數據倉庫不穩定或占用過多存儲10.1.2接入數據源接入源類別包括但不限于：a)關系型數據庫；b)非關系型數據庫；d)實時數據庫日志；e)消息隊列服務；f)文本文件；g)壓縮包、圖片等二進制文件。10.1.3接入方案根據明確的數據源類型制定接入方案，包括但不限于：a)接口推送/拉取數據；b)數據庫源采集；c)消息隊列生產/消費數據；d)FTP文件推送/拉取。10.1.4接入格式數據接入格式可符合如下要求：a)支持多種數據格式；b)規定數據格式的具體規范，例如字段名稱、字段類型、字段長度等。應規定數據接口的要求，例如接口名稱、參數、返回值等。10.1.6接入流程應制定數據接入流程，明確數據接入責任。流程應包括數據接入申請、審核、測試、上線等環節。10.2數據資源探查數據探查應包括單表數據內容分析、多表間數據關系分析的指標定義和準入標準等。10.3數據資源清洗轉換10.31數據清洗10.31.1清洗操作數據清洗應進行以下操作。a)非空檢核：若字段應為非空時，對字段數據進行非空檢核。b)主鍵重復檢核：多個業務系統中同類數據經過清洗后，在統一保存時，為保證主鍵唯一，進行檢核工作。c)非法代碼清洗：對非法代碼、代碼與數據標準不一致等情況進行校核及修正。d)非法值清洗：對取值錯誤、格式錯誤、多余字符、亂碼等情況進行校核及修正。e)數據格式檢核：通過屬性值的格式檢核來衡量數據準確性，包括時間格式、幣種格式、多余字符和亂碼等。f)記錄數檢核：對各個系統相關數據之間的數據總數檢核，或者數據表中每日數據量的波動檢核。清洗流程數據清洗從數據的準確性、完整性、一致性、唯一性、時效性和有效性方面處理數據的缺失值、越界值、不一致代碼和重復數據等問題，數據清洗流程如圖4所示。是查杏是10.32數據轉換EILL數據映射應包括源數據集屬性、目標數據集屬性和ETL規則，具體內容如下。a)源數據集屬性和目標數據集屬性應包括：2)字段名稱；3)字段簡述；4)類型；5)非空屬性。b)ETL規則：1)應能夠建立數據源過濾規則；2)應描述從源數據集獲取數據過程中過濾掉記錄的規則；3)應設置關聯規則；4)應定義列轉換規則；5)應具備目標數據集更新規則；6)應建立ETL作業列表。EIL抽取方式ETL抽取方式應包括但不限于：a)全量抽取；b)增量抽取；c)觸發器方案；d)時間戳方案；e)日志方案；f)消息隊列方案。10.322EIL開發要求10.3.221EIL開發原則ETL開發宜遵循以下基本原則：a)代碼要求結構應清晰、整齊、整體層次分明；b)代碼在合適的位置添加必要的注釋；c)代碼上下文風格統一；d)作業命名規則應按順序至少包括作業類型、有效的描述信息和作業編號三部分內容。10.3222開發流程開發流程要求應包括但不限于：a)建立完善的ETL開發流程，每個環節都應嚴格管控。ETL開發流程應包括但不限于調研應求、評審、開發、測試和上線；c)ETL變更流程與需求變更緊密結合；d)修改ETL映射文件和業務邏輯文件應從文檔開始，并有統一的入口；e)修改文檔應包括版本號、修改原因描述、修改過程、修改時間和修改影響范圍。10.323EIL維護要求10.3231預警機制ETL維護預警機制包括下列內容。a)ETL日志應分為3類：1)執行過程日志；2)錯誤日志；3)總體日志。b)警告發送。c)重跑機制。d)數據一致性檢核。e)業務數據檢核。10.3.232維護管理機制d)開發不規范導致的維護問題，應定期進行開發規范培訓，視情況加入10.324數據修正處理2)以同一指標的計算結果(均值、中位數、眾數等)填充缺失值；格式內容處理可包括3種情況：a)將時間、日期、數值、全半角等顯示格式統一；b)若有不該存在的字符，可找出潛在c)對于內容與該字段應有內容不符時，詳細識b)異常值處理首先應識別異常值，然后由操作人員按照經驗和業務流程判斷其值的合10.4數據資源整合10.41.2命名要求2)表和字段長度不超過64個英文字符；5)表和字段名不宜使用非標準的縮寫，不宜使用SQL中的關鍵字；廣告域(adv)、位置域(loc)、用戶域(usr)等；1)指標命名方式可包括業務主題(修飾詞)、量化詞(詞根)、周期限定詞等；k)錯誤處理要求；I)文檔要求；m)版本控制要求。10.5數據資源存儲與刪除10.5.1數據資源存儲功能要求數據存儲的功能應包括但不限于：a)應支持多服務器分布式集群部署；b)平臺應提供壓縮和解壓縮算法；c)應提供多租戶隔離功能；d)應支持數據備份與恢復。10.5.2數據資源歸檔與刪除數據存儲治理應包括但不限于以下內容。a)數據應設置合理的生命周期。b)冷數據應進行及時處理，處理方式應包括：3)刪除銷毀。10.6數據資源變更10.61變更類型數據資源庫的變更類型應包括但不限于：a)數據模型變更；b)數據記錄變更；c)數據管理信息變更。10.6.2變更審批流程變更審批流程至少應包括：a)應識別變更類型，并限制“不建議變更類型清單”中的數據變更；b)應充分識別影響范圍，通知受影響內容的負責人并由負責人進行審批；c)應定期進行變更審批流程的執行審計和評估。10.6.3監控與協同處理應構建數據變更的監控、變更通知能力，完成上下游變更協同：a)應主動識別到各類數據變更；b)應具備自動變更通知的能力，如通過郵件、短信、即時通訊工具等方式進行數據變更信息的傳c)應建立上下游變更協同機制。10.7數據資源運維10.7.1服務等級協議管理服務等級協議管理的內容應包括：a)建立和維護統一的服務等級協議SLA,明確故障分級和服務指標；10.8數據資源服務10.81.2命名規則b)命名在本規則范圍內唯一；10.81.3基礎參數a)各參數命名由半角格式的英文、數字或“_”符號組成；b)各參數首詞匯采用小寫字母；c)所有的響應數據編碼為國家標準要求格式。10.81.4接口使用訪問數據接口時，其地址宜為URL格式，URL地址參數說明如下：a)URL地址中各參數應由半角格式的英文、數字或“_”符號組成；b)URL地址中各參數首詞匯應采用小寫字母；c)URL里的所有請求參數名和參數值的數據編碼應符合GB18030格式。10.82庫表接口數據服務庫表接口用于進行數據交換、數據橋接，應確保資源的發布、審核、申請流程暢通，庫表接口的操作流程包括以下內容。a)數據資源提供方應在數據共享交換平臺對數據資源進行注冊和發布，內容應包括但不限于：1)數據橋接；2)數據源創建與注冊；3)資源注冊與發布；4)資源下線。b)數據需求方在數據共享交換平臺進行數據資源的申請和訂閱訪問，內容應包括但不限于：3)資源訂閱。10.83文件接口數據服務文件接口應包括數據文件、校驗文件：a)數據文件是接口單元的實例，每個數據文件應且只對應一個接口單元；b)數據文件的校驗信息應且只應被其接口單元對應的校驗文件所包含。數據服務文件接口的協議，可包括：DR1/T2351—2024(資料性)數據質量檢核內容與方法舉例A.1規范性檢核內容與方法見表A.1。表A1規范性檢核內容與方法質量元素(權重)素質量子元需求定義準、行業標準、地方標準或相關規定等。在一個完整地數據規劃中舊數據的可執行性的規定。數據模型需求定義數據結構的手段，是數據表達的規范。在清晰可理解的數據模型定義以及這些數據的組織形式。的數據集中元素的被檢核的數據集中需求定義數據符合元數據的度量。據文檔。據項的個數；業務規則需求定義立行動和數據行為結果及完整性的規則。在良好歸檔的業務規則。被檢核的數據集中需求定義用來參考的數值集合或分類表。據列表。效值列表為一種參考數據類型。滿足參考數據規則的數據集中元素的被檢核的數據集中安全規范需求定義理等。A.2完整性檢核內容與方法見表A.2。性式中：的個數。性錄的賦值程度。式中：的個數。A.3準確性