1城市生態環境數據管理通用要求本文件規定了城市生態環境數據管理架構、數據生存周期管理要求、數據治理要求、數據質量管理要求和數據安全管理要求。本文件適用于城市生態環境數據的管理和運維。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T13989國家基本比例尺地形圖分幅和編號GB/T17278數字地形圖產品基本要求GB17859計算機信息系統安全保護等級劃分準則GB/T20273信息安全技術數據庫管理系統安全技術要求GB/T22239信息安全技術網絡安全等級保護基本要求GB/T22240信息安全技術網絡安全等級保護定級指南GB/T37025信息安全技術物聯網數據傳輸安全GB/T39477信息安全技術政務信息共享數據安全技術要求HJ/T419環境數據庫設計與運行管理規范HJ719環境信息系統數據庫訪問接口規范HJ723環境信息數據字典規范HJ724環境基礎空間數據加工處理技術規范HJ726環境空間數據交換技術規范HJ727環境信息交換技術規范HJ966生態環境信息基本數據集編制規范DB3201/T××××城市生態環境信息資源目錄建設要求3術語、定義和縮略語3.1術語和定義HJ724界定的以及下列術語和定義適用于本文件。3.1.1數據管理datamanagement數據資源獲取、控制、價值提升等活動的集合。[來源：GB/T34960.5—2018，定義3.2]23.1.2空間數據spatialdata用來表示空間實體的位置、形狀、大小和分布特征諸方面信息的數據，適用于描述所有呈二維和多維分布的關于區域的現象。[來源：HJ724—2014，定義3.10]3.2縮略語下列縮略語適用于本文件。API：應用程序編程接口（ApplicationProgrammingInterface）4數據管理架構4.1管理原則4.1.1在數據生存全周期內，開展數據質量管理和數據安全管理。4.1.2根據數據來源、數據共享限制等對數據進行分類和分級管理，數據分類和分級符合相關制度和標準的要求。4.1.3參與城市生態環境數據相關工作的組織、個人都是數據管理的主體，確保數據的客觀真實。4.2管理架構生態城市環境數據管理架構見圖1，包括a)數據生存周期管理：1)數據采集；2)數據存儲3)數據處理；4)數據交換與共享；b)數據治理：1)數據目錄管理；2)元數據管理；3)數據追溯；c)數據質量管理；d)數據安全管理。3圖1城市生態環境數據管理架構5數據生存周期管理要求5.1數據采集5.1.1數據源5.1.1.1自動監測數據主要包括自動監測站點實時監測數據，由自動采集設備進行實時采集或人工不定時監測獲得。經由采集設備前端數據庫傳輸到各相關數據負責單位或數據中心，通過共享設置可共享交換到其他使用單位。對于實時監測數據應盡量避免人工干預。監測站點宜根據數據實際情況確定數據值的有效范圍和預警范圍，便于自動判斷數據的有效性及進行數據預警。5.1.1.2外單位共享數據包括上位系統的回傳數據及其他單位的共享交換數據。5.1.1.3其他數據其他途徑獲得的數據。5.1.2數據內容本文件中城市生態環境數據內容參見DB3201/T××××《城市生態環境信息資源目錄建設要求》，包括但不限于：a)生態環境質量數據；4b)自然生態環境數據；c)污染源數據；d)生態環境管理業務數據；e)生態環境科技及其管理數據；f)生態環境保護產業數據；g)環境政策法規標準；h)環境保護相關數據；i)其他生態環境數據。5.1.3數據類型城市生態環境數據按數據結構可分為：a)結構化數據：電子化、規范化的數據，數據項設計、格式等均滿足融合需求，無需做進一步的處理即可使用，主要包括數據庫數據、電子表格數據、地理信息數據等；b)半結構化數據：電子化、規范化的數據，但數據項格式需進行一定處理后，才能滿足數據融合的使用要求，主要包括文本、網頁、日志文件、XML文件等；c)非結構化數據：沒有明確結構約束的數據，主要包括圖片、圖像、音頻、視頻、紙質掃描件5.1.4采集方法城市生態環境數據接入方法包括但不限于：a)數據庫：建立源數據庫結構與目標數據庫之間的存儲結構映射，通過數據庫同步進行采集，數據庫建設與運維符合HJ/T419的要求；b)文件：通過文件導入進行采集，對于非結構化文件數據，可將文件整體上傳至服務器后建立存儲路徑表；c)API接口：1)針對結構化和半結構化文件，應建立源接口返回數據結構與目標數據庫之間存儲結構映射，可通過搜索進行接口數據采集，也可直接存儲接口的基本信息；2)針對返回非結構化接口類型，直接存儲接口基本信息；d)消息隊列：建立源數據結構與目標數據庫之間存儲結構映射，通過訂閱消息隊列進行采集。5.1.5采集要求數據采集應符合的要求包括但不限于：a)明確采集數據目的和用途，明確采集源、采集范圍、采集頻率；b)開展全面分析，設置數據采集策略，如采集周期、采集方式、采集內容等：1)業務分析，對數據來源業務進行分析；2)接入方式分析，對源數據存儲位置、接入方式進行分析；3)結構分析，對數據的含義、類型、長度、結構進行分析；4)內容分析，對數據長度、分布狀態、平均值、中位數、極值等進行統計分析；5)關聯分析，對數據之間存在的依賴關系、主外鍵關系進行分析；c)制定采集數據的清洗、轉換、加載等操作規范，做好采集數據的備份工作；d)對不同類別、級別的數據制定并實施不同的采集策略，做好采集過程的安全防護措施；e)遵循數據最小化原則，只采集滿足業務所需的最少數據；f)制定采集數據的質量保障規則，明確數據質量保障的策略、規程和要求；5g)對采集行為進行日志記錄和安全審計。5.2數據存儲5.2.1傳輸要求數據傳輸應符合以下要求：a)依據數據的分類分級，明確數據傳輸的場景，建立相應的數據傳輸策略；b)采取必要的措施保障傳輸通道、傳輸節點和傳輸數據的安全、準確和及時；c)建立傳輸數據完整性檢測和數據恢復控制措施。5.2.2存儲要求數據存儲符合以下要求：a)對不同類別、不同級別的數據采用差異化安全存儲，選擇適合的加密算法、去標識化等手段進行加密存儲；b)支持對結構化數據及非結構化數據的存儲能力：1)對結構化數據，選擇結構化數據庫存儲；2)對半結構化數據，轉為結構化數據后選擇結構化存儲；3)對非結構化數據，根據存儲量選擇合適的文件系統進行存儲；c)建立數據的容錯、高可用、備份和快速恢復機制；d)存儲設備性能可靠，業務數據存儲系統應留有一定容量；e)宜優化數據組織方式，按照用途、用戶、權限等維度對數據封裝打包。5.3數據處理5.3.1清洗比對數據清洗對比內容包括但不限于：a)殘缺數據處理：確定范圍、去除重要性低字段、填充缺失內容；b)錯誤數據處理：處理格式內容錯誤、邏輯錯誤、不合規等問題；c)重復數據處理：對重復出現的數據進行整合。5.3.2標簽管理以每條記錄為單位進行標簽處理，標簽將跟隨該數據記錄在后續數據清洗、加工、整合等過程中流轉，實現數據的溯源。標簽應具有唯一性。5.3.3數據校驗校驗結果應準確、清晰、明確、客觀，并進行唯一標識。數據校驗方法包括但不限于：a)數據可視化：通過數據可視化工具，將數據轉換為圖形或圖表的形式，更直觀地理解和分析數據；b)數據預處理：通過多種預處理算法對數據進行預處理，如空值插補、去重、字段過濾等；c)數據比較：將數據與預期結果進行比較，以確定數據是否存在問題；d)數據統計分析：通過數據統計分析方法，如平均值、中位數、標準差等，對數據進行描述和分析，進一步發現異常值和趨勢等問題；e)數據建模：通過建立數據模型，對數據進行預測和分類，驗證數據的準確性和有效性；6f)數據審計：對數據的來源、傳輸、存儲等環節進行審計，確保數據的完整性、保密性和可用5.3.4關聯映射關聯映射方式包括但不限于：a)目標結構分析：根據源數據結構和目標結構的模型進行比對，針對字段名等進行分析比對，分析數據項映射關系，實現源字段和目標字段映射的自動匹配；b)事實表比對映射：根據目標結構分析和數據轉換規則，實現源數據結構的類型轉換、字段拆分、字段合并、字符串處理、日期轉換、算術運算換等數據轉換；c)代碼比對映射：根據代碼數據轉換規則完成源數據代碼與標準代碼比對映射。5.3.5數據整合數據整合方式包括：a)水平整合：1)同一實體相同維度的數據進行水平整合，數據間存在結構差異的進行統一；2)對不同來源的沖突數據，能判別數據有效性、正確性則保留符合項，否則應追溯增加數據來源標識后保留。b)垂直整合：1)對同一實體不同維度的數據進行垂直整合；2)識別并提取出有效的業務主鍵，根據業務主鍵進行關聯整合；3)保留整合數據的來源信息；4)對字段重合度低的數據，采用主從表的方式進行整合。5.3.6數據挖掘a)通過統計分析類算法對數據進行統計分析，如協方差矩陣、方差、標準差等；b)使用機器學習算法執行機器學習任務，如線性回歸、決策樹等，算法類型包括但不限于文本分析、分類、聚類、回歸、推薦、關聯分析等；c)采用大數據、人工智能等先進技術，對城市生態環境數據進行統計和分析，形成多維度的數據報表為業務決策提供支撐。5.4數據共享5.4.1數據接口5.4.1.1數據庫接口數據庫交換接口應符合HJ719的要求，并具有以下功能：a)數據庫交換請求消息文件可直接放到指定目錄下由數據交換平臺獲取，或通過API調用方式將請求消息直接發送到數據交換平臺；b)數據庫交換消息應包含一個發送方、一個數據源及數據查詢條件、多個接收方及數據接收目c)消息接口應提供通用語言接口，滿足不同系統的應用需求。75.4.1.2文件交換接口文件交換接口應具有以下功能：a)文件交換請求消息文件可直接放到指定目錄下由數據交換平臺獲取，或者通過API調用方式將請求消息直接發送到數據交換平臺；b)文件交換請求消息應描述多個被發送文件，包括文件名、文件目錄和傳輸次序等信息。c)文件能夠傳輸到多個接收方，在消息文件中描述多個接收方代碼信息；d)消息接口應提供通用語言接口，滿足不同系統的應用需求。5.4.2數據交換要求環境信息交換應符合HJ727的要求，環境空間數據交換應符合HJ726的要求。城市生態環境數據交換還應符合以下要求：a)支持對外交換的數據目錄管理功能；b)支持多用戶并發調用；c)對不同類別、級別的數據制定和實施不同的交換策略和交換過程的安全防護措施；d)建立明確的數據開放和共享場景，確保數據的使用權限和使用范圍；e)建立數據共享訪問控制機制，明確不同機構或部門、不同身份與目的的用戶權限；f)對共享數據的使用者提出明確的數據安全防護要求，在共享數據前對使用者進行數據安全風險評估；g)建立數據共享審批流程，明確共享數據內容、交接方式及應用范圍等；h)建立數據公開發布審批制度，明確數據公開的內容及范圍；i)在數據公布之前，對擬公布數據的敏感性進行評估，根據評估結果對需要公布的敏感信息進行脫敏操作；j)建立數據接口控制策略，明確數據接口安全要求、控制措施，包括接口名稱、接口參數等；k)與數據接口調用方明確數據的使用目的、供應方式、保密約定、數據安全責任等。6數據治理要求6.1數據目錄管理城市生態環境信息資源目錄應符合DB3201/T××××《城市生態環境信息資源目錄建設要求》的要求。數據目錄管理還應符合以下要求：a)滿足多元、異構、海量信息資源的管理需要；b)支撐用戶多途徑、多視角檢索；c)針對不同用戶、業務目錄，提供不同權限管理。6.2元數據管理元數據管理應符合以下要求：a)建立元數據管理機制，明確元數據的管理過程及角色職責；b)明確元數據管理的范圍和優先級，構建元數據庫；c)建立完整的數據字典、數據模型、數據架構及其管理體系，數據字典和數據集符合HJ723和HJ966的要求；d)建立元數據創建、維護、整合、存儲、分發、查詢、報告和分析機制；8e)建立元數據管理的質量標準和評估指標，開展元數據績效評估并持續改進。6.3數據追溯應建立城市生態環境數據可追溯機制，如通過審計日志等方式在采集、審核校驗、更正等流程中進行唯一性標識，并對相關記錄和文件進行歸檔。7數據質量管理要求7.1基本要求應建立城市生態環境數據質量管理體系及實施機制，優化數據質量并持續改進，滿足數據應用的需a)建立數據質量管理機構和機制，明確數據質量管理的角色和職責，建立數據質量管理方法；b)明確不同數據之間的關系和依賴性，制定數據質量管理目標；c)識別數據生存周期各個階段的數據質量元素，構建數據質量評估框架；d)采用定性評估、定量評估或綜合評估等方法，評估和持續優化數據質量；e)建立數據管理質量管理記錄。7.2數據質量要求7.2.1文檔表格數據文檔中信息要與真實情況相符，文檔數據質量應符合以下要求：a)文檔、表格數據無缺失；b)文檔內容無缺漏，數據記錄、統計無誤，邏輯清晰；c)文檔結構、命名符合相關標準、規范的要求；d)表格中數據定性和定量數據與其真值一致，計算結果正確。7.2.2空間制圖數據空間制圖符合以下要求：a)根據制圖區域和制圖對象的特點和分布規律，設置主題信息的分類、分級及符號化方法，選擇合適的波段組合以及拉伸方式，按照投影坐標系要求，保證主圖內容醒目、突出；b)圖名、圖例、圖廓、經緯網、比例尺、指北針、文字說明等制圖要素應保持符號風格、顏色、粗細等協調，簡單精煉；c)出圖分辨率滿足業務需求，宜不低于300dpi。7.2.3空間數學基礎數據數學基礎數據符合以下要求：a)平面坐標系采用“2000國家大地坐標系（CGS2000）”；b)高程基準采用“1985國家高程基準”，高程范圍的度量單位描述采用米（m）；c)投影方式按照GB/T17278執行；d)按照行政區域組織的數據可不分帶，采用地理坐標，經緯度值采用“o”為單位，雙精度浮點數表示；e)比例尺標準分幅及編號按GB/T13989執行。柵格數據應創建金字塔結構。柵格數據轉矢量時應滿足HJ726要求。97.2.4遙感影像數據遙感影像數據應符合以下要求：a)數據完整：數據名稱、內容和格式等完整；b)資料完備：數字影像數據、遙感器參數（遙感器類型、掃描帶寬、空間分辨率、光譜數據資料完備性分辨率以及其他特征參數）、遙感數據獲取時的參數（太陽高度角、軌道高度、太陽傾角、重復周期等）等資料齊全；c)信息直觀效果：目標地物的大小、形狀、陰影、色調、紋理等解譯標志信息突出、明顯；d)影響重疊率：相鄰景影像之間的重疊率在4%以上，云量較多、數據質量較差等特殊情況下不少于2%；e)視角選擇：山區、平地地區的影像側視角分別不大于16°和20°;f)輻射校正：精度達到85%以上，光譜信息豐富，目標物清晰可見；g)幾何校正：對于平原和丘陵、山地，中分辨率和中高分辨率影像控制點殘差應分別≤1倍、≤2倍影像分辨率，高分辨率影像控制點殘差應分別≤1倍、≤3倍影像分辨率；h)影像配準：平原配準精度為0.5個像元，山區配準精度為1個像元；i)影像鑲嵌：影像鑲嵌前接邊誤差小于1倍像素分辨率，鑲嵌后影像清晰、色彩均勻；j)影像融合：目視無重影、無模糊及光譜失真現象，邊界清晰、無明顯錯位，能夠反映細部特k)校正精度：對于平原和丘陵、山地，中分辨率影像校正精度分別≤2倍、≤3倍影像分辨率，中高分辨率影像校正精度分別≤2倍、≤5倍影像分辨率，高分辨率影像校正精度分別≤2倍、≤10倍影像分辨率。7.3質量控制要求7.3.1數據質量審核城市生態環境數據質量審核要求包括但不限于：a)建立數據質量審核程序，對于城市生態環境信息化系統錄入和產生的數據的完整性、一致性等方面進行審核；b)根據數據質量管理目標和計劃對所錄入的相關數據的質量進行自動或人工檢驗；c)定期對數據質量進行核實確認；d)對數據質量審核的證實性文件和記錄進行歸檔。7.3.2數據質量標記城市生態環境數據質量標記要求包括但不限于：a)建立數據質量標記的業務規則，并負責監督、指導相關部門及業務人員對業務規則進行執行；b)對數據質量進行統一標記，其他人員識別數據質量問題確認后進行標記。7.3.3數據更正城市生態環境數據更正要求包括但不限于：a)建立數據更正的業務規則，并負責監督、指導相關部門及業務人員對業務規則進行執行；b)在審核校驗過程中，若發現質量不合格的數據，應要求采集人員重新核對，與相關數據來源部門確認后對原錄入數據進行更正；c)對已標記的數據，應及時識別，并按相應程序對標記數據實施更正，對標記數據更正后，應撤銷標記；d)對其他方式發現的數據質量問題，應督促更正來自其他方式發現的質量不合格數據；e)對數據更正記錄進行歸檔。7.4數據質量檢查方式與方法7.4.1檢查方式城市生態環境數據質量檢查的方式包括：a)全部檢查：對批數據中的所有個體進行逐一檢查，采用計算機自動檢查方法時應進行全部檢b)抽樣檢查：按照確定的抽樣方案，采用適當的抽樣方法從批數據中抽取部分個體作為樣本進行檢查，并根據樣本質量來判斷批數據質量。進行抽樣檢查的數據應是在統一的標準或規范指導下，由基本相同的數據源、在基本相同的時段和軟硬件條件下生產的數據。7.4.2檢查方法數據質量檢查方法包括但不限于：a)自動檢查：使用數據質量檢查軟件實現信息系統自動檢查，如計算檢查、數據模板分析檢查、空間約束分析檢查；b)人工檢查：檢查人員根據有關標準或要求、專家知識及經驗進行的數據檢查，如資料對比檢查、經驗判斷檢查等；c)人機交互檢查：在不能實現計算機自動檢查時，可先通過計算機程序檢索出疑問點，再采用人機交互進行檢查，最后進行人工判斷，如放大漫游檢查、圖層疊加檢查、數據關聯檢查和數據格式轉換檢查。8數據安全管理要求8.1安全要求城市生態環境數據安全應符合GB17859、GB/T22239、GB/T22240、GB/T37025、GB/T39477等對數據安全的要求。城市生態環境數據安全還應符合以下要求：a)數據庫建設應符合GB/T20273的要求，能夠提供字段級、