目目１１總—Ⅲ—Ⅲ——１目次１總則２術語和縮略語２２術語２２縮略語３民航數據治理技術一般要求４民航數據管理類技術要求５４數據標準管理技術要求５４元數據管理技術要求６４主數據管理技術要求６４數據資產管理技術要求７４數據質量管理技術要求８４數據安全管理技術要求４數據共享管理技術要求５民航數據操作類技術要求５１５２５３５４５

標準用詞說明引用標準名錄１總１０１為提高民航數據治理效能?指導各單位數據治理技術能力建設?制定本規范１０２本規范適用于民航數據治理技術能力建設工作【條文說明】各單位在本規范內容的框架與指導下?結合自身發展現狀及目標?進一步細化具體１民航行業數據治理技術除應滿足本規范的規定外?尚應符合國家、行業現行有關標準的２２——２——３２術語和縮略語２術２ｄａｔａ數據治理是指數據資源及其應用過程中的相關管控活動?包括對數據進行處置、格式化和Ｔ５０５４?２０２數據標準ｄａｔａ５０５５?２２元數據元數據是指描述數據的數據?是關于數據的組織、數據域及其關系的信息?５０５５?２２主數據ｍａｓｔｅｒ主數據是指反映民航核心業務實體狀態屬性的基礎數據?在數據價值鏈上應用于多個業務流程、部門和信息系統?Ｔ５０５５?２０２數據資產ｄａｔａ數據資產是指能夠帶來經濟和社會效益的?以物理或電子的方式記錄的數據資源?包括文件、資料、圖表、電子數據等?Ｔ５０５５?２０２１６結構化數據ｓｔｒｕｃｔｕｒｅｄ結構化數據是指存儲在數據庫里?可以用二維表結構表示的數據?３７７２１?３２１７非結構化數據ｕｎｓｔｒｕｃｔｕｒｅｄ非結構化數據是指除了結構化數據之外的沒有明確結構約束的數據Ｔ３７７２１?３２批處理ｂａｔｃｈ批處理是指將一個大型作業分解成為多個任務交由多個節點分別處理?再將分解后多個任務處理的結果匯總起來?得出最終的分析結果的計算框架?具備高可用、高擴展、高并發等Ｔ３７７２２?３２流處理ｓｔｒｅａｍ流處理是指對具有實時、高速、無邊界、瞬時性等特性的流式數據進行實時處理的計算?３７７２２?３２１０圖處理ｇｒａｐｈ圖論”為基礎的對數據的一種圖”結構的抽象表達?以及在這種數據結Ｔ３７７２２?３２２２１ＡＰＩｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇｎｅ)２２２ＳＱＬｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ)２ＮｏＳＱＬｏｔＯｎｌｙｌ２ＯＬＡＰｎ￣ＬｉｎｅＡｎａｌｙｔｉｃａｌＰｇ２ＭＰＰＭａｉｖｅｌｙＰａｒａｌｌｅｌＰｇ４４——４——５３民航數據治理技術一般要求３０１民航數據治理技術包含數據管理類技術和數據操作類技術?其框架如圖３１所示?數據管理類技術是支持數據治理中數據相關管理活動的信息技術工具或功能?數據操作類技術是支持數據治理全流程過程中對數據進行操作的信息技術工具或功能?３３民航數據管理類技術包括但不限于數據標準管理技術、元數據管理技術、主數據管理技術、數據資產管理技術、數據質量管理技術、數據安全管理技術、數據共享管理技術?３民航數據操作類技術包括但不限于數據采集技術、數據存儲技術、數據計算技術、數據融合技術、數據分析技術?３１契合本單位的數據治理目標、范圍及所治理數據的特征?并貫穿數據治理實施流程?２考慮本單位實際的信息系統建設和運營能力?３各類數據治理軟件工具等應具備互聯互通能力【條文說明】單位”指民航行業各級行政主體、企業、直屬單位和行業協會等組織４民航數據管理類技術要求４４１１數據標準管理技術用于支持數據標準的數字化創建和管理?規范數據資源的技術屬性、業務屬性和管理屬性?保持數據口徑的一致性?宜包括標準創建管理、標準應用管理等技術【條文說明數據標準涉及的數據技術屬性、業務屬性、管理屬性符合智慧民航數據治理數據架構?)中５的規定?４１２標準創建管理宜包括標準生成、標準映射、標準審核、標準維護、版本管理等能力?具１標準生成應支持按照領域、業務域、業務對象、邏輯數據實體、屬性等生成標準細則?對于基礎數據標準應支持數據的技術屬性、業務屬性、管理屬性定義?對于指標數據標準應具備維度定義、度量定義等能力?【條文說明】基礎數據標準和指標數據標準符合智慧民航數據治理數據架構Ｔ中４、５２標準映射應支持將制定的標準與實際數據進行關聯映射?維護標準與元數據之間的落地映射關系?包括元數據與數據標準的映射、元數據與數據質量的映射?以及數據標準和數據質量的映射?應提供靈活的映射配置功能?并能對映射結果做頁面展示?３標準維護應支持對標準狀態進行管理?、、、、４版本管理應支持對發布狀態的標準進行版本管理?支持對已發布或已廢止的標準進行變４１３標準應用管理宜包括標準檢索、標準檢查、標準建模、標準分析等能力?具體要求１標準檢索應實現對本單位所有標準按編號、名稱、描述等進行檢索２標準檢查應支持對元數據進行標準符合性檢測?并分析標準符合性檢測通過率?３標準建模應支持標準與對應表的映射?實現基于標準的對應表模型設計?４標準分析應支持對標準的分布情況、使用情況、訪問情況等的分析?為標準的修訂提供４４——６——７４４２１元數據管理技術通過元數據自動化采集?支持繪制數據地圖、標明數據分布、分析數據關系、管理模型變更?宜包括元數據采集、元數據變更、元數據應用分析、元數據查詢等技術４１提供多種數據源的元數據采集適配器?支持自動采集和手動采集兩種模式２支持對元數據采集任務、采集器狀態、數據源參數等進行配置和維護?跟蹤采集任務狀４１支持元數據變更監控?記錄元數據的歷史變更軌跡２實現對變更的協同處理?當上游系統的數據模型發生變更時?對下游系統提供變更提醒３對元數據的關鍵變更進行版本發布?當元數據發生變更后?可備份當前元數據后發布新４１支持數據地圖繪制、、影響分析和全鏈分析２支持對某項元數據的上下游數據信息及其關系的可視化呈現４２５元數據查詢應支持按數據源等檢索條件進行查詢?快速定位數據４４３１主數據管理技術用于主數據的數字化定義、管理和共享?保障主數據在各個信息系統間的準確性、一致性和完整性?宜包括主數據采集、主數據模型管理、主數據維護、主數據分發４３２主數據采集應支持主數據統一、規范的采集和整合?１應支持主數據識別、自動采集?接口等方式從主數據源頭業務系統自動采集主【條文說明從源頭業務系統自動采集主數據符合智慧民航數據治理數據架構?/５０５５)中的規定?２應支持在主數據自動采集或手工錄入過程中進行審批、質檢３應支持數據整合?依據主數據標準和主數據模型定義的規則進行跨部門、跨系統的主數據校驗、清洗、發布?形成整合統一的、可信任的主數據?４宜支持主數據共享管理視圖?能夠直觀、清晰地展示相應的主數據標準層級、數據標準對象、版本、主管部門、數據質量水平、涉及的系統列表、已對接和未對接主數據等相關信息?４１以主數據標準為基準?支持通過可視化建模工具?定義主數據對象、編碼規則、屬性值和控制流程等基礎要素?構建主數據標準模型?２提供編碼定義、碼段定義、編碼維護等能力?根據編碼要求自動生成主數據編碼４主數據維護應支持主數據創建、審批、發布、修改、失效等全生命周期的維護?應符合１支持通過申請操作獲取主數據２支持相關維護人員的主數據修改權限審批?及其對主數據的修改?３支持對主數據質量的周期性檢測及問題審計?４支持對主數據進行凍結、解凍和失效操作?凍結后的主數據不能更新及分發?解凍需要批準?解凍后的主數據能夠再次使用?失效后的主數據不能再次使用?【條文說明】凍結、解凍是常用的主數據變更操作?凍結的數據不可用?不能修改、移動和查看?解凍數據指讓凍結的數據恢復正常?４３５主數據分發用于實現業務系統對主數據的需求?１支持批量的主數據分發服務?宜支持對接業務系統進行主數據批量分發２支持主數據分發管理?、、、、４４數據資產管理技術用于以資產價值視角提供數據管理功能?宜包括數據資產目錄管理、數據資產生命周期管理、數據資產價值管理、數據資產安全管理等技術能力?４１支持對已識別的數據資產進行統一登記、統一分類、統一展示和查詢２實現多維度、多樣式展示?例如數據資產樹、數據資產地圖、數據資產網絡等?３支持對數據資產基本屬性、業務要素、管理要素、價值要素等信息的登記?【條文說明】基本屬性包括數據的來源、類型、結構、規模、更新周期等?業務要素包括業務描述、業務指標、業務規則等?管理要素包括數據權屬、分類分級、安全信息、數據溯源、職責４４——８——９權限和應用情況等?價值要素包括領域信息、應用價值等４１支持數據資產識別?發現和標識數據資產?并登記到數據資產目錄２支持數據資產盤點?確保數據資產對象與數據資產登記信息的一致性、完整性和準確３支持數據資產變更?當數據資產管理活動或業務需求觸發數據資產變化時?及時更新數４支持數據資產處置?通過數據資產的銷毀、轉移等?優化數據資產配置等數據資產處置手段?降低管理成本?５支持數據資產應用?圍繞具體業務場景?在確保安全、合規的前提下?識別數據應用的途徑和渠道?對數據資產內部共享交換和外部服務提供等過程進行統一管理?４４４數據資產價值管理用于實現數據資產的價值量化和運營?１支持數據資產評估?對數據資產進行質量評價和價值評估等?支持數據資產價值量化?２支持數據資產審計?監督數據資產管理和應用等過程的執行?識別風險?保障合規?３支持數據資產運營?對數據資產應用和服務進行計量計費和經營分析４１支持數據資產脫敏?通過敏感數據規則設定?自動發現敏感數據并進行上報２支持數據資產分級?可按部門和角色等多維度構建數據資產分級體系?實現數據資產的３支持數據資產溯源?可通過數字水印、數據標識、區塊鏈等技術?實現數據資產全生命４４５１數據質量管理技術通過對不符合規則的數據進行探查、發現、修復、報告等?實現數據質量全流程閉環管理?宜包括數據質量探查、數據質量規則管理、數據質量評價、數據質量整４１支持在無規則情況下對數據基礎質量進行探查?對數據完整性、重復性、結構等進行２支持對數據數量、空數據和重復數據進行統計分析４１提供常用的數據質量模板?規則、正則規則、值域規則、完整規則、重復規則、算法規則等?２支持數據質量的完整性、時效性、準確性、一致性、規范性、可訪問性等多個維度的質３支持基于數據標準的數據質量規則導入４１支持對表級數據質量實施定期臨時稽核任務?發現表內不符合規則的數據?生成稽核２提供數據質量事前、事中、事后監控?執行數據質量規則?發現數據質量趨勢變化?３支持稽核結果采集和匯總操作?４支持自定義數據質量報告模板?提供多種組件、指標、維度的組合能力?５支持數據質量監控結果多方式告警?４１支持快速定位數據質量問題?包括但不限于問題數據的數量變化趨勢分析、稽核類別分布分析、整體分析等手段?２支持對數據質量問題成因分析?支持對問題數據的查看、導出、血緣關系分析等３支持對數據質量問題有效管理和跟蹤?根據責任清單匹配數據責任人并派發問題?并對派發的數據質量問題進行跟蹤管理、督辦、評價等?４４６１數據安全管理技術通過數據訪問控制、分類分級控制、脫敏加密、統計分析等技術手段?保障數據在存儲、管理和使用等各個環節中的安全?應包括數據安全控制、數據安全保護、【條文說明智慧民航數據治理數據安全?(/)中的４１支持數據訪問授權?采取訪問控制措施限制對數據源和數據存儲系統的訪問?對數據處理過程使用的工具?例如用于采集、脫敏、共享、管理等工具的訪問、操作和運行進行權限２支持身份鑒別?對登錄的用戶、進程應用進行身份標識和鑒別?對系統中運行的數據４４——１０——１１處理工具進行可信驗證?防止工具假冒和篡改?對接入數據平臺的采集導出終端、數據導入導出服務組件、分布式計算節點設備等進行身份鑒別３支持分類分級控制?根據數據分類分級策略對數據進行標識和控制４數據安全保護應針對數據的保密性、完整性和可用性提供全生命周期的防護?應具備以１支持數據脫敏?通過脫敏規則實現敏感數據的可靠保護２支持數據加密?通過國家相關部門認可的加密算法對數據進行加密３支持數據安全評估?４支持數據安全監測?利用數據流動監測、數據異常行為監測等實現對數據安全風險的全５支持數據防泄露?包括但不限于以下方式:通過安全隔離技術實現批量數據泄露的網絡攔截?通過數據脫敏實現外發敏感數據的匿名化?通過數據加密等技術實現核心數據加密存儲?６支持數據安全標識?記錄數據的安全屬性?包括但不限于數據安全等級、業務類別、責７支持數據備份及數據損壞、丟失后的恢復８支持數據溯源?記錄原始數據在整個生命周期的演變信息和演變處理內容?９支持數據運維變更管控?防止數據誤操作?４１支持數據安全事件信息統計?以數據安全分級策略為基礎?對各類數據安全事件、告警２支持數據操作行為日志?對數據訪問、數據操作等行為進行日志記錄４４數據共享管理技術通過提供多類型的數據共享方式?保障各節點業務系統之間數據交互?宜包括數據共享資源目錄管理、數據共享服務、數據共享監控等技術能力?４數據共享資源目錄管理應支持資源目錄分類管理、資源編碼、資源目錄維護、資源目錄檢索、批量服務、實時服務等?４１支持數據抽取、庫表同步、文件同步、消息訂閱推送等方式的批量數據服務?２支持單表、結果集方式的接口數據服務?３支持通過可視化界面進行服務編排、配置、規則定義及服務接口發布４支持數據使用方通過資源申請或訂閱的方式獲取數據資源５支持通過服務授權機制對數據使用方提出的數據使用申請進行服務授權?６支持關鍵共享數據對賬機制?確保共享數據能夠準確傳輸?４數據共享監控應支持對數據、文件傳輸和共享服務運行狀態進行監控?當數據共享失?。担怠保病保常得窈綌祿僮黝惣夹g要求５５１１數據采集技術用于從不同數據源獲取數據?并對數據進行標準化處理以滿足應用需求?宜包括數據接入、數據獲取、條件過濾、作業調度、數據清洗等技術能力?５１２數據接入宜支持對主流數據庫、文件數據源、互聯網數據、物聯網數據、接口數據源、文件傳輸代理、前置交換等多種形態數據源的接入?并對接口、任務以及接入的數據項數量和５１３數據獲取應支持全量歷史數據獲取和實時增量數據獲取?１全量歷史數據獲取應支持數據傳輸服務、高并發的離線數據上傳下載服務?支持全量２實時增量獲取應支持實時同步、定時獲取、數據訂閱、日志獲取等服務５１４條件過濾應支持按照指定條件進行指定過濾采集５作業調度應支持條件觸發、并發調度、周期循環調度等模式?支持對作業啟動、停止、暫停、恢復等操作?５數據清洗宜包含數據質量分析、定義清洗規則、清洗數據、清洗結果驗證等能力?具體１數據質量分析應支持對數據源進行分析?及時發現數據源存在的質量問題２定義清洗規則應支持對空值、非法值、不一致數據、相似重復記錄等數據的檢測和３清洗數據應根據規則?補足殘缺和空值、糾正不一致、進行數據拆分、合并或去重、數據脫敏、數據除噪等?４清洗結果驗證應支持對清洗方法的正確性和效率進行驗證與評估?對不滿足要求的清洗方法進行調整和改進?數據清洗過程宜多次迭代并進行分析、設計和驗證?５５２１數據存儲技術用于滿足大規模、多元化的數據管理需求?支持數據治理全流程的數據存儲高性能、高可用?宜包括結構化數據存儲、列式數據存儲、圖數據存儲、文件存儲、數據備【條文說明】數據存儲包括關系型數據庫存儲和Ｎｏ數據庫存儲?支持存儲視頻、音頻、電子文檔、日志等半結構化、非結構化數據?支持流數據存儲?５１應支持結構化數據的分布式存儲機制?實現數據存儲的可擴展性?２應支持接口實現數據的各類查詢操作?３應支持多表關聯４應支持數據分布式存儲的一致性?５宜支持行列混合存儲和行列轉換５１應支持數據以鍵值形式進行存儲２應支持基于表、列族和列的用戶權限管理?３應支持列加密?４宜支持多級索引５宜支持將多個具有類似功能或存在關聯的業務表合并存儲５１應支持由節點及邊組成的數據模型?２應支持圖查詢、圖遍歷及圖分析?３應支持最短路徑、最優路徑遍歷搜索?４宜支持頂點、屬性的繼承操作?５宜支持長任務異步會話機制５１應支持文件的上傳、下載、讀寫、復制、移動、刪除、訪問控制２應支持文件的容錯機制和系統的高可用機制?包括數據塊的備份、系統快速恢復等?３應支持文件數據的校驗和同步?保證數據的完整性與一致性?４應支持分布式的彈性擴展?支持動態添加以及刪除節點?５應支持文件的搜索、批量操作、回收站、快照等能力?５５——１４——１５５數據備份應支持針對不同數據類型和安全等級?采用不同的備份機制保障數據完整性、５５數據計算技術用于滿足數據治理過程中不同業務、不同量級的數據加工和計算需求?為數據融合和分析提供計算引擎?宜包括批處理、流處理、圖處理、ＭＰＰ交互分析等技術能力?５１應支持多種數據類型的離線分析?包括結構化、非結構化數據?２應支持離線計算任務進度與狀態的實時上報?３應支持多節點離線任務聯動執行?４應支持分散－聚集的處理方式?５應支持批處理計算框架在分布式資源上運行５１應支持從數據源中獲得實時消息數據?完成高吞吐、低延遲的實時計算?并將結果輸出２應支持用戶級別的訪問控制?支持對消息處理任務進行創建、瀏覽、中止、激活等操作?并記錄操作日志?３宜支持高容錯?當處理進程出現異常時?能夠重新部署該處理單元【條文說明】流處理適用于時效性要求較高的場景?例如實時推薦、業務監控和預警等５１應支持圖數據查詢類的ＡＰＩ?支持同步計算模型或異步計算模型編寫選代算法?２應支持基于屬性圖模型的圖數據表達?包含結點邊上的標簽和屬性類型定義?３應支持常用圖指標計算?包含描述圖的拓撲結構特征等?５３５ＭＰＰ交互分析應支持采用大規模并行計算架構?利用集群多節點的計算能力和內存提升總體性能?支持復雜的多表連接計算?５５數據融合技術用于打通不同業務、不同數據之間的壁壘?融合多個數據源產生新的信息?支撐一體化數據分析?宜包括數據匯聚、數據主題聯接等技術能力?５４２數據匯聚指數據從數據源通過響應請求或主動推送的方式進入數據資源池?宜包括物理匯聚和虛擬匯聚能力?具體要求如下:１物理匯聚:應支持將原始數據復制到數據資源池中?包括但不限于批量集成、數據復制同步、消息集成、流集成等?２虛擬匯聚:應支持建立對應虛擬表的集成方式實現匯聚?原始數據不在數據資源池中進５４３數據主題聯接指在數據資源池的基礎上建立數據聯接層?基于不同分析場景?通過多種方式將跨域數據建立聯接?宜包含多維模型、圖模型、標簽、指標、算法模型等能力?具體要１多維模型:應支持依據明確的業務關系?建立基于維度、事實表以及相互間連接關系的模型?實現多維度、多層次的數據分析服務?【條文說明】例如對航空公司訂票數據從時間區域產品旅客等維度進行多視角不同粒２圖模型:應支持建立數據對象以及數據實例之間的關系?進行數據間的關聯影響分析【條文說明】例如?查看機場的通航點數據具體關聯到哪個航空公司以及時刻、機型等詳細信息時?可以通過圖模型快速分析關聯影響?支撐業務決策?３標簽:應支持根據業務場景的需求對目標對象運用抽象、歸納、推理等算法得到的高度精練的特征標識?進行高效的數據篩選和分析?４指標:應支持依據明確的業務規則?通過數據計算得到衡量目標總體特征的統計數值?度量業務結果、效率和質量?客觀表征業務狀況?５算法模型:應支持根據業務需求?運用數學建模對現實世界進行抽象、模擬和優化５５數據分析技術用于數據業務價值的挖掘和最終呈現?為數據決策提供支撐?宜支持多種數據分析模式?宜支持可視化分析、統計分析、機器學習等技術能力?【條文說明】例如?快速存儲記錄器)數據進行分析?實現航空公司運行品質安全水平綜合評估預測?對實際運行風險防控起到積極作用?５數據分析模式應支持離線數據分析模式、流數據分析模式、交互式聯機分析模式等?具１離線數據分析模式符合下列要求:１)應支持對離線數據的分布式分析?２)應支持具有標準接口的第三方應用?——１６