1234P31234P4P52）使用權? 解決“誰使用，誰負責”問題? 使用單位擁有被授權使用數據的使用權，1）歸集權? 解決“誰歸集，誰維護”問題?

政府部門擁有政務數據的歸集權，負責所歸集數據的更新、維護職責3）管理權? 解決“誰管理、誰統籌”問題?

省政府授予省大數據局統籌管理全省政務數據職責，保障各部門間政務數據共享交換和開放高效進行模式創新：強化政務職能管理承擔具體安全使用職責P6陸續統籌建成全省統一的公共基礎設施三權分治可控可視可有 可用探索數據調度機制可溯內容創新：基于“三權五可”重構政府數據治理體系數據匯聚、

共享交換、

開放、

政務服務平臺、

數據治理平臺P7大系統功能服務集成與封裝“系統+應用”落地統一基礎設施建設P81234P91共享不足機制不暢1、初步了解，2019年云信息化項目，有36%的項目對地理信息和地圖均有共享需求，但尚無有效的共享渠道和機制；2、部分業務系統間的地理數據處理規則和標準不一，共享程度較低。需求緊迫無法支撐31、如疫情防控、應急處置等場景，需要快速通過地圖平臺進行系統開發，但目前開發模式基本基于傳統架構，開發周期長期，開發難度大，難以及時滿足需求。需求旺盛統籌力度不夠21、缺乏全局性有效規劃，還存在數據重復采集、重復建設的情況；2、各部門專題地圖數據隔離存儲，不能有效進行多維數據分析和展示。P10地圖數據關鍵點一:

應用剝離關鍵點二:

數據共享關鍵點三:機制持續時空化云端化物聯網基礎設施應用系統管理體系智能化地圖中臺P11數字巡檢……建

規設

劃安全監控智能交通土地評估環境監控園林綠化應急指揮智慧城市房產管理……經濟統計……地圖中臺自然資源管理國土空間規劃

城市規劃管理國土“一張圖”P12強應用部門弱需求部門? 如：機關事務管理局、能源局等需求底圖數據和管理本部門空間數據的廳局委辦單位，地圖中臺將為這些部門提供地圖數據服務能力和簡單數據處理能力；? 地圖中臺將提供“數據托管”及“應用定制”服務模式?如：自然資源廳、生態環境廳、交通廳等，地圖中臺將與之進行全方位合作，充分發掘這些部門的基礎數據，并協助其進行數據生產，為這些部門提供數據管理、發布等基礎能力；?地圖中臺將為強應用部門提供穩定的GIS功能服務、數據分析能力，可提供“一體化”及“前置”服務模式，或“平臺API”服務模式；P13中臺城市管理智

智

智

平慧

慧

慧

安城

城

公

城建

管

安

市…民生服務智

智

智

智慧

慧

慧

慧政

醫

社

教務

療

區

育…應急管理減

消

地

安災

防

質

全救

救

災

生災

援

害

產監

…

測生態宜居智

自

智

智慧

然

慧

慧環

資

國

建保

源

土

筑…自然資源信息化應用國土空間基礎信息平臺規劃 管理 現狀P14人口庫公共業務數據庫法人庫地圖中臺宏觀經濟庫行業資源庫空間地理庫自然資源庫基礎設施傳感器（控制器）自然國土自然自然資源空間資源資源調查規劃監管登記1234P15應用數據：商采、交換遙感數據：自然資源廳統籌云上貴州統一建設運營大數據局統籌規劃云上貴州提供基礎能力云上貴州統一建設運營業務部門管理業務數據大數據局統籌規劃建立時空地理

數據處理標準和共享機制快速構建時空、地圖應用服務的能力支撐統一地圖服務的能力P16P17云上貴州行業專有門戶服務總線行業數據資源區

基礎地理專題數據

高分辨率 高精度影像數據

地形數據

數據行業專題數據

元數據數據計費數據訪問

數據交換記錄 記錄安全設置

地圖中臺民政應用司法應用其他部門應用環保應用不動產應用

標 安準 全法 保規 障體 體系 系業務應用司法專題貴州省地圖中臺環保部門地圖中臺數據庫大比例尺 高精度

BIM模型矢量數據

三維數據

數據

管理數據

GIS應用微服務架構公共共享門戶民政部門政法部門交通單位自然資源部門

不動產專題數據環保專題

民政專題數據 數據分布式空間大數據引擎基

設礎

施感知鏈路三維 基礎數據

大數據數據服務

分析服務

分析服務二維數據服務數據交換服務地名地址影像地圖三維地圖二維地圖行業共享地圖行業子

行業子

行業子

行業子

行業子

行業子門戶1

門戶2

門戶3

門戶4

門戶5

門戶6

行業子門戶N貴州省地圖中臺門戶行業數據分析服務運維

服務

數據

目錄

數據

管理

計費

管理

管理

交換

中心

中心

工具

工具

工具數據服務旅游單位北斗位置服務北斗報文服務位置感知

其他感知專題數據

專題數據報文感知數據

專題數據感知專題數據

感知位置感知報文

交通運輸

應用旅游應用地質災

害預報預防應

用快速測繪其它專題

RESTSOAPOGCS3M空間數據治理國土空

間規劃

應用自然資

源管理

應用大比例尺矢量數據基于分布式存儲技術的空間大數據引擎數據類型Postgres

SQL鑲嵌數據集目錄庫基于Spark分布式計算集群基于分布式技術空間大數據訪問服務基于大數據技術數據管理及處理工具基于Hadoop分布式存儲架構基于分布式存儲技術的空間大數據引擎基于分布式計算技術的空間大數據分析引擎基于微服務架構技術服務運維管理中心基于微服務架構技術數據及應用服務基于可視化技術管理門戶高分辨率影像數據高精度三維數據高精度地形數據BIM模型數據行業專題數據北斗感知專題數據HBaseElasticsearchMongoDBHDFS矢量數據實時數據矢量數據緩存數據文本數據影像數據分布式存儲技術分布式計算技術微服務架構技術分布式出圖技術大數據可視化技術采用主流基礎技術構建地圖

中臺P18基于分布式出圖技術及大數據可視化技術的應用數據資源地圖中臺建設基礎數據資源行業數據資源感知數據資源支撐體系GIS基礎引擎、分布式空間大數據引擎、

GIS應用微服務架構、各類GIS（數據）服務、數據交換工具、數據管理工具、目錄管理工具、運維管理中心、服務計費中心中臺門戶P19公共共享門戶行業專有門戶互聯網門戶政法委

空間專題數據

機關事務局空間專題數據環保空間專題數據地圖中臺數據庫全省1：10000電子地圖數據（含路網、行政區劃）全省30米

（DEM）地形數據

全省0.8/2/16米正射

（DOM）影像數據

不動產空間專題數據

旅游

空間專題數據感知專題數據位置數據報文數據

視頻數據

部分城市傾斜三維模型數據

激光點云數據、街景數據等等

自然資源廳對接數據，含：全省1：50000地形圖數據、全省影像統籌數據等等

貴州省空間地理基礎庫行業專題數據管理數據安全設置數據訪問記錄數據維護記錄元數據P20服務支撐系統基礎GIS微服務架構分布式分析框架（計算引擎）分布式存儲框架（空間引擎）管理服務平臺數據管理基礎支撐平臺數據管理高級支撐平臺數據運維管理工具GIS服務系統GIS管理門戶基礎平臺GIS運維管理系統P21數據管理工具建庫管理制圖出圖符號化制圖專題圖符號制作制圖綜合編輯處理數據配準拓撲檢查數據處理數據編輯服務發布查詢超圖RESTOGC第三方服務二次開發開發示例

開發文檔

分析挖掘三維空間引擎空間索引P22疊加分析路網分析統計分析插值分析傾斜攝影BIM三維場景三維特效

三維分析空間查詢屬性查詢復合查詢數據訪問服務基礎地圖服務地形服務空間分析服務地圖目錄服務影像數據服務三維服務P23P24P25P26快全多活P27全影像地形P28矢量三維貴州省疫情防

控系統快三維

可視化監控平臺P29多多多P30P31活應急門戶公共共享門戶服務申請環保門戶其他門戶……管理員審批設置服務期限進行付費及使用到期自動停用1234P32數據孤島共享動力服務支撐數據兼容各個部門數據難以獲得，尤其是基礎數據業務部門沒有共享數據動力，都想拿，不想共享訪問越多，服務越多，越不穩定、分析越慢歷史原因，不同格式的數據、切片、服務難融合P33應急災害數據公安三維數據貴州省測繪資料檔案館數據地圖中臺商業數據其它部門數據目前數據總量達7TBP34矢量數據傾斜攝影影像數據已匯聚發布62個服務地形數據?貴州全省0.5米分辨率遙感影像?貴州全省電子矢量地圖?貴州全省地形渲染數據?云巖區三維傾斜攝影模型?多地區域三維傾斜攝影模型?各類專題信息數據?......P35地圖中臺交通環保應急交叉靈活分行業分部門分用戶分析快捷P36地圖中臺資源申請管理審批設置期限付費服務到期停用資源使用機制應急行業門戶全行業門戶 環保行業門戶統一調度管理P37項目名稱貴州省政法委網格化管理貴州省地質災害防治指揮平臺貴州省不動產登記平臺貴州省區劃地名管理服務系統貴州省遙感影像統籌(信息系統建設)項目貴州省地理國情監測平臺貴州省教育精準扶貧大數據平臺貴州省國防動員大數據建設項目精準兵源管理平臺項目貴州省人防疏散指揮信息系統集成貴州省禁毒社會化管理服務平臺項目貴州省能源云應用管理平臺建設項目項目名稱貴州省機關事務云項目雪亮工程分平臺省級改造電子政務外網工作管理平臺貴州省民用爆炸物品安全管控平臺建設貴州省農業大數據中心（三期）貴州省農業一張圖平臺（三期）高效農業園區信息管理系統農業產業脫貧攻堅監測調度系統（二期）“云上貴州.智慧消防”大數據建設貴州省監獄頂層設計項目貴州省應急管理云貴州省“三線一單”數據應用管理平臺P38a四川電信數據湖+數據中臺實施方案企業信息化部2021年2月數據驅動數據湖數據資產數據治理23451回顧理解2數據驅動構建數據驅動能力構建數據驅動場景構建原子事件庫設計態能力策略庫調用生成事件ID及描述配置事件屬性和目錄樹位置原子事件規格發布原子事件測試原子事件上線事件調用說明業務場景庫調用事件發布事件源配置：基于成熟事件源系統、基于數據資產的事件配置、基于解釋器的事件配置解析、計算、判斷規則：通過計算規則配置，解析事件源數據及計算結果是否滿足編排事件封裝規則：包含事件出入參、調用形式、周期、失效時間、其他限制條件等調用規則事件模板調用1.事件注冊-生成事件2.事件編排-數據源及加工配置3.事件發布-提供交互目錄樹事件生效并掛目錄樹支持業務場景庫和策略庫調用原子事件目錄樹更新事件目錄樹原子事件庫設計態根據業務需求的輸入及分析，整合包含業務系統和數據中臺的多事件源數據，在原子事件庫中完成原子事件的注冊、編排和發布全流程能力，強化事件管理、編排、開放等多種能力，構建數據驅動的統一事件支撐管理能力庫，提供標準化的數智能力，助力數據中臺能力提升和價值演進根據業務需求注冊事件原子事件ID原子事件描述原子事件目錄樹歸屬原子事件創建時間原子事件類型根據原子事件業務規格進行事件編排原子事件所需數據業務系統數據資產數據中臺數據模型數據調度……數據獲取配置數據加工編排配置事件解析器基于SQL解析配置基于業務描述配置原子事件編排事件源解析規則事件源配置原子事件狀態…事件計算規則事件判斷規則事件封裝規則業務需求輸入原子事件運行態事件編排邏輯觸發數據資產注冊源數據跨多系統數據源事件源系統事件源數據事件編排信息業務系統已有事件事件要素齊備系統事件觸發事件解析2 事件模型事件調度4

事件分析事件判斷而隨著135……數據目錄運算數據模型生成調度規則注冊數據資產標簽庫事件編排運行查事件進程查事件信息查事件接口事件所需數據匯聚事件ID事件類型事件對象事件參數1…基于原子事件的偵測事件所需數據用戶行為2 業務信息擴展信息4

事件增強..135……APIkafka消息隊列…一站式事件數據匯聚：持續整合事件所需的數據；實時事件偵測：依托事件數據實時匯聚能力，高實效監測事件觸發和執行；編排事件執行：依托數據中心現有能力，高效實現事件編排內容，擴大數據驅動范圍和時效性；事件模板實例化事件推送/調用根據時間編排邏輯監測事件并整合數據源大數據平臺支撐事件實例化：講設計態中的事件模板進行實例化，封裝實例數據事件推送/調用：通過事件目錄樹實現事件調用響應和主動推送能力策略平臺調用推送停機客戶自主聯系智能客服實現業務實時高效的查詢和開通事件驅動-停復機場景支撐策略匹配事件偵測消息隊列事件推送根據時間編排邏輯監測事件數據驅動1、用戶停機，撥打10000號緊急復機10000號等客服平臺用戶緊急開機清單（事件id、賬戶ID、信用額度、用戶信用等級、地市、用戶狀態）匹配事件事件解析事件分析事件判斷偵測事件數據中臺kafka事件模版實例化策略引擎動作執行策略1：用戶信用度是否為0計費平臺啟停信用度接口復機接口是否策略2：查詢欠費計費平臺欠費查詢接口返回欠費詳情策略3:用戶信用額度>用戶欠費<用戶信用等級*50元計費平臺臨時授信接口復機接口策略4：復機是否成功CRM系統查詢用戶狀態接口返回是否復機成功策略平臺策略平臺事件中心將原子事件解析為業務事件，供協同中心進行策略規則解析，生成工單任務信息，推動給觸點系統觸點系統觸點系統接收工單任務信息后，進行相應的任務執行，并將執行結果反饋給策略平臺，供策略平臺進行二次策略協同派單和執行信息共享1事件流程驅動2345電話、短信、微信渠道（IVR,NGCC,公眾號...）能力開放和注智客戶停復機場景事件捕捉客戶停復機相關數據整合分析智能偵測停機客戶復機訴求數據驅動服務能力數字化智能服務前臺場景判斷和策略匹配查詢業務系統執行結果和封裝策略執行并調用能力中心能力服務前臺實時查詢停復機策略接口數據驅動停復機場景支撐能力打造以數據中臺為底座事件源采集3數據湖構建數據湖構建數據湖入湖能力構建數據湖的分析開發能力構建數據服務體系構建權限安全體系總述數據湖是一套針對混搭數據庫架構，具備數據采集、數據計算、數據訪問、數據管理的技術架構；通過企業級數據資產，數據湖和數據中臺，為不同級別的使用對象提供數據分析、開發的原子能力。數據匯聚數據湖：原生數據，采集、同步形成，或直接存儲在生產系統數據中臺：具備共享性的整合、加工數據數據探索數據資產統一納管；提供基于數據湖、數據中臺的數據探索數據生產提供多套計算引擎和場景開發，滿足實時大規模數據預測、大寬表數據加工、大數據信息掃描等生產需求。數據服務提供統一的元數據管理，通過直接讀取本地化的元數據信息，即可實現同源異構、異源異構和異源同構的數據訪問。典型場景統一采集入湖營服實時數據入湖人臉圖片數據入湖綜合告警典型場景：跨域業務的探索分析網絡動態資源樹原子能力平臺典型場景：volte實時數據分析廳店實時數據分析多維實時指標典型場景：一站式檢索IDE實時分析工具基于數據湖+數據中心的新一代數據中臺實施舉措序號關鍵能力建設內容1構建數據湖構建適應于不同類型數據的存儲能力，支持數據入湖基于全域數據資產目錄，構建生產系統數據快速采集的存儲配置策略、數據落地規則初步形成數據湖成果構建數據湖的視圖，清晰數據湖構成和數據分布（在數據資產管理中落地）2構建數據入湖能力構建生產區到原生區數據的按需同步能力支持按資產目錄驅動的數據入湖流程管理構建多種異構數據源的接入能力構建多樣化的入湖開發模板，如：引導式、場景式等多種入湖能力3構建全域數據的開發能力構建統一的IDE分析開發工具，支持對多種異構數據資源的支撐能力構建支持即席分析探索能力，屏蔽底層物理存儲4構建數據服務體系構建統一的數據服務框架，按場景驅動服務開發構建數據從注冊、開發、上線、授權的全生命周期管理構建基于實時計算框架的數據服務，賦能實時業務場景5構建權限安全體系構建邏輯租戶、團隊、用戶模型體系構建數據資源的租戶權限管理體系構建集群資源分配、任務動態策略管理能力結構化非結構化數據湖數據架構入湖標準明確數據屬主數據標準細則入湖方式注冊元數據數據源規范認證物理入湖虛擬入湖離線實時邏輯數據湖物理表虛擬表賬務域事件域參與人地域域管理域營銷域計費域賬務域管理域資源域客戶域網絡域PULL（拉）+PUSH（推）產品域資源域其他域財務域安全域其他域邏輯統一數據類型、業務分策略存儲統一元數據語義定義、拉通、管理類型多樣結構化：IT業務交易、流程、管理非結構化：網絡設備產生文本、流數據原始記錄湖內數據不轉換、清洗，保留最原始特征，提供更多分析可能入湖標準明確數據屬主執行數據標準數據質量評估元數據注冊從業務出發，以用促建、急用先行的建設策略，數據中心統一規劃，各領域配合執行，明確入湖的數據責任方，遵循安全、負責、易用的原則構建整個數據湖體系。數據源內部數據外部數據BSSOSSMSS網絡專業···網絡社交···

數據湖目標入湖標準要求數據湖存儲架構-構建低存儲成本的數據湖統一存儲統一計算MPP（AntDB）RDBMS（TelePG）流數據統一采集流處理交互式查詢微批處理批處理多維分析文本搜索數據湖流數據處理網絡爬蟲流式采集批量采集CDC采集HDFSKafkaHBaseKylinES結構化、非結構化數據時序查詢歸檔Tidb/時序數據庫多維分析復雜分析，時序數據分析全文檢索以HDFS為核心構建大數據湖，以廉價成本（糾刪碼）將數據進行持久化，數據采集進來后由HDFS存儲原始數據，其他數據存儲按需采用HDFS、Redis、MPP（AntDB）等技術。二階段一階段基于數據湖的整體能力架構開發能力檢索同步采集賦權解析掃描計算消息安全管理能力賬號管理租戶管理鑒權服務調用服務開放引擎服務調用服務訂閱服務治理服務鑒權對外服務引擎數據監控服務監控質量監控文件類大數據基礎平臺paas平臺分析類圖片類人臉庫指標庫爬蟲數據行業數據地市報表證件庫基礎能力sparkMRTezFlinkiceberghbaseAlluxioredis計算類存儲類數據服務引擎企業內部應用集團dcoos外部應用請求監控服務開放引擎提供界面化服務訂閱、服務發布、服務治理開發能力提供基于組件化的采集、開發、查詢、交換、分析能力基礎能力提供實時、離線、批流一體的底層計算存儲組件的服務封裝能力安全管理中心實現不同資源存儲租戶間數據訪問的統一權限管理運營監控提供不同環節處理的任務、過程、操作日志和狀態監控數據共享基于數據湖的混搭數據庫架構設計，通過服務提供的形式，用于解決數據查詢、數據分析、數據共享、數據預測等業務需求。

數據湖整體能力支撐運營監控基于數據湖的開發管理組織規劃數據使用開發參與對象開發者開發者開發者開發者數據分析者數據分析角色數據運營角色數據開發角色數據分析角色：根據需求場景及個人業務理解，產生需求使用系統，提供數據目錄檢索、資產詳情查看、IDE數據分析探索生成分析結果數據開發角色：對接需求分析師，拿到需求和制定開發計劃對需要數據發起入湖流程入湖任務監控，數據問題處理反饋數據分析者開發者數據分析者運營者運營者運營者運營者團隊1團隊2數據分析者平臺管理者平臺管理者數據運營角色：查看數據湖的整體資產情況查看數據入湖的任務執行監控查看數據湖抽樣數據的存儲情況查看各自團隊數據安全權限分配和入湖處理平臺管理角色合理的角色分工清晰的流程處理平臺管理角色：負責分配用戶的系統資源負責創建平臺賬號負責分配平臺工具的使用權限負責保障平臺的穩定運行數據入湖能力-即時數據自助探索分析

數據湖區（私有租戶）1、查找需要模型3、獲取樣例數據4、數據開發5、數據洞察&分析2、查看資產詳情對接安全管理平臺數據同步/異步傳輸機制數據抽樣標準元數據資產檢索元數據檢索（模型名、字段名、口徑描述）

開發IDE模型目錄一鍵集成開發IDE基于數據內容的檢索（抽樣數據、ES存儲）高效分析查詢基于數據開發結果對接可視化組件快速完成分析提供保存分析結果歷史，方便持續性的趨勢洞察關鍵能力資產目錄基于數據湖中全域的數據資產目錄，提供便捷數據分析入口，引導式發起即時數據分析的全場景，完成自助數據探索分析。資產詳情資產詳情可視IDE業務元數據（業務口徑、頻率、全量、來源系統、存儲周期等）技術元數據（數據源、字段、類型、長度、分區等）管理元數據（五性）文件/表同步方式支持多樣數據庫類型數據分析人員運營要求要求安全平臺滿足實時抽取同步響應及時要求各域數據運營人員抽樣數據安全性需要權限管控

要求平臺使用人員嚴格執行入湖流程標準

抽樣數據直采效率更高，可探索嘗試

入湖模版推薦數據入湖能力-支撐按需快速入湖的自助流程現狀：目前存在兩套采集平臺，兩次采集的問題，數據延遲，數據同步差異不可控，問題定位復雜，采集數據門檻高。目標：實現多種異構數據源的直接采集，提供簡單高效的入湖能力，提升原生區數據的可靠性，將這些異構數據同步到數據湖中統一存儲，提供多樣化的入湖開發模板，如：引導式、場景式等舉措：資產目錄驅動：通過資產目錄檢索，定位到需要采集的生產區元數據，選擇資產自動注冊服務能力，一鍵注冊到原生區，然后選擇需要的采集原子能力，完成配置后，數據一鍵入湖入湖模板：支撐流程驅動的引導式開發和場景化的業務模板異構數據源支撐：RDBMS、MPP、文件、消息等。自定義入湖策略：模型的數據來源、頻度、增全量、定責以邏輯集中，物理分散為原則，以實現數據的統一采集、統一存儲、統一管理為目的，打造標準化的入湖能力，實現企業級數據湖。屏蔽數據源異構技術差異，實現透明、可編排的采集開發能力，快速實現業務按需入湖。典型應用場景：快速按需完成產品設計場景數據入湖企業數據目錄P1：通過數據目錄定位需要的模型數據數據資產詳情P2：查看模型數據的詳情，包括：業務口徑、管理口徑、血緣依賴信息等，確認數據使用場景P4：調整實際的入湖策略，如數據來源、頻度、全量或增量等，完成最終任務的發布上線策略調整并上線入湖數據確認P5：通過IDE探索平臺確認數據查看業務含義按需調整策略分析入湖數據P3：基于模型的元數據信息，自動推薦適合該場景的數據入湖模版并加載構建入湖場景低代碼快速開發入湖組件指標注冊指標服務開放FTP組件指標標準腳本組件消息組件自定義組件大數據組件MPP組件統一IDE編排組件關系型組件數據開發角色運營要求要求安全平臺滿足即時采集策略的流程配置及實效性要求具備直采條件的建議直接拉數據，源系統分配安全賬號數據湖開發分析能力-可視化IDE工作臺搭建統一IDE開發平臺，管理底層混搭的數據存儲架構，屏蔽底層差異性，通過SQL編寫、參數配置、流程調度，實現跨平臺、跨數據源的在線數據分析工具，通過可視化界面操作、資產全文檢索能力和內置工具，實現快速找數據、即時分析數據。數據注冊管理提供統一的多種異構數據源的元數據采集能力，支持主流的RDBMS、HIVE、ES數據源的管理；根據采集上來的數據源類型進行數據訪問封裝，形成統一IDE查詢能力；支持對指定數據源數據的分析探索能力。數據開發處理消息管理：提供離線和實時可視化開發平臺封裝開發函數組件，屏蔽底層細節，降低開發門檻，提高開發效率；豐富的組件可以支持多種數據開發分析的場景，通過編排可快速實現業務場景數據訪問日志記錄開發者詳細查詢、開發操作軌跡日志；開發者可以查詢歷史訪問信息。智能SQL

IDE標準SQL語法Hdfs組件Hive組件Sql通用組件文件組件腳本組件命令組件控制組件函數組件質量組件數據訪問適配器豐富開發組件庫hdfshivemysqlhbase數據開發&數據分析角色①數據需求想法②檢索湖數據和探索分析③分析結果呈現或應用數據湖的數據開發能力-雙集群研發工作區建設在數據湖+數據中臺核心能力基礎上，基于數據統一存儲統一管理的原則，構建多處理平臺工作區環境，支持數據研發測試、探索開發場景。1、提供數據中臺研發環境開發學習能力作為數據中臺的工作區開發環境，具備敏捷開發功能，快速實現模型開發、數據開發、作業調度和一鍵發布能力，并增加JOB及HQL語意審核，上線發布前試運行效率評估。

作為關鍵基礎業務數據備份，支撐極端場景下生產環境業務數據的恢復。作為大數據學習平臺，提供操作系統、大數據組件、數據實例的學習環境。2、提供跨區訪問、跨區讀取探索開發能力可提供跨區訪問數據中臺產品區、數據湖原生區的開發能力；可提供跨區實時讀取數據中臺產品區、數據湖原生區數據能力提供敏捷開發能力，通過一鍵發布實現工作區研發成果發布到產品區。3、提供半結構化數據探索開發能力，實現抽樣分析工作區原生區歷史庫采集類數據同步庫/復制庫虛擬數據對象類數據語音庫/人臉庫流式數據產品區關聯數據標簽指標整合數據經營類關聯數據預測分析整合數據注智類生產區資產信息資產檢索跨區訪問跨區讀取發起入湖需求探索開發敏捷開發數據采樣、測試資產注冊任務調度一鍵發布探索學習系統類學習數據類探索組件類學習智能類探索數據湖的數據服務能力-高效安全的服務開放共享文件服務API服務消息服務

在數據湖+數據中臺核心能力基礎上，基于全域數據湖資產目錄，提供快速對湖內數據進行數據開放能力，統一服務創建和發布流程，數據開放安全可控。數據服務引擎統一配置統一管理統一監管統一運營集團上傳驅動集團實時業務驅動生產運營業務驅動資產目錄資源注冊資源發現原生區產品區場景驅動數據服務管理提供統一的API創建、測試、發布、下線生命周期管理；支持Mysql、Hbase、Oracle、Redis、Http、文件多種數據源的數據開放能力；提供統一服務不同的安全訪問策略，如：字段個數、不同字段脫敏；提供API的調用管控，如：流量控制、調用次數等熔斷控制；提供應用訪問的APPKEY申請管理能力，保障服務安全接入數據服務運營提供整體API的整體概覽：上線總數、調用次數、成功次數、服務調用排行等；提供對API冷熱度分析評估，指導不常用服務下線處理，對調用次數較高服務進行重點服務保障提供全面的服務調用日志審計，對每類應用、每個接口的調用分組統計和分析調用趨勢，指導資源優化數據服務開放目標：統一服務開放平臺數據湖的數據服務能力：資產一站式檢索Parquet樣例數據非/半結構化文本HDFS文件消息圖片/音視頻混搭數據存儲圖文本/音頻文本資產目錄數據服務引擎資源管理結構化文本產品區生產區元數據原生區檢索查詢結果顯示結果返回搭建全文數據檢索引擎，將完整的信息，包括資產、位置、數據、索引全部轉化為計算機可以識別、處理的信息單元，存儲到提速引擎中，形成資產路由，以實現一站式的全文檢索。檢索引擎多維檢索數據元數據（表、字段、業務口徑）血緣緯度查詢基于業務過程緯度查詢（梳理業務過程，定義業務過程中保護的實體模型進行建模）；高級檢索存儲引擎：基于抽樣數據（結構、非結構）進行模型與數據的索引構建，內存存儲；快速檢索：屏蔽底層底層數據差異性，構建統一搜索引擎，完成數據的檢索呈現；

資產快速檢索數據快速檢索索引緩存數據湖資源安全體系-靈活的團隊管理模型目標：支持多團隊、多廠商使用，構建團隊、租戶、賬號的權限資源管控體系支持不同團隊下計算存儲資源的配額管控，解決集群內資源的高效使用舉措：團隊賬號管理：梳理現有系統賬號、組織機構、角色、權限管理，引入新的團隊賬號體系管理，構建多租戶模式的工作空間管理體系租戶資源管理：建立邏輯租戶的資源管理體系，管理團隊租戶下集群賬戶、用戶、角色、權限，明確各角色職責和開通流程統一租戶模型集群資源用戶用戶用戶用戶資源實例資源實例資源實例資源實例YARN計算資源隊列隊列隊列團隊租戶團隊租戶以開發團隊申請入住為例，需要申請租戶并綁定集群資源獲取數據和開發。創建團隊并綁定用戶，以團隊為單位配置該團隊集群資源配額（vcore、mem、存儲）。創建租戶，租戶綁定數據資源實例，可以針對應用場景綁定需要的存儲計算資源。給團隊用戶分配對應租戶資源，一個用戶可以擁有多個租戶資源的權限申請。開發用戶對模型的訪問權限通過統一數據訪問權限控制。實現集群統一的資源管理，以租戶為對象實現集群資源的按需分配，并且需要根據運營體系實現資源的授權管理。支持租戶的角色定義及用戶授權，滿足對租戶管理的訴求。實現集群資源的配額管控，更合理的使用集群資源。100vcore1024M2T團隊1150vcore1024M1T團隊2數據湖資源安全體系-跨平臺用戶權限統一管理租戶開通賬號開通資源分配數據授權資源信息管理大數據基礎平臺paas平臺分析類圖片類人臉庫指標庫爬蟲數據行業數據地市報表證件庫文件類用戶權限統一管理服務引擎（servicebroker）資源注冊租戶創建賬號綁定租戶資源分配數據授權租戶同步賬號開通資源分配數據授權12345圖例資源租戶統一管理提供統一的資源管理模塊，將原生區和產品區資源管理和租戶管理納入統一的管理。將集群資源注冊，租戶開通，資源分配，服務分配，數據授權等能力進行統一的可視化管理。并采用服務調用的形式管理paas平臺和大數據基礎平臺的底層混搭的數據庫架構。

租戶同步改變傳統的通過后臺分配租戶、數據訪問權限等操作，采用可視化操作。通過實時和離線兩種方式保證產品和集群租戶一致，實時，通過服務注冊的方式，通知平臺完成租戶創建；離線，平臺定期同步租戶到本地產品租戶庫，產品自動完成增補全租戶注冊。

服務引擎設計權限服務引擎，管理底層混搭數據的權限開通、停用，提供統一權限申請流程，替換現在線上申請，線下賦權的流程。同時記錄操作日志，對違規操作進行審計，提高了系統運維的安全性。資源信息注冊數據架構優化基于數據湖的場景支撐---升級對象存儲引擎，持續強化賦能一線的數據能力數據中臺提供多種對象存儲能力，支撐結構化和非結構化數據的入湖，便捷的數據存儲服務及在線分析查詢能力，快速賦能生產運營，釋放中臺能力價值，提升客戶辦理感知。①營業廳改套餐②人臉掃描認證③實時存儲計算分析④認證結果服務能力數據中臺緩存索引圖像處理服務文檔處理服務音頻處理服務日志處理服務大數據集群對象存儲（Ceph）HDFS/HBASE結構化處理服務其他處理服務半結構化結構化大文件圖像文檔音/視頻統一數據服務圖像數據服務賦能業務受理，助力人臉識別業務場景。留存全省用戶圖像及人臉歷史庫提供低延遲的圖像數據服務賦能更多的智能業務受理場景基于數據湖的場景支撐---加強實時計算分析能力，提升VoLTE客戶服務感知實時流處理引擎HadoopHDFS大數據海量存儲網絡信息設備信息位置信息感知分析/告警隨著數據中臺各種計算引擎能力的構建和升級，基于批量實時流計算引擎能力賦能業務處理的場景越來越重要，通過快速采集實時事件結合歷史數據分析，提前分析問題原因及預知風險，協助客服解決通話質量投訴問題，避免客戶流失，提升用戶通話和服務感知。感知內容:故障率高的網絡設備型號分布通話質量差的位置區域分布投訴用戶的地區熱點分布投訴反饋的時間段、時長分布投訴用戶的通話設備型號排行···FlinkSQLKafkaconnector用戶信息4數據資產存量資產管理生產區資產管理原生區資產管理資產目錄管理資產管理現狀和目標2020年建立DAMS至今，已經基本構建完成核心功能，包括資產自動掃描采集入庫通道、信息補全、數據稽核、信息檢索、資產視圖等，后續將持續優化打造適用于數據湖+數據中臺的數據資產管理體系。數據入湖標準化打造企業資產目錄提升數據采集準確性采集入湖自動化制定資產和數據入湖標準，并納入上云管控流程，從源頭保證資產標準化；并統一數據湖和數據中臺的資產注冊規范。參考集團《中國電信數據資產目錄管理辦法》，融合數據湖+中臺各區資產，重構建設省級資產統一目錄。統一數據湖+數據中臺系統標志，根據標準規范，實現協議自動注冊、自動采集入湖，和資產的前后臺到開發貫穿管控，保證數據采集的唯一性、采集路徑的合理性。自動掃描實現結構化數據的注冊，通過接口協議自動實現采集入湖；對非結構化和對象型數據打造統一入湖能力。現狀目標目前安全平臺自動掃描工具接入系統43個，數據庫95個，還需推進全面掃描工作；自動掃描結果數據合規率較低，需要補齊和修正；缺少非結構化和對象型資產統一注冊能力；缺少非結構化和對象型采集入湖能力；數據源采集路徑多，交互效率低；

缺少統一融合的數據資產目錄。實施舉措序號關鍵能力建設內容1構建全域數據資產視圖基于資產盤點成果（含數據資產、數據資產標注信息），結合中臺數據資產，融合形成全域數據資產視圖增量數據資產自動掃描（細分職責、明確困難或問題）2系統上云優化資產入湖開發者門戶、安全管理平臺、CMDB、DAMS各自建設入湖標準管控能力、分段負責管理層面：形成稽核-派單-反饋-考核的管理機制制定入湖標準文檔，包括：上云規范、數據資產稽核細則規范、考核機制；3數據湖資產管理數據湖目錄管理資產自動注冊能力4全域數據資產服務能力構建多維度的資產目錄視圖，支持不同業務視角的數據使用需求優化數據資產檢索能力：基于場景、NLP、熱點、個人關注等構建資產標注能力，實現資產的多業務標簽體系構建資產平臺和OA集成能力，提升使用便捷性數據資產的管理成果01隨著盤點工作的開展，持續對存量資產的梳理，系統總數508個，目前通過稽核并成功收錄的系統達304個完成全面盤數據資產梳理02搭建CMDB、安全平臺和DAMS的數據資產自動化識別流程，目前接入系統43個，數據庫95個，表110643個，字段1460883個具備資產自動化注冊能力03定位數據采集源，避免重復采集分析數據分布圖，開展安全審計開展數據評價，促進數據價值提升初具數據資產應用能力04提供接口全視圖、優化數據稽核能力，實現數據質量監控，目前數據中臺重點支撐業務27個，涉及70個來源系統的563個模型，共配置稽核任務3061個深度部署重點數據治理埋點05提供資產全景視圖，建立接口采集標準，優化采集開發流程，實現數據按需采集的標準化需求管理，2020年采集類需求116條，接口協議1068條數據采集需求標準化管理持續優化資產管理能力、構建全域數據資產采集管理展示管理視角開發視角業務目錄一級視圖二級視圖應用目錄一級視圖資產自動注冊界面錄入自動補齊資產變動通知變更流程變更申請發起工單稽核工具規則管理規則檢查問題管理源系統1源系統2源系統N程序主動掃描標準模板采集指定數據表讀取二級視圖存量204個系統未注冊到DAMS存量472個系統未在安全平臺掃描存量4500個DAMS資產與數據中臺數據未建立聯系DAMS對注冊后的資產進行定期抽審，并將審核結果納入考核實現存量資產全面納管CMDB、安全平臺、DAMS協同統一系統信息、維度編碼；DAMS協助開發者門戶梳理系統IP，完善系統信息管理DAMS督促NOC、天虎云商、無線等部門完善系統納管DAMS完善資產注冊標準，并持續更新完善資產發現注冊能力建立數據評價規則及評價結果應用機制建立數據標注體系便于資產的分類管理建立樣本數據庫服務于及時的在線分析融合數據中臺與DAMS資產目錄，構建全域數據資產目錄打造數據資產服務能力樣本數據采集運營視角數據評價視圖資產打標視圖具備優化新建運營要求通過數據安全管理平臺的數據抽樣能力獲取抽樣數據由于數據庫版本適配、網絡不通等原因導致的源系統無法被自動化掃描的問題，是由源系統負責解決技術問題或進行改造，還是沿用樣例數據導入借助上云契機，嚴格管控增量數據資產入湖標準落地與安全專業、IT運維專業聯合工作，形成CMDB+安全管理平臺+DAMS的數據資產管理體系，并嵌入到系統上云審核環節，實現數據資產盤點自動化，避免手工盤點前清后亂的風險。IT安全集中運維掃描：負責對源系統的系統信息錄入，系統IP掃描。CMDB平臺：負責對源系統的系統主數據管理數據安全管理平臺：負責資產掃描、掃描任務管理，元數據管理。DAMS：對數據資產信息進行二次稽核，數據再加工，繪制資產全景視圖等，并按照集團規范要求將數據資產卡片自動上傳到集團運營管理系統。數據安全管理平臺DAMSCMDB平臺系統注冊源系統數據掃描資產注冊系統上云流程（統一PaaS平臺）資產合規性審核報告管理舉措：制定paas上云流程制定平臺接口規范、稽核指標規范完善資產審核和數據掃描能力附后：《四川電信數據資產入湖標準》試運行預備案申請資源正式備案設計評審開發管控初驗終驗系統上線驗收流程中審核《資產稽核報告》《企業IT系統上云管理規范》《盤點稽核指標計算細則》簽字審核IT安全集中運維平臺系統IP掃描運營要求建立不同類型的數據資產管理模式的長效機制目標：從源頭控制，形成全域數據資產自動接入、完整覆蓋，提升數據資產服務能力。資產目錄南-北向接口需求3網絡側資產注冊服務Kafak需求2TOPIC配置資產注冊服務匯聚庫/生產系統1安全管理平臺資產自動注冊服務接入流程注冊流程：①采集類需求：采集流程優化，資產自動注冊匯聚庫類數據，通過安全管理平臺掃描資產自動注冊（原生區）需求管理人員接到增量數據采集需求，通過DAMS生產區資產目錄檢索，定位到系統表，調用資產自動注冊能力，完成資產注冊在DAMS未定位源系統表時，通知源系統在安全管理平臺完善資產信息，完善后方能發起采集需求，反向推動數據湖資產補全②③需求納入統一管理，提供南北向接口資產注冊服務，形成資產全面管理DAMS提供資產注冊服務給統一采集平臺，將統一采集平臺產生的文件類資產統一管理DAMS提供資產注冊服務給PaaS平臺，將流式數據kafka類資產統一管理網絡側數據無法通過安全管理平臺注冊，需要提供注冊服務構建清晰易用的全域資產目錄，提升數據湖數據服務能力多維視圖提供多維視圖按業務，展現企業核心資產；按部門，展現數據管理歸屬；按需求，展現數據支撐業務；按場景，引導式場景數據推薦；資產關聯強化資產關聯建立不同區域資產血緣關系；建立不同類別資產血緣關系；建立不同區域資產的一致性結果；服務開放能力集成資產訂閱、收藏、評價資產檢索在線分析數據服務現狀設計數據中心資產目錄現狀：不完整：數據湖的數據資產未融合開放性不夠：主要為專業數據開發人員使用，技術門檻較高，數據共享的支持性需要加強清理不及時：資產清理不及時，老舊數據資產、冷數據無標識標準不完善，管控不強硬：不合理的數據依賴關系依然存在資產標注完善資產五者關系，有助于問題處理；明確部門管控關系，有助于責任劃分；數據打標資產打標資產運營構建統一的服務目錄視圖，梳理并建立標準化的后臺原子服務目錄。5數據治理數據治理總述構建貫穿數據生產服務鏈全生命周期數據治理體系，讓數據中臺更好用、更好監控和更好管控，進行持續的改進。通過TOC、PDCA以及精益思想理論，圈定資產、質量、使用和評價4個模塊作為重點治理對象，通過機制、規范、監測和評估實現中臺的精益治理。數據資產針對資產是否全面完整、資產是否可用和資產是否多余進行數據資產關聯對比、資產標準化和資產下線管理資產關聯管理通過CMDB、安全管理平臺以及DAMS三方對比確認資產完整性資產標準化建立資產標準庫，識別資產是否標準，嚴控資產質量資產清理發現低值、未用資產，通過血緣和下線清理策略評估，進行系統下線和遷移后歷史資產的處理。數據質量新建數據湖需要更明確的機制、流程以及管控工具來進行監控。數據運營針對客戶使用情況，真實直面的反饋數據、系統、能力的使用情況，創建交互通道，嵌入到數據運營的各個階段中進行埋點管理咨詢、問題搜集通道埋點能力數據評價建立評價模型和指標，合理利用集群資源,注智開發、運營、服務和管理管理強化生產區納湖，新建原生區，多集群存儲和多管理部門協作的五者邊界的劃分和流程確認結合質量考核辦法進行管理能力優化根據能力成熟度模型，逐步創建從人工入湖、半自動入湖、自動入湖能力，運維上創建執行稽核動態上下線，實現湖內資產數據一體化管控質量稽核著重半結構化和非機構化數據治理，創建抽樣監測、定制專項業務稽核以及生產系統提供稽核校驗文件形式保障數據可用性為數據使用人員提供問答式互動通道，填寫關于數據、平臺使用的意見反饋、知識經驗共享、交流學習等；數據生產到使用的各個階段，創建埋點，收集客戶使用行為，客戶使用意見、評論等;結合上云嵌入插件能力，觀測數據、接口、模型、字段使用情況質量評價感知評價資產評價成本評價價值評價主要針對運維過程中出問題情況進行評價針對客戶使用感知進行評價隨著DAMS的提出，資產合規性等很重要，進行資產評價針對存儲、使用資源等評估針對重要程度，使用頻率等進行價值評價統一數據標準庫勞動競賽/積分模型開展勞動競賽，建立共管支持能力，深化數據資產運營智慧運維運維對象數字化，提升可用性，降低運維成本實施舉措序號關鍵能力建設內容1數據資產治理1、完善標準庫：系統上云、資產入湖、數據使用2、資產關聯稽核管理：生產區、原生區、產品區資產一致性稽核能力、異常資產在數據資產視圖中的標注和提示能力（細分職責）3、基于數據評價，支持數據中臺數據自動預警、定期下線或回退到原生區2數據質量治理1、質量體系完善：將現有中臺的稽核方式，以質量評估模型+知識庫形式進行有效組織和設計，以系統化方式實現從人工到自動化的迭代演進2、能力優化：優化稽核效率，制定調度任務評估模型動態調整執行策略（任務完成度、指標使用頻率、血緣依賴度）3、管理強化：新建原生區，多集群存儲和多管理部門協作的五者邊界的劃分和流程確認，結合質量考核辦法進行管理3數據運營1、交互式問答平臺：為數據使用人員提供問答式互動通道，填寫關于數據、平臺使用的意見反饋、知識經驗共享、交流學習等；2、嵌入式點評留言：用戶直接可以根據使用情況進行評價和反饋。精確反饋功能模塊使用情況3、應用埋點：將類插件方式埋點到指定應用查看數據使用情況和價值4、資產標注：對資產進行業務標注，提升檢索和管理能力5、勞動競賽：鼓勵全員參與，建立賽道，全員自主自愿參與業務數據打標、數據治理賽道競賽6、積分模型：設置積分獎勵制度和獎勵辦法4數據評價1、數據評價模型和指標庫建立：從質量評價、感知評價、資產評價、成本評價、價值評價5個方面進行評價2、考核體系：建立數據質量考核管理流程，處理溝通問題，提高問題處理效率，更好的保障數據質量標準管理的重要性：標準分布在整個數據管理流程中調用入湖方式統一服務傳統報表數據驅動數據應用生態……管理決策營銷服務智慧家庭金融征信智能連接客戶洞察既有采集方式原生區RDB消息對象存儲HDFS流式采集流式采集CDC采集采集服務批量采集鏡像直接連接FTP/SFTP圖片/音頻/文本半/非結構數據Databases系統/平臺Files《存儲標準》《數據架構定義》《系統上云標準》《數據安全管理規范》生產區資產管理《資產梳理流程》《資產治理流程》《五者定義》《資產質量標準》《元數據管理辦法》《目錄分類》《數據接入標準》數據中臺工作區產品區安全區《數據項定義規范》《表定義規范》《開發規范》《上線生產規范》《數據安全管理規范》《運維管理流程》統一管理統一調度《數據共享標準》《插件標準管理》源系統上云申請結構化數據資產標準化：優化標準庫標準規范定義和分類《資產定義》《數據表/項定義》《五者五性定義》業務標準（業務層面）《目錄分類標準》《關鍵字使用標準》技術標準（技術層面）《數據項命名規范》《數據表命名規范》《開發規范》管控標準（管理層面）《資產管理辦法》《插件管理辦法》《上線生產規范》稽核標準（質量層面）《數據質量管理規范》安全標準（安全層面）《數據安全管理規范》流程制度系統上云流程資產入湖流程標準庫數據使用流程數據治理流程1.完善規范制度流程系統上云流程資產入湖流程數據使用流程數據治理流程2、完善標準規范建立標準庫就資產、數據表/項以及五者五性定義標準內容根據業務、技術、安全、管控和稽核等不同層面制定不同的管理和使用規范3、規范和實例映射關系根據每項規范內容形成標準實例，稽核和治理系統上云、資產入湖、數據使用、數據治理四大流程建立標準庫，完善管理規范、流程制度和資產標準，保障數據資產持續運營，嚴控資產質量。附件：標準細則數據質量-建立質量模型，演進質量管理從人工到自動化發展新建質量模型，將現有中臺的稽核方式和理念整合起來，以質量模型+知識庫形式進行有效組織和設計，以系統化方式實現從人工到自動化的發展。1、建立對象層生產區納湖，新建原生區，帶來更復雜的半結構和非結構數據，每個對象的保障力度應該是分類型、分應用和分等級進行保障的。2、建立核心層每個對象實例應該采用核心層的不同保障方式和指標適配，數據質量的保障是有標準有模型進行保障的。核心層主要包含采用什么樣的質量動作、采用什么質量指標以及輸出質量服務能力3、建立治理層根據核心層提供的服務能力，提供治理策略，有哪些人針對哪些治理對象做哪些動作以及治理情況4、質量模型入知識庫通過質量模型操作的動作、處理經驗以及客戶反饋組成鏈路形成知識入知識庫，促進數據質量由人工向自動化演進對象層分類型結構化半結構非結構分應用集團上傳數據門戶收入保障分等級1級2級3級核心層服務能力體檢抽樣監測專業指標稽核Check文件校驗五性嵌入阻斷式白+黑嵌入非阻斷式質量報告根因定位影響分析治理層策略配置資產治理數據治理產品治理補全資產優化程序數據錯位資源不足開發知識庫自動化半自動質量指標質量動作運維治理治理對象治理內容業務運維。。治理人質量預測質量關系文件本身屬性人工1自動關聯自動入湖重點數據治理-數據湖資產完整性稽核接口視圖信息源系統信息接入數據庫資產稽核不合規清單生產區系統接口外部數據庫文件表數據項資產目錄資產目錄安全平臺資產掃描kafka入湖源系統湖數據模型數據項原生區自動關聯kafak入湖表數據項接口協議存量關聯治理確認關聯121匹配篩選統一標志關聯關聯資產構建過程生產區資產自動注冊，自動采集入原生區，建立兩區資產的關聯關系；kafak等方式入湖，根據入湖規范申請，實現在生產區和原生區的資產自動注冊和自動關聯。存量數據關聯治理稽核原生區數據資產，對不合規，如沒有源系統標志、源頭模型缺失、數據項缺失的，可以查看不合規資產清單；查看不合規資產清單及采集視圖信息；線上搜索匹配，線下和業務部門、源系統廠家確認，最終線上實現數據資產的整改處理。資產治理運營稽核的差異結果推送資產責任方，并集成到數據目錄服務中，給分析使用人員提示和引導數據資產稽核具體舉措根據數據質量管理規范，要實現數據湖+數據中臺各區數據資產全流程管控，首先要規范管理生產區和原生區數據關聯。通過提供新入湖數據通道管理處理能力，并對存量數據資產進行關聯治理，實現數據湖生產區和原生區的數據資產關聯。運營要求要求安全平臺整改不合規的資產，重新發起流程

稽核流程自動化、工單流程驅動自動采集入湖重點數據治理-數據中臺減負

資產下線計劃資產評價數據湖原生區歷史庫數據中臺復用度分析活性分析專題分析任務下線存儲數量大小

執行時間?清理存儲?歸檔備份?執行人?通知誰？歸檔/清理消息發布通知到期執行資產目錄血緣清理資產目錄清理轉存數據湖生產區源系統源系統源系統……分區存儲下線確認數據管理標準明確現有中臺各層模型的分類，保留中間層及以上數據，接口層數據入湖制定接口層模型的識別標準，如：命名規則制定低價值數據的識別標準，如：被程序調用率制定滿足數據下沉遷移的策略，如：符合接口層命名規則、模型無調用、空模型等數據標準評估定期資產評估，不限于復用度分析、活性分析等，提供低價值低復用度數據資產清單，及資產詳細信息，包括存儲、大小、五者信息等；制定數據中臺資產遷移入湖計劃；根據遷移方案進行清理，中臺數據轉存數據原生區，并及時清理原生區資產血緣關系。形成長效的評估遷移機制，直到滿足中臺減負目標數據中臺減負具體舉措運營要求要求數據責任方對評估結果進行確認，配合執行遷移

新規劃建設指導下，構建新一代數據湖+數據中臺，為數據中臺減負，新增匯聚數據入湖；存量數據強化數據治理，實現數據中臺資產清理瘦身管理。要求數據責任方配合梳理模型減負的范圍

重點數據治理-數據資產下線近期電信各系統都在緊急實施上云計劃，生產系統上云后都涉及到數據庫切換變更，數據中臺需要支撐已經納管的數據資產的變更管理。采用數據治理手段建立長效機制，實現資產主動申請和源頭被動發起下線申請的全流程管控能力。系統下線后數據資產下線管理建立系統下線申請通道，提供系統下線申請；系統下線后生產區數據資產歸檔和注銷處理；系統下線后原生區數據資產歸檔和注銷處理；通知產品區進行資產變更和資產清理處理。系統數據庫變更數據資產下線管理建立系統數據庫變更處理申請通道；新數據庫掃描自動入湖按新系統流程管控；舊數據庫下線，按上面數據資產下線管控。關聯數據的下線管理對于下線的資產有關聯實體數據，集中統計；對要下線的模型發起數據歸屬人，確認下線；形成資產數據下線的歷史，方便后續審計。原生區數據中臺任務下線存儲數量、容量歸檔/清理資產目錄資產目錄生產區系統下線數據庫變更功能模型下線數據湖消息發布通知執行下線計劃資產目錄目錄注銷/歸檔目錄注銷/歸檔制定數據資產下線管理標準消息發布通知執行下線計劃目錄注銷/歸檔血緣清理自主發起被動發起制定計劃執行時間?清理存儲?歸檔備份?負責人通知誰計劃管理申請消息確認執行數據質量-其他現階段質量上需要優化點數據安全管理平臺數據采集資產注冊DAMSCMDB平臺資產注冊資產注冊原生區數據掃描數據質量管理流程資產稽核資產標準資產標注資產目錄系統上云結構化半/非結構化5性稽核指標稽核文件稽核抽樣稽核數據中心數據血緣資產適用場景數據模型數據項跨域整合新建數據湖需要更明確的機制、流程以及管控工具來進行監控。1、管理強化生產區納湖，新建原生區，多集群存儲和多管理部門協作的五者邊界的劃分和流程確認結合質量考核辦法進行管理。擴展數據質量規則，適應多結構數據管理2、能力優化優化數據稽核執行效率優化稽核資源與核心計算資源沖突問題重點打造資產業務標簽能力（資產標注）、連接識別能力推式：專題數據資產定期推送拉式：資產全景視圖持續優化及發布3、質量稽核構建分等級、分場景、分類型的數據質量管控流程創建含非結構化等數據抽樣檢測能力定制專項業務指標識別生產系統提供稽核校驗文件5者劃分數據質量-數據稽核效率具體優化舉措通過制定質量稽核的評估模型，實現動態稽核任務的執行，探索自動調整資源的機制。現狀：現有技算資源條件，為了保障集團上傳類和重點指標僅配置了相關數據的稽核規則配置，但是忙時稽核資源和任務加工爭用。目標：通過制定質量稽核的具體舉措，實現動態稽核任務的執行，探索自動資源調整的機制。舉措：評估標準制定：制定任務評估公式，如：連續N天OK，執行頻率調整為P；指標使用頻率分析，如：業務提前梳理出核心指標對應模型及使用頻率，使用頻率N天使用一次，調整執行頻率為P評估執行策略：制定定期評估任務，根據結果自動調整相關任務的執行周期；對于不滿足條件的，要自動調整回默認的執行周期；數據稽核運營要求集團上傳類任務針對扣分情況給予一定策略，探索自動化的動態稽核調優機制任務執行任務調整生成執行實例統計分析

模型評估

評估執行動作

滿足評估模型分專業/分類型任務名稱責任人連續N天滿足狀態任務執行周期BSS

p_ods_cust_day.sh張三7天OK3天（調整后）BSS

p_ods_fee_day.sh張三30天OK7天（調整后）MSS……稽核評估實施路徑埋點能力和交互通道的搭建助力數據運營交互式問答平臺嵌入式點評留言應用埋點智能客服幫助客戶解決24小時咨詢回復問題人工輔助解決智能客服不能解決疑難雜癥問題點評和留言嵌入到使用模塊中，用戶直接可以根據使用情況進行評價和反饋。精確反饋功能模塊使用情況將類插件方式埋點到指定位置收集用戶在什么時間什么地方以什么樣的方式做了什么事情，通過用戶行為分析功能使用情況和數據調用情況等針對用戶使用情況，真實直面的反饋數據、系統、能力的使用情況，創建交互通道，嵌入到數據運營的各個階段中進行埋點管理用戶的行為和反饋是治理的最佳輸入客戶提問智能客服能回復回答結束不能回復人工服務（可不配）能回復回答結束不能回復工單受理觸發短信、郵件職責單位回復提問者確認觸發短信、郵件確認結束超時結束交互式問答流程保障流程保障開展勞動競賽，建立共管支持能力，深化數據資產運營眾包模式SME專家管理積分獎勵自愿參與數據打標系統審核專家審核標簽優化發布清單賽道1：數據打標賽道2：數據治理確認問題提出問題解決問題系統積分眾包模式：鼓勵全員參與，全員自主自愿參與業務數據打標、數據治理賽道競賽。SME專家管理：SME專家由數據資產管理委員會任命或個人申請委員會審核2種方式產生，SME專家負責打標賽道中標簽類目的建設、完善，以及業務標簽的審核；負責數據治理中問題的確認。積分獎勵制度：積分分別對兩個賽道積分，并設置獎勵辦法。考評獎勵建立數據評價體系，進行數據質量和數據價值評價。評價結果注智開發、運營、服務、管理，優化數據資產管理，提升資源利用率和數據價值。1、建立數據評價管理機制稽核評估、評價報告、問題需求為模型開發、數據服務、數據運營、數據管理注智2、建立數據評價模型和評價指標庫價值評價：對數據湖的數據品質、資源、效能、成本等進行綜合評價。質量評價：從數據環境、格式、變化以及存儲周期等對數據質量的準確、完整、合理、一致、及時性進行評價感知評價：通過數據使用，對數據的準確、完整、合理、一致、及時性進行評價成本評價：針對存儲、使用資源方面進行評價資產評價：隨著DAMS的提出，資產價值突顯，針對資產準確性和完整性進行評價舉措：構建數據評價體系注智模型開發注智數據運營注智數據服務智能調度策略規章制度考核資源配置優化數據生命周期管理……模型原子化粒度模型關聯關系模型處理規則數據合并策略查詢性能優化服務等級管理熱點推薦數據服務封裝…………注智數據管理冷熱數據資源分配整合管理接入管理匯聚管理……稽核評估問題、需求管理價值、質量報告……統一日志、控制中心質量評價感知評價資產評價成本評價價值評價數據評價指標庫數據評價模型體系落地

對各類指標進行自動或人工稽核統計評分，基于不同指標權重的評估模型，評估出每個模型的價值得分，再按要求分析出不同團隊、系統可量化的整體價值成本得分，提升運營效率。數據評價舉措實施路徑數據質量數據中臺元數據數據存儲……完整性指標正確性指標評估指標類別規范評估體系存儲評估體系風險評估體系價值評估體系程序任務數據標準字段標準指標模型一致性指標相似表指標存儲分層存儲到期模型有效使用模型客戶評分數據規模模型成本敏感級別評估引擎一~二季度各專業配合完成數據評價指標的初步梳理（字典規范、質量標準和約束規則等三季度實現自動化的基礎指標評估實現復雜評估指標的人工與系統融合的處理機制四季度持續完善數據評價體系，優化和擴展現有評估指標，提升運營效率循序漸進重點先行長效久治階段目標各專業配合梳理制定數據評價相關指標的工作，需要各部門的密切配合、高效協作，由數據治理委員會統籌，各專業相關部門配合完成需建立有效的評價機制，在數據長期運營中，對數據標準的執行情況進行有效的監管、評估，不合規的情況，通報、修正、考核對評估的結果要按專業和團隊進行定期通報及運營優化運營要求數據評價指標列表分類指標