四川電信企業級大數據中心整體規劃讓數據產生美！MaketheDataWonderful!目錄行業標桿重點措施規劃思路回顧總結亞馬遜與數據湖AWS在云上為企業構建數據湖提供服務收集和存儲任何類型的數據，在任何規模，并以低成本保護數據并防止未經授權的訪問目錄，搜索，并在中央存儲庫中查找相關數據。快速輕松地執行新類型的數據分析使用廣泛的分析引擎進行臨時分析，實時流，預測分析，人工智能（AI）和機器學習AWS上的數據湖可以幫助您AmazonKinesisAmazonS3AmazonGlacierIAMEncryptedDataSecurityTokenServiceAWSLambdaSearchIndexMetadataIndexAPIGatewayUsersUI-ElasticBeanstalkKMSCollect

&StoreCatalogue&SearchEntitlements&AccessControlsAPIs&UI數據湖（DataLake）的概念在2011年提出后被Gartner、哈佛大學等國際組織和學校發揚光大，并被國內外的多個企業如IBM、EMC、普華永道等所采用并實踐；數據湖被多個國際組織和企業所采用亞馬遜與數據湖Netflix（AWS構建數據湖案例)應用場景Netflix通過AWS構建數據湖總體架構全球領先的互聯網在線影視服務供應商，在美國有超過3千萬的訂閱用戶。AWS的通過云計算、數據湖吸引和支撐了Netflix這樣規模的客戶。S3作為數據湖可以針對不同的工作負載彈性配置多個Hadoop集群阿里巴巴與數據中臺阿里數據中臺，基于數據驅動的理念統籌設計，融合全域數據并按垂直業務類型進行劃分，完成服務化封裝。各業務前端根據商業訴求，彈性調用封裝后的數據能力，快速響應市場變化，快速創新構建數據中臺，賦能前端業務依托能力中臺，凸顯大數據價值ZJ移動2018按照“能力為根、安全為本、價值為魂”原則，基于企業級大數據平臺積極探索集中化數據管理，對內服務精益運營、對外賦能行業發展，實現價值變現和規模運營。平臺能力：企業級大數據平臺規模達到1400多臺，向各地市各部門開放租戶超過100個，大數據應用上線時間縮短至3天左右。數據能力：整合B/O/M三域數據資產，日新增數據140T600億+條；數據規模超過5PB，為集團內數據最多最全的省公司之一。模型能力：實現建模核心能力自主掌控，構建基礎模型近2000多個。已建成客戶標簽體系包括習慣偏好、消費行為等7大類10萬+標簽。

產品平臺喜?

（拓客）慧?

（洞察）喜刷街喜轉盤城市經濟地圖智慧精選信用分交通治堵城市規劃線下零售效能擺攤精靈（駐點直銷）人氣精靈（潛/熟客）選址精靈（加盟廳）喜傳單信?（風控）天盾反欺詐金融驗真商業選址能力中臺應用服務接口：提供用戶畫像、推薦觸達、行業洞察、風險防控等6大類288個服務接口，月均調用超1.47億次。對內：數據驅動“智慧運營”對外：需求驅動“價值運營”智慧應用百花齊放：開放用戶畫像、時機觸發、產品推薦等5大類46個服務接口，年支撐創新場景近30個，月均營銷成功用戶數提升1倍。線上千人千面咪咕愛看視頻推薦手機營業廳福利社地市官微微服務全域旅游商用產品全線拓展：拓客類產品業務布局初步成型，意向客戶超70家；客流、選址等洞察類拳頭產品收入突破千萬；信用分創新風控類產品已應用于欠費免停機場景，單客戶ARPU可提升1.64元目錄行業標桿重點措施規劃思路回顧總結現狀分析數據中心建設現狀基于HADOOP架構，建設形成具備6大能力的大數據中心平臺，有效支撐企業重點業務應用。平臺架構完成平臺擴容，搭建了研發和生產環境分離的大數據基礎平臺，實現以租戶形式提供存儲和計算資源。數據匯聚有序推進BOM域數據整合，已匯聚IT、網絡、平臺共39個系統約2.2P的數據數據管理構建數據資產地圖，支撐數據資產的量化、可視化運營管理，模型注冊和數據處理的配置化管理，實現從數據管理到數據資產管理的提升。安全管理提供實時/離線加密服務，形成了加解密算法庫。數據服務提供標準化數據服務的統一開放共享。平臺運維搭建了統一的數據中心運維平臺，實現了跨系統運維資源的整合開發工具提供了可視化組件，已經支撐業管、電金、新媒體3個部門以及樂山分公司的數據應用，以及資陽、眉山分公司的應用推廣模型設計資產目錄資產視圖問題總結數據中心能力待改進需求總結平臺架構1、需要完善本地網的應用支撐2、可視化管理、跨集群數據交換能力不足3、集中運維、自動化運維能力不足4、hadoop組件開源開發能力不足數據匯聚1、數據采集匯聚效率不足2、數據采集范圍尚未覆蓋企業級整體數據3、不同種類的數據存放仍需規范化4、源系統接口不規范，數據采集不穩定數據處理1、實時、準實時數據處理支撐能力不足2、數據處理的效率有待提升數據治理1、數據資產可視化程度偏低2、缺少數據資產面向企業的服務能力3、數據質量管理仍有很大的提升空間數據開發1、開發流程管控能力有待提升2、數據開發支撐工具還需補充3、開發工具的易用性有待提高數據應用1、基于數據中心的前端應用缺乏深度2、缺少數據驅動型產品的支撐

3、資產服務（血緣、運維等）很少引用到前端應用中系統運維1、系統運維智慧化程度不足2、缺乏基礎平臺運維監控能力數據安全1、數據安全體系持續完善中優化數據中心資產能力，深化賦能型企業中臺建設規劃思路數據湖：擴展數據匯聚能力，快速滿足分析型、探索型、挖掘型業務需求MPP架構：引入MPP架構，優化本地網及各部門數據應用支撐能力基礎架構集約化建設：優化和完善數據中心的管理模式，提升對本地網及業務部門的數據應用承載的支撐能力高效處理：提升實時、準實時應用的處理能力，快速支撐業務需求應用管理：提高本地網及合作方應用的快速部署能力運維保障：實現從平臺到應用的端對端保障數據開放及探索：建立數據開放機制，助力數據價值體現平臺能力數據中心組織保障：建立跨部門數據管理團隊，為數據質量提供保障數據質量：數據質量能力提升，保障全流程數據質量數據安全：建設全面統一的數據安全體系資產運營：打造貫穿數據生產服務鏈的全景式數據資產管理及運營體系資產管控數據應用：發揮數據資產管理優勢，深入發掘數據價值，打造數據中心新應用數據應用借鑒AWS數據湖理念和阿里、移動公司數據中臺建設經驗，結合現狀，進一步深化企業數據中臺建設，為生產、營銷、管理、運營類數據需求提供全方位的能力支撐。數據存儲/計算數據匯聚業務洞察（業務知識）業務策略（過程智慧）業務事件（行為感知）業務協同（過程管控）業務質量評估（過程優化）業務知識沉淀（知識庫）對內精確支撐對外合作運營營銷支撐管理支撐生產支撐本地網/公司行業數據分析行業數據挖掘行業精確營銷客戶視圖渠道視圖產品視圖風控視圖資源視圖……資產管理線資產運營線資產管理業務生產線原子業務倉庫組織保障資產分析資產安全運營規劃資產開發資產治理資產評估資產開放資源目標市場SaaSSoftwareasaServiceDaaSDataasaServicePaaSPlatformasaService智能化分析（機器學習）智能化管理（數據治理）智能化運維（智能運維）對內智慧運營對外合作創新總體架構數據中心架構全景視圖在建/增強規劃建議已建數據源B域M域網絡O域平臺數據層DataT-PaaS平臺層D-PaaSA-PaaS應用層數據運營數據安全數據治理標準化管理元數據管理數據體檢數據質量管理數據網關安全策略安全審計安全控制DaaSSaaS數據湖區（以HDFS為主Store）Data

in

Model（結構化數據）Data

is

Object（非結構化、半結構化數據）傳統模型數據探索中間層匯總層標簽庫指標庫開發庫統計分析庫數據挖掘庫存儲計算Hadoop存儲與計算集群MPP存儲與計算集群分布式緩存與計算流處理RDB存儲與計算平臺工具數據自服務數據可視化智慧門戶標簽工具指標工具應用托管應用工具應用部署代碼構建應用編排數據開發數據產品驅動應用精準營銷精確管理精細服務精益網運行業應用客戶洞察渠道洞察位置模型風控模型……消費品洞察新型數據數據對象視圖內容解析檢索工具流處理工具數據挖掘數據采集爬蟲工具多租戶管理API&UI數據開發管控資產目錄及注冊數據開放作業統一調度數據同步數據資產運營統一運維采集適配平臺光網、無線目錄行業標桿重點措施規劃思路回顧總結基礎架構平臺能力數據資產運營數據驅動舉措：基于現有能力，擴展構建數據湖基于現有平臺能力，擴展數據湖能力。豐富數據中心的匯聚能力，補充光網、無線數據的直接接入。接入數據的統一注冊和管控，保證數據質量。生產環境的HDFS作為熱數據區，研發環境作為溫數據和冷數據區。完成資產管理平臺與采集適配平臺的對接。定義接口規范并落實接口規范完善接口稽核和監控。基礎架構數據源2.核心處理（數據交互、任務調度、數據建模）2.1.研發環境（研發分析）2.2.生產環境（統一建模、調度、交互）采集適配平臺（光網無限）JOB發布研發數據倉庫Hive

（輕度匯總）

數據湖（溫數據區，冷數據區）生產數據倉庫Hive（輕度匯總）研發數據倉庫MPP（復雜關聯）

生產數據倉庫MPP（復雜關聯）保證數據及時性同步數據資產管控平臺數據湖（熱數據區）舉措：引入MPP架構，完善大數據平臺的處理能力平臺架構彌補大數據數據平臺關聯計算及匯總處理效率的不足，同時兼顧本地網開發人員技能平滑過渡，提高數據開發和處理的效率，需引入MPP架構，形成數據中心完善的架構支撐能力。平臺層處理層MPP數據庫Hadoop平臺報表應用自助取數輕度匯總數據應用寬表指標清單數據文本數據流數據非結構化數據業務部門工具層可視化工具智慧數據門戶資產管理平臺數據挖掘工具文本檢索工具自助分析其他分公司數據及技術專家數據模型開發第三方開發者多維分析準實時應用數據流處理數據挖掘建模文本日志處理查詢分析角色數據中心數據中心MPP架構分角色支撐能力提升數據交換能力提升大數據集群間數據交換的效率建立大數據平臺與MMP數據庫的交換能力建立MPP數據庫與結構化數據庫的交換能力提升資產管理平臺支撐能力封裝跨平臺數據處理引擎，支撐MPP環境下的數據模型開發能力統一數據資產管理，建立跨平臺的數據注冊、管理體系實現本地網應用的遷移提供豐富的MPP數據庫開發工具，降低本地網人員開發難度建立本地網推廣組織，協助本地網應用逐步遷移到數據中心目錄行業標桿重點措施規劃思路回顧總結基礎架構平臺能力數據資產運營數據驅動對租戶的開通，資源分配，服務實例的分配，數據的授權，應用構建等，進行統一的可視化租戶管理。封裝統一的數據資源適配層，對接底層混搭的數據庫架構。統一多租戶管理Hadoop集群MPP集群服務適配層（service

broker）租戶賬號創建資源分配服務分配數據授權應用構建應用集群（K8S）租戶帳號開通計算、存儲資源RDB組件服務數據授權服務12345圖例租戶帳號開通服務計算、存儲資源服務組件服務調用數據授權服務調用應用構建服務調用多租戶管理舉措：實現可視化的多租戶管理流程租戶管理簡潔化：改變傳統的通過后臺分配租戶、數據訪問權限等操作，非技術人員也可以通過可視化的操作，快速創建租戶，并對租戶數據進行賦權。權限管理視圖：解決現階段后臺操作賦權后，沒有統一完整的視圖展現租戶與數據庫表之間的關系，可視化多租戶管理能夠通過可視化的界面對權限進行梳理、分析、配置。完善管控流程：將現階段線上郵件申請，線下賦權的管理流程規范化，統一納入到線上管控流程中，減少了人為因素導致的問題出現的概率，同時也可以記錄操作日志，對違規操作進行審計，提高了系統運維的安全性。平臺能力舉措：完善平臺組件能力，支撐本地網開發全流程資產管理平臺可視化能力類組件SQL取數組件診斷能力類組件可視化取數組件DTS工具門戶數據開發報表開發業務診斷IT人員取數業務人員取數數據查閱數據開發類組件數據處理類引擎數據采集類組件MPPhive產品銷售品類本地寬表新增優化其他管控數據獲取DTS工具：DTS工具新增“魚骨圖”、“思維導圖”組件提供業務人員診斷能力；DTS工具優化“可視化取數”支持外關聯的取數支持，方便業務人員實現可視化自助取數；DTS工具優化“手寫SQL”報表組件UI及鉆取透視功能；DTS工具集成“SQL查詢”模塊，支持IT人員使用SQL完成臨時取數需求；資產管理平臺優化“數據采集類組件”，支持準實時的接口提速，并且同步到MPP；資產管理平臺優化“數據開發類組件”，支持MPP數據庫的數據加工邏輯的開發與任務調度開發；資產管理平臺優化“數據處理類引擎”，支持MPP數據處理邏輯能正常運行調度；1、完善平臺組件能力，支撐本地網從數據開發、報表開發、數據查閱、自助取數、業務診斷的端到端的數據應用能力；2：實現數據不出數據中心。數據湖資產管理平臺：流處理工具舉措：提升實時分析的能力建設目標建議舉措1:實時處理可視化編排目前已經具備實時數據接入能力，但對實時營銷、實時數據分析場景開發周期長，開發門檻高，無法快速響應市州分公司等業務訴求，缺乏一套配置使用簡單具備平臺管理的實時處理與分析能力。可視化DAG配置可視化監控運維平臺需要具備特性二次開發熔斷/流控管理開放與集成容錯處理failover分布式處理高性能可擴展實時抽取組件業務處理組件自由編排建議舉措2:與資產管理平臺打通元數據實現實時數據、離線數據統一管理需要與資產管理平臺打通元數據資產統一管理的必要性流處理工具

四川電信目前已經具備實時數據接入能力，但對實時營銷、實時數據分析、實時業務監控等對實時處理能力要求高的業務還缺乏統一的平臺支撐；需要提供一個處理流數據低延遲、可高度擴展的，滿足海量且多樣化數據源處理的高性能平臺。舉措：提升實時事件處理能力.......流程化配置管理圖表化監控視圖流處理引擎輸入適配HTTPSocketFlumeKafka……數據訂閱HDFSHBaseMySQLKafka……一站式操作界面豐富的數據訂閱規則輸出適配通用可配置的數據源適配器精準營銷實時預警個性推薦位置運營客戶畫像開放的label擴展接口………一站式操作界面，提供便捷且直觀的流處理管理能力。豐富的數據訂閱規則，確保企業業務數據間的隱私，同時為精準分析和決策提供依據參考。提供多樣化的接入方式，幫助企業更加快速、方便的接入多樣化數據舉措：構建安全的數據開放形式1：數據開放的標準化和安全性。2：平臺提供工具，為租戶提供開發能力。資產管理平臺：提供各種底層接口的適配能力提供服務和數據的安全控制策略提供各類服務調用方式（包括文件和Http），及數據封裝。租戶按照數據服務申請，授權，數據加工，數據發布，API封裝，API開發的流程完成數據開放過程。應用開放統一接入數據適配服務路由服務監控安全控制服務編排能力代理協議轉換能力適配統一接入MPPHadoopHBaseRDB…...基礎數據數據適配jdbcRESTSOAPWebService特定APIPGOracleHive同步異步消息服務訂閱數據調用接入鑒權業務路由負載均衡服務緩存安全控制數據動態脫敏數據加密IP控制字段級控制服務控制配額控制流量控制統一日志使用計量資產管理平臺數據服務平臺能力舉措：提高本地網應用快速部署能力平臺能力1：通過數據服務化的支撐分公司的應用創新。2：提高應用微服務化的平臺支撐能力。建設統一的應用管理平臺，針對地市獨立開發的應用，做到資源按需分配。避免申請資源直接申請物理機、VM情況。應用管理平臺能夠查看各個本地網應用使用數據的情況。集中管理應用的高可用，負載均衡，灰度發布，彈性擴縮容的。實現應用的自動化管理。集中監控應用的狀態，對異常的應用集中告警。用例覆蓋場景詳細描述與四川電信場景結合優先級CICD場景持續集成/部署、鏡像安全、應用隔離、應用配置、應用升級／回滾通過CICD和DevOps流程管理開發和第三方軟件提供商的開發流程，實現應用快速迭代。高彈性伸縮根據應用彈性自動伸縮電渠平臺面臨促銷、團購等活動時，通過彈性伸縮能力及時響應業務量暴漲帶來的前端壓力，并保障業務不間斷。高有狀態應用容器遷移、mysql數據庫的完整性驗證解決有狀態應用的靈活擴展帶來的數據遷移問題。高租戶應用資源隔離多租戶配額限制與賬戶管理對外提供服務，對不同的用戶提供不同資源配額和空間。中運維監控監控、日志提供容器環境下完善的監控和日志平臺，智能高效運維，降低管理成本，保證業務高可用。高應用容器化常用中間件容器化

Tomcat、Redis、kafka、mysql等將常用中間件置于能力開放平臺，可大大減短應用的開發周期，提高開發效率，及應用的穩定性。高容器安全鏡像安全、及容器應用隔離分別從鏡像和運行時容器多維度保障應用安全。中穩定性／性能異常測試高可用、性能測試；保障平臺高可用，評測支撐業務規模。高關鍵技術（網絡技術）多主機之間網絡通信為不同的業務場景提供豐富的網絡方案和模型。高平臺能力舉措：提升診斷、取數自服務能力，支撐移動端開發

提升在線洞察診斷能力為業務人員提供魚骨圖、思維導圖組件：用于分析關聯業務因素主因，清晰展現診斷思路

提升在線數據自服務能力新增“SQL查詢”（WEB版本SQL查詢頁面），利用JDBC支持多種數據源的SQL執行，以支撐本地網IT人員完成臨時需求取數；支持移動端適配可視化工具的“可視化引擎”增加“移動端適配”支持，制作圖表可在移動端展現1、提升工具可視化診斷、取數能力，支撐業務人員在線自助的分析與取數工作；2、可視化工具支撐移動端應用圖表開發，同一應用可適配移動端與PC端，減少IT人員開發工作量；智慧數據門戶分析能力異常預警異常追溯業務風控業務評估個性化能力收藏訂閱智能推薦交互性能力工作流評論分享手機門戶PC門戶新增優化其他數據查詢能力血緣追溯圖表呈現圖表聯動數據下鉆自助取數提供智慧分析能力通過集成固化業務分析模型，為智慧門戶提供業務異常預警、異常追溯能力，同時也能對業務風險控制、業務發展評估提供支撐提升個性化能力收藏與訂閱：配合指標庫改造，優化指標的收藏與訂閱，完成個人工作臺定制；智能推薦：根據業務人員偏好，完成指標、報表、預警信息推送；新增移動端的交互能力通過實現工作流能力支撐，省市、業務人員與分析人員、領導者與運維者等多角度交互，形成在線溝通的快速保障能力；同時郵件、短彩信等多渠道分享促進員工間協同，使正確的信息，在正確的時間，以專業的可視化形式流向決策者！優化數據查詢能力通過打通與資產管理平臺，優化指標血緣追溯能力；同時通過集成自助取數工具，支撐業務人員自助取數需求1、優化門戶智慧分析能力模塊與優化門戶個性化能力支持，為門戶注智；2、新增移動端交互能力，實現多終端、多渠道的協同，使正確決策信息以專業的可視化形式流向決策者；3、優化數據查詢能力，更方便讓數據使用者了解和自助完成數據獲取。平臺能力舉措：優化門戶實現報表支撐型向智慧服務型轉變建議：基于從平臺到應用端到端的運維保障一體化運維以大數據中心的應用為視角，向下關聯平臺、資源、基礎服務的運行情況和數據使用情況，當應用出現故障時，能夠實現端到端的快速故障定位、原因排查、故障排除建議的服務。從應用角度出發，解決定位問題難、解決問題難、總結問題難的難題。需要多個部門聯合推動一體化運維多租戶管理能力貫穿運營監控的各個環節，保障對資源、數據、服務的統一調配各平臺/系統運維界面的統一集成、統一展示異構廠商運維數據的規范接入，保障運維分析的準確性重要應用的準實時/實時監控，及時預警建立業務運維視圖，實現應用與平臺、資源、服務、數據之間的映射關系邏輯模型，便于問題溯源監控指標的統一預警運維知識的沉淀總結，形成運維知識庫，便于快速解決問題調度程序問題數據庫問題磁盤空間問題網絡聯通性問題大數據組件進程問題平臺資源分配問題……一鍵故障診斷，定位問題類型大數據平臺組件數據庫主機網絡系統接口作業調度……監控數據關聯分析建立業務運維視圖應用告警業務運維視圖順序診斷故障業務運維視圖組件應用告警界面建議舉措目錄行業標桿重點措施規劃思路回顧總結基礎架構平臺能力數據資產運營數據驅動數據資產管控與運營整體思路數據資產管控與運營加強數據資產診斷，提升數據質量，確保數據品質數據價值評估，獲取成本，計算成本，增值成本，業務價值，量化估值體系數據規劃構建數據運營機制，助力數據價值變現數據開發資產治理資產評估數據安全資產開放制定完善的數據標準規范，規劃整體數據架構開發過程規范化，流程化；確保數據規范的落地提供全流程數據脫敏能力，確保數據使用可管可控亞信依據多年在數據資產管控及運營的建設經驗，打造貫穿數據生產服務鏈的全景式數據資產管理及運營體系組織架構制定完善的數據標準規范，規劃整體數據架構01.組織架構建議：多部門保障的數據資產管理組織打破公司部門壁壘，構建起多部門共同參與的數據資產管理組織，實現數據資產管理職能統一收斂，并將數據資產管理工作從“項目主導“升級為“公司主導”，從而全面支撐橫向、縱向的數據資產管理工作開展。建立虛擬的跨多部門的數據資產委員會

，“委員會”由公司領導掛帥，各部門增設數據資產管理專員，負責各項關聯流程實行與有效溝通建立實體組織數據資產管理部，增設數據架構管理、數據標準管理、數據需求管理、數據開發管理、數據操作管理等角色；梳理管理流程，明確分工界面，負責盤點與整理各自業務部分的數據資產。數據資產委員會領導小組企業信息化部系統部系統集成部大數據平臺組大數據中心數據資產管理部數據資產管理團隊xxxxx數據資產管理專員網絡部數據資產管理專員市場部。。。財務部。。。地市公司成都公司。。。綿陽公司。。。……職能：扁平化方式配合工作，負責本域數據的治理工作，并接受監督職能：系統平臺建設，提供系統資源職能：總體負責、具體實施優化組織結構職能：領導、組織與決策數據標準化及治理工作建設目標建議舉措02.數據規劃舉措：制定完善的數據標準規范，規劃整體數據架構完善數據管理規范，如數據生命周期管理規范、數據安全管理規范、數據服務封裝規范；優化數據架構定義，指導開發團隊規范模型設計與程序開發；新增存儲架構規劃，引入MPP異構需要增加對于HDFS、MPP不同類型存儲規劃。建設目標建議舉措數據現狀進行了全面梳理，并結合已有的相關標準規范，最終制定了10項企業級數據資產管理規范和標準，基本覆蓋了數據資產管理的各個方面，起到指導和約束日常數據資產生產和管理的作用元數據管理規范數據質量管理規范數據生命周期管理規范數據安全管理規范接口設計規范接口開發規范模型設計規范模型開發規范數據服務封裝規范數據開放規范以模型設計規范中對邏輯數據模型的規范要求為例：模型命名字段命名模型主題DWD層模型主題域共劃分8個主題域29個子域DW-整合層主題域的劃分與DWD層一致DW-統一視圖層主題域共劃分6個主體域DWD層模型所有實體必須以“D_【主題域縮寫】【主題子域縮寫】_【實體自定義】”方式命名DW層模型所有實體必須以“【數據層級】_【主題域縮寫】【子域縮寫】_【實體名縮寫】_【實體自定義】”方式命名字段命名規范總共規定了20個字段后綴命名規范，144個常用詞匯命名規范以及357個常用字段規范設定數據架構當選擇數據庫下的業務匯總層后，存儲屬性就會自動填充設定存儲架構設定數據標準制定數據規范03.數據開發舉措：全流程的資產開發規劃數據規范與生產結合，把數據規范落地在生產鏈中，前向執行數據的規劃；完善指標與標簽管理工具，補充指標與標簽管理工具，完善數據加工的工具鏈；完善開發運維體系，引入運維知識庫，嘗試智能化運維能力建設目標建議舉措四川電信資產開發平臺涵蓋了需求分析以及數據架構設計，注冊，開發以及上線運行的全流程開發管理，通過規范化開發流程來保證數據中心的數據質量以及數據安全。2018年規劃數據架構設計資產目錄規劃租戶設計數據分層分域設計數據標準規范制定生命周期制定數據安全策略需求自動化分解分析/設計資產注冊資產注冊中心數據項注冊模型注冊資源注冊處理能力注冊接口注冊（入湖注冊）元數據采集指標/標簽注冊資產開發資產開發采集接口開發處理語義開發對外共享開發指標&標簽庫開發調度配置湖內數據資產封裝基于數據對象的開發上線/運維/分析上線/運維及分析資產審核雙環境上線發布運維問題處理與管理血緣及影響分析日志在線展示與分析運維知識庫及智能化生命周期自動化管理2019年規劃04.資產治理舉措：強化數據資產診斷，保障數據品質優化數據處理程序效能監控數據生命周期是否健康診斷數據模型冗余是否合理檢查數據開發過程是否標準監督數據使用過程是否安全可控建設目標建議舉措數據運營的初期需要加強數據資產運維，保障數據品質。從數據使用的源頭跟蹤整個數據生產過程中的健康狀態，結合任務作業的調度，運行資源的使用，程序運行效能，數據存儲合理性，提升數據的質量。數據的不斷累積團隊的不斷增多有按標準執行嗎？數據存在冗余嗎？數據處理高效嗎？數據都有人使用嗎？到期數據有清除？質量管控過程標準化管理過程存儲管理過程模型管理過程安全管控過程……開發者量化管理模型數據運維健康度模型04.資產治理舉措：數據質量能力提升，保障全流程數據質量優化稽核規則和策略，提升稽核效率；建立統一稽核視圖，方便管理和運維；完善稽核點和稽核規則；提供月度質量分析報告；完善實時采集稽核方案，確保實時采集接口質量；建設目標建議舉措數據質量體系支撐效率提升稽核完善集中展示總結分析元數據質量表元數據稽核基礎能力事中管理事前管理事后管理視圖元數據稽核字段數據稽核稽核管理統一視圖稽核管理接口數據稽核模型層數據稽核應用數據稽核指標稽核數據質量體檢優化策略數據質量月報數據質量專題告警采集運行效率稽核點優化稽核規則優化稽核規則管理問題管理…….1：效率提升：全面保障數據質量的前提下，提升數據質量稽核效率。2：稽核完善：部分重點指標和數據還需要進一步完善監控規則，做到重點指標不遺漏，稽核質量有保障3：集中展示：統一展示稽核情況，能夠方便快捷的了解稽核全景，保障稽核工作順利開展4：總結分析：實現月度質量分析，逐步形成大數據平臺月度運營質量分析05.資產評估舉措：完善數據資產評估，體現數據價值建設目標建議舉措建立數據資產價值評估體系，為數據開發提供輔助支持，提升數據運營和服務保障能力。1.建設資產價值評估體系，刻畫數據資產價值通過資產價值評估規則管理，分析刻畫，形成數據資產評價指標建立全域資產價值評估框架形成資產價值評估體系化工作流注智模型開發注智數據運營注智數據服務智能調度策略原子job資源配置優化數據生命周期管理……模型原子化粒度模型關聯關系模型處理規則數據合并策略查詢性能優化服務等級管理熱點推薦數據服務封裝……注智數據管理及服務……2.為數據管理及服務注智根據數據資產價值評估結果，為模型開發、數據運營、數據服務注智模型開發：輔助建模，提供模型關聯、處理、合并策略建議數據運營：根據資產價值評估結果，提供資源和調度優化建議，提升高價值資產保障能力數據服務：開展熱點推薦等基于數據價值提升的服務06.數據資產安全舉措：與服務對接中的安全管控規劃（創立）建設目標建議舉措將服務平臺作為大數據中心的租戶，通過完善大數據平臺與服務平臺之間數據安全的管控機制，保障服務平臺使用數據的安全。實行數據安全機制四級管控：基于服務層租戶。為服務層分配一個統一的租戶，應用訪問該租戶下的數據。基于應用提供的標識，對應用進行數據授權。基于租戶授權文件。大數據資產平臺已有租戶將授權文件上傳至服務層，基于文件進行數據授權。數據授權。通過服務層申請相關數據訪問權限，大數據資產平臺進行授權。大數據中心服務層數據授權基于服務層租戶基于應用基于租戶授權文件數據授權訪問申請數據應用服務注冊租戶認證接口應用認證接口數據授權接口文件認證接口細化安全管理分工界面：服務層面向應用；大數據中心面向租戶和數據；大數據中心提供相關接口由服務層調用。06.數據資產安全舉措：建設全面統一的數據安全體系（補充建議）建設目標建議舉措完善敏感數據管理：實行敏感數據分層管理，對于高級敏感數據進行嚴格管控，對于中級敏感數據進行監管；實行安全漏洞發現：補充安全漏洞的掃描，預防各級安全隱患；擴展全面的安全審計：對于各類操作的日志進行全面審計，“亡羊補牢”為時不晚。數據安全與傳統的安全管控的區別在于，數據安全核心關注數據在使用流轉過程中各個環節中數據本身的安全問題，比如隱私泄露、數據濫用、非法轉賣等，核心目的在于保護數據不受侵害數據安全系統安全網絡安全安全域管理網絡策略入侵防護管理應用安全網絡傳輸管理系統容災補丁管理漏洞管理安全策略安全規范安全流程安全審計安全范圍安全策略系統備份應用漏洞管理代碼審計應用部署安全防篡改管理網關組件賬號體系數據網關安全組件發現評估敏感數據發現漏洞發現評估安全級別評估保障防護隱私保護數據訪問控制數據版權保護監控審計日志分析安全追蹤安全告警

07.數據資產開放舉措：建立數據開放機制，助力數據價值體現建設目標舉措1:開放數據產品目錄數據資產運營的繁榮期需要大量人員使用與分享，促進各市州分公司、省公司各部門的業務用戶的使用，確保數據準確，改善使用體驗共享數據模型基于業務口徑規則打造數據產品目錄，并開放數據產品目錄，提供給各級市州公司及省公司業務部門使用“安內”需要提供相應的數據“問責”制度，并且能形成問題的閉環反饋。各個業務部門可以安心的使用數據實行模型推廣制度，使各部門本地網把自由好的模型分享出來，并提供一種激勵的機制，提升模型整體的質量舉措2：明確數據職責舉措3：促進數據模型/產品共享通過目錄進行模型的分享明確責任人與聯系方式，方便業務部門問題及時溝通業務人員主要使用數據產品目錄目錄行業標桿重點措施規劃思路回顧總結基礎架構平臺能力數據資產運營數據驅動數據驅動舉措：構建數據產品，推進生態業務融合應用層平臺層數據層DaaS數據對象服務封裝....對外數據服務封裝標簽服務指標服務模型服務客戶洞察產品洞察原子數據服務數據產品服務渠道洞察位置模型……風控模型DatainModelDataisObject基礎公共模型標簽庫指標庫數據對象服務用戶增強新增已有外部用戶構建以“數據驅動2.0”為核心思想的數據運營模式，通過引入“數據湖”完成對全生態數據融合的同時，設計DaaS（包括：原子化數據服務、賦能型數據產品封裝能力），并夯實數據向資產化演進的服務基礎，實現數據從“入湖”到“智慧運營”自底而上的價值傳遞根據電信集團轉型3.0戰略打造新一代智慧運營體系，對省分提出業務生態化的要求建設：1、DaaS

數據服務體系構建企業級數據服務體系（DaaS），實現數據中心能力顯性化和集中統一管理，面向公司生產系統、自有平臺、合作伙伴等用戶提供一系列數據積木，自由組裝，快速構建各類應用2、平臺層

可視化服務封裝打造可視化、可配置、可計量、可監控的數據服務封裝能力體系，完成數據服務實例場景化封裝3、數據層

全生態數據融合融合源于各個不同實體中的數據，形成共享的數據社區，重點落實標簽庫、指標庫、數據對象服務（主要面向非結構化數據、流式數據）數據驅動舉措：對內服務精益運營，應用快速支撐

產品信息渠道信息資源信息營銷信息對內API分類體系基本信息用戶屬性API區域歸屬API……通信行為客戶通話API對端號碼通信API……個人消費客戶服務位置軌跡+個人信息4G流量套餐訂購API流量年包API短信APIiTVAPI189郵箱API手機視頻API手機游戲API手機投注API……主套餐信息API+主套餐+流量產品+數據業務渠道基礎信息API+渠道基本信息終端銷售情況APIIMEI狀態API換機用戶API集團TAC使用情況API用戶IMEI使用情況API+終端折扣類活動辦理API成本類活動辦理API營銷效果評估API……+營銷活動信息客戶信息+政企信息+家庭信息+優惠產品+服務功能+SP產品+入網渠道信息入網渠道API+業務電話渠道API短信渠道API實體渠道業務量API網上渠道業務量API渠道養卡API網上渠道業務量API基于業務場景完成梳理對內OpenAPI資產目錄（目前已根據中國電信業務特征整理88個API，涵蓋2325個標簽、指標）；對內OpenAPI體系主要分為“客戶信息、產品信息、渠道信息、資源信息、營銷信息”五大類實例OpenAPI應用實例：終端銷售場景1、根據四川電信業務場景梳理符合用戶習慣、語言易懂、便于優化迭代的OpenAPI資產目錄2、構建一系列場景化OpenAPI封裝實例數據驅動建議：對外融合行業發展，打造數據社區通信信息位置信息興趣偏好履約能力對外API分類體系個人實名認證API個人基本信息API個人經歷API用戶等級API終端信息API+個人信息企業基本信息API企業等級API+企業信息家庭基本信息API+家庭信息產品使用API產品使用API通話信息API流量使用API短/彩信發送API+個人客戶+企業客戶+家庭客戶常駐區域API位置數據API指定區域的常駐用戶群特征API位置偏好標簽API常見軌跡API+位置信息服裝偏好API+衣早餐偏好API中餐偏好API晚餐偏好API宵夜偏好API零食偏好API+食旅游娛樂教育健康理財運動終端資訊寵物APP偏好信用等級API身份特征API消費情況API行為習慣API歷史信用API系統參數API+個人征信集團屬性API消費情況API系統參數API+企業征信基礎信息語言易懂用外部用戶能看懂的語言詮釋移動開放出去的數據，例如客戶ARPU表達成“消費”。外部用戶對移動數據結構不了解，所以需從用戶找數據的使用習慣出發，設計API的分類體系。符合習慣后續將根據用戶的意見不斷迭代優化。例如新增考慮特定行業/群體等需求去劃分API分類。迭代優化對外API分類原則基于對外合作市場訴求完成梳理對外OpenAPI資產目錄（目前已根據行業客戶需求整理對外API64個，涵蓋534個指標）；對外API體系主要分為“基礎信息、通信信息、位置信息、興趣偏好、履約能力”五大類實例1、收集四川電信業務部門合作運營的需求（如：iTV），針對需求度較高、普適性較高的OpenAPI制定開放策略（開放對象、使用權限、優先級等）2、以數據分級體系、數據提供流程、數據安全保障（數據使用前、中、后管控）等手段，規避客戶敏感信息泄露，完善數據安全體系建設舉措：發揮數據資產管理優勢，深入發掘數據價值，打造數據中心新應用專題應用深入驅動型應用的探索，發揮數據資產管理平臺的各項能力，為業務提供的專題應用，面向使用者、運維者、管理者、開發者提供可視化、可聯動、可還原的數據分析報表，并實現血緣關系、運維信息、質量信息的展現。光網、無線專題充分利用可視化能力，建立告警分析、派單分析、退服分析、投訴分析等專題分析風險管控專題完成業管所需的風控模型開發并通過工具實現清單下發功能利用可視化能力完成對專題應用的建設通過機器學習能力，對風險進行深度識別，形成有效的分析報告收入保障專題建立用戶收入全視圖，對收入預測進行基礎數據支撐深入研究收入，提供專題型的決策參考信息，如：發展效益、活動評估、收入趨勢等ITV專題整合ITV業務平臺數據，進行匯總和整合，以構建多層次業務分析體系，多維度的業務分析模型為營銷提供精準運營管理，通過用戶畫像，根據用戶興趣內容和行為畫像進行推薦工具層資產管理平臺數據資產管理核心數據處理接口層整合層中間層匯總層調度執行信息數據質量信息元數據血緣關系資產評估…數據自服務工具（DTS）可視化開發、自助取數、自助報表智慧數據門戶報表、專題發布應用管理收入保障風險管控ITV光網、無線應用層服務層數據封裝服務血緣關系服務質量信息服務運維信息服務資產價值信息服務…目錄行業標桿重點措施規劃思路回顧總結回顧總結本次大數據中心規劃回顧能力層能力說明基礎架構舉措：基于現有能力，擴展構建數據湖舉措：引入MPP架構，完善大數據平臺的處理能力平臺能力

舉措：實現可視化的多租戶管理流程舉措：完善平臺組件能力，支撐本地網開發全流程舉措：提升實時分析的能力舉措：提升實時事件處理能力舉措：構建安全的數據開放形式舉措：提高本地網應用快速部署能力舉措：提升診斷、取數自服務能力，支撐移動端開發舉措：優化門戶實現報表支撐型向智慧服務型轉變建議：基于從硬件到應用端到端的運維保障數據資產管控建議：多部門保障的數據資產管理組織舉措：制定完善的數據標準規范，規劃整體數據架構舉措：全流程的資產開發規劃舉措：強化數據資產診斷，保障數據品質舉措：完善數據資產評估，體現數據價值舉措：與服務對接中的安全管控規劃（創立）舉措：建設全面統一的數據安全體系（補充建議）舉措：建立數據開放機制，助力數據價值體現數據驅動舉措：構建數據產品，推進生態業務融合舉措：對內服務精益運營，應用快速支撐建議：對外融合行業發展，打造數據社區舉措：發揮數據資產管理優勢，深入發掘數據價值，打造數據中心新應用

感謝聆聽！數據因我們而不同！請您批評指正！附錄數據湖傳統架構的變遷DatabasesFilesStreamsTransactionsLogsEventsDatawarehouse?Hadoop?ETLETL新一代大數據中心傳統數據倉庫DatabasesFilesStreamsTransactionsLogsEventsDatawarehouseDataLake數據湖為什么要引入數據湖？引入數據湖現狀01數據湖，以低成本收集并存儲任何規模、所有類型的數據并安全提供使用，符合中國電信對”N”省分數據中心建設高安全、耐久、可用、可擴展性的要求集團“1+N”戰略，要求四川電信作為先進省分保持數據中心架構穩定性和前瞻性02數據湖，支持對非結構化、流式數據進行對象存儲和持久化，并支持數據對象的快速檢索、實時訪問光網、無線數據及企業外部數據亟待收集，對非（半）結構化數據、流式數據的處理缺乏經驗03數據湖，可快速輕松地執行新類型的數據統一匯聚和分析，支持新接口類型包括如corba、socket、snmp、tmf、SFTP、SSH等，支持秒級、毫秒級數據處理能力數據匯聚的復雜度增加，面臨數據接口類型超過10種，前端業務要求數據中心具備實時數據處理能力04數據湖，基于“注冊”機制，任何入湖的數據都將注冊到資產目錄進行統一管理，同時具備自行更新和管理數據對象索引、元數據的能力，方便進行開放使用數據資產管理的難度增加，面臨全生態數據（B\O\M域，網絡、外部等）進行的統一、有效管理，無成例可循05數據湖，適合lambda架構設計，支持使用一系列分析引擎，用于高級數據分析、實時流式+批量數據復合分析、預測性分析、人工智能(AI)和機器學習等場景生態圈融合業務發展，驅動數據資產價值的發掘，對數據中心具備對復雜事件的處理和分析能力數據湖如何構建數據湖？亞馬遜：什么是真正的數據湖？Collect&StoreCatalogue&SearchEntitlementsAPI&UIAnAPIanduserinterfacethatexposethesefeaturestointernalandexternalusersArobustsetofsecuritycontrols–governancethroughtechnology,notpolicyAsearchindexandworkflowwhichenablesdatadiscoveryAfoundationofhighlydurabledatastorageandstreamingofanytypeofdata采集和存儲高可靠按照輸入源存儲原數據支持任何類型的數據價格低廉目錄和搜索元數據湖用于概括性的統計和數據分類管理數據發現和管理的簡化模型授權數據加密保護身份驗證和授權訪問控制和限制API&UI將數據湖開放給用戶程序化的查詢目錄開放搜索API確保授權是得到認可的1234數據湖資產注冊即采集AWS作為公有云提供面向互聯網的數據安全、數據高吞吐量、數據加速傳輸的基礎設施能力，而采集能力實現使用者自定義完成AWSDirectConnectAmazonKinesisFirehoseAWSSnowballISVConnectorsS3Transfer

AccelerationAWSStorage

Gateway四川電信數據中心面向企業級應用支撐（私有云），需要提供面向企業級統一的數據入湖規范和資產注冊能力，同時也提供企業級統一的采集能力，實現資產注冊即采集數據入湖數據資產管控平臺數據源網絡……M域O域B域平臺資產注冊統一適配平臺統一提供Databases、Files、Streams類采集組件，并通過“數據管控API”將采集的數據資產信息，自動注冊到數據資產；特殊接口可繼承“自定義”采集框架，完成自定義采集方式、邏輯實現，但需注冊來源與格式、入湖目標與格式信息。企業級統一的Collect采集和存儲高可靠按照輸入源存儲原數據支持任何類型的數據價格低廉1為保障數據中心各業務系統運行的穩定性與可靠性，數據源接入層面應該優先要建立起完善的保障機制，目前，數據中心已經編制了與各系統接入的接口規范，但規范落地推進相對緩慢，無法滿足業務保障的要求。數據湖數據源接入保障文件采集庫內直采流采集采用校驗文件方式驗證，對采集過來的文件進行校驗；需要源系統提供校驗文件（文件名，數據日期，條數，大小）通過直接連接數據庫獲取數據；需要源系統提供直采表日志信息，同時需要保證直采表在采集過程中靜止通過流連接技術，采集實時數據；需要源系統在交互中提供消息包數量，供數據校驗使用。源系統源系統目標系統目標系統源系統目標系統存在的問題制定規范推進源系統進行保障1、源系統提供數據不穩定，導致前端業務使用數據不及時，不準確。2、接口建立不規范，無相互握手機制，數據提供延遲，導致數據中心補錄數據流程繁瑣、復雜。3、接口規范推進困難，源系統配合改造力度低下。握手機制保障握手機制保障握手機制保障采集和存儲高可靠按照輸入源存儲原數據支持任何類型的數據價格低廉1數據湖數據湖的存儲能力SearchAccessQueryProcessArchiveAmazonRDSAmazonDynamoDBAmazonElasticsearchServiceAmazon

GlacierAmazonS3AmazonRedshiftAmazonElasticMapReduceAmazonMachineLearningAmazonElastiCacheSearchAccessQueryProcessArchiveAws存儲架構什么類型的數據存儲在數據湖中？非結構化數據原始存儲格式（logs，dumpfile）圖片，音頻，視頻，任何原始文件。半結構化數據JSON，XMLfile。

結構化數據CSVORC,Parquet等數據中心的存儲架構采集和存儲高可靠按照輸入源存儲原數據支持任何類型的數據價格低廉1數據湖目錄與搜索1：引入Lambda架構，提升平臺流處理和批處理統一視圖的能力。2：完善資產管理平臺在“數據湖”層面“數據目錄與注冊”的管控能力3：OCSearch產品，提升平臺對非結構化數據的查詢和檢索能力目錄和搜索元數據湖用于概括性的統計和數據分類管理數據發現和管理的簡化模型2數據湖批處理和流處理的融合-LambdaLambda框架介紹：Lambda整合離線計算和實時計算，集成了Hadoop，Kafka，Storm，Spark，Hbase等各類大數據組件。Lambda實現了真正的流處理、批處理混合，同時統一了編程接口，使得整體處理架構簡單化。架構組件選型：根據四川電信業務特點，實時流數據采用Kafka框架，批處理層存儲采用數據湖HDFS；計算采用MapReduce或者Spark；實時處理層采取Storm或者Spark

Streaming，存儲采用Redis；服務層查詢少量的結果數據當前大數據平臺隨著數據量的快速增長，數據種類多樣化，應用更加豐富，導致數據分析的時間越來越長，基于目前四川電信大部分應用批處理與流處理并行的現狀，選擇Lambda作為通用架構，助力四川電信構建敏捷化的大數據平臺。位置信令數據位置信令全量信息用戶歷史軌跡視圖批處理（循環重新計算）批處理層服務層用戶位置流處理用戶實時軌跡視圖實時計算（增量計算）用戶實時軌跡視圖1用戶實時軌跡視圖2實時計算視圖用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖查詢獲取用戶軌跡視圖合并位置服務場景：數據湖非結構數據檢索工具數據檢索工具數據源包括結構化數據、半結構化數據、非結構化數據，主要功能包括分詞檢索、排序、字段組合等功能。數據源結構化數據圖像文件聲音文件網頁文件日志其他知識庫檢索平臺統一計算統一存儲HDFS（大文件）Hbase（小文件、結構化數據）Hive（數據庫管理）Solr（全文檢索工具）數據湖授權認證Kerberosknox授權Ranger審計RangerSolrHDFS數據加密數據傳輸數據存儲通過Ambari，Ranger實現集中配置和管理建立完整的數據湖安全體系授權數據加密保護身份驗證和授權訪問控制和限制3數據湖API&UIAPIGatewayUI-ElasticBeanstalkAWSLambdaMetadataIndexUsersIAMTVM-ElasticBeanstalk1：滿足數據湖中非結構化數據的API開發、封裝和開放能力。API&UI將數據湖開放給用戶程序化的查詢目錄開放搜索API確保授權是得到認可的2：引入OCUE產品，提供對數據湖區統一的UI界面。4數據湖數據湖內數據的API封裝調用APIAPI路由認證與權限內容解析返回結果數據結果數據脫敏加密數據湖的API封裝過程“API封裝“圍繞認證與權限檢驗，訪問控制，數據脫敏等過程，通過注冊信息，針對結果數據設置個性化的脫敏規則及用戶數據授權規則，在實際調用時即可對返回數據進行安全控制，保證API調用過程安全合規。結果數據格式轉換數據湖訪問控制數據湖統一的平臺可視化訪問界面橘云大數據平臺用戶操作界面（OCUE）是面向大數據平臺用戶的可視化操作界面。用戶可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互分析處理數據，例如操作HDFS上的數據，運行MapReduceJob等。雖然大數據平臺各組件都有自己的使用方式和開發接口，比如Hive提供的命令行終端，但是當用戶需要訪問多個組件時，需要打開不同的終端或者界面，需要登錄不同的系統。OCUE統一了各個項目的開發方式，提供了一個web的界面來開發和調試任務，OCUE能做什么？1，訪問HDFS和文件瀏覽

2，通過web調試和開發hive以及數據結果展示

3，查詢solr和結果展示，報表生成

4，通過web調試和開發impala交互式SQLQuery

5，spark調試和開發

6，Pig開發和調試

7，oozie任務的開發，監控，和工作流協調調度

8，Hbase數據查詢和修改，數據展示

9，Hive的元數據（metastore）查詢

10，MapReduce任務進度查看，日志追蹤

11，創建和提交MapReduce，Streaming，Javajob任務

12，Sqoop2的開發和調試

13，Zookeeper的瀏覽和編輯

14，數據庫（MySQL，PostGres，SQlite，Oracle）的查詢和展示專題與應用風控專題利劍行動寬帶ITV體驗卡利劍行動：通過風控模型能夠準確掌握客戶發展情況、客戶來源、終端、價值貢獻，實現客戶價值管控。寬帶：通過風控模型能夠準確掌握寬帶格局戰下新增寬帶的質量和存量寬帶的質量，實現客戶質量管控。ITV：通過風控模型能夠準確掌握新增ITV質量和存量ITV質量，實現客戶質量管控。體驗卡：通過風控模型能夠準確掌握體驗卡的新增、體驗情況、充值轉正情況、客戶體驗期結束后的實際留存情況，未規模發展，實現客戶營銷管控。目標：建立完整風控體制，管控信息數據的采集、傳遞、使用和存儲。建立智能風控體系，實現各級業務部門對客戶價值、質量管理。專題分析寬帶虛假用戶識別模型支撐：為利劍、寬帶、ITV、體驗卡建立風險數據模型，協助業管部門完成風險分析及清單下發。專題分析：根據分析結果進行可視化專題的設計，通過不同視角對風險進行監控和識別。深度洞察：利用數據挖掘技術，對寬帶虛假用戶的識別，協助業務部門完成寬帶風險的監控。專題與應用收入保障用戶收入全視圖新增/存量用戶價值各接口/系統的收入及結構各業務的收入及構成用戶清單級的收入展現監控報表及分析收入過程的異點監控全收入的異常變化監控關鍵監控指標的提供重點業務收入支撐及分析專業及深度應用各專業市場、各類重點業務的經營及考核分析支撐模型深入研究收入，提供專題型的決策參考信息，如：發展效益、活動評估、收入趨勢等收入保障能力目標總收入：253.61萬元融合產品253.61萬元單產品253.61萬元自主產品253.61萬元套餐新增253.61萬元成員加入253.61萬元保底補差253.61萬元電視253.61萬元寬帶253.61萬元手機253.61萬元單C253.61萬元單寬253.61萬元單ITV253.61萬元………寬帶253.61萬元包月功能費253.61萬元…用戶收入全視圖CRM計費結算代理商監控報表及分析收入預測發展效益活動評估決策支撐深度應用專題與應用IPTV專題分析數據應用模塊用戶發展業務訂購活動響應直播推薦關聯推薦內容預測節目決策營銷決策廣告投放…資產管理平臺用戶訂購模型用戶行為模型應用商城訂購內容分析模型營銷活動模型關聯推薦模型ITV手機門戶IPTV業務在對現有分散業務平臺數據整合基礎上，利用資產管理平臺的各項能力，以應用和數據為驅動，建設具有跨系統、準實時、和面向生產的數據決策與運營的體系。業務目標平臺統一整合整合IPTV業務平臺數據，進行匯總和整合，以構建多層次業務分析體系，多維度的業務分析模型數據匯總分析基本數據分析功能，包含客戶統一視圖，用戶行為分析，信息查詢，常規的統計分析功能以及可視化動態展現功能業務價值挖掘為營銷提供精準運營管理，通過用戶畫像，根據用戶興趣內容和行為畫像進行推薦，服務用戶，使用戶能體驗到更個性的差異化服務實時大屏門戶專題推薦服務專題與應用光網及無線專題分析告警分析派單分析退服分析投訴分析1、告警排名：按照告警的級別、對應的分公司進行排名和單網元告警數量、退服情況進行告警排名和告警推送。2、質差告警：分析地市全網重點質差類告警（如4G時鐘、2\4G駐波、2\4G光功率低、板卡高溫），統計網元同一質差告警頻次情況。1、派單率分析：用于反查合作伙伴系統漏派單情況，便于完善派單機制，核查系統漏洞。2、遺留工單分析：統計已派單超24/48/72小時遺留告警數量，管理各地市超長告警遺留，避免重要告警不處理影響投訴。1、總退服分析：通過綜合監控和考核報表展現各維度退服指標和排名情況。2、退服原因分析：用于分析普網超1.5小時故障原因分類。。3、頻繁退服分析：用于分析全量退服類故障各地市高頻情況。4、長期退服分析：用于分析全量退服類故障各地市超長情況。1、故障類投訴分析：分析投訴原因中故障類的數據。2、業務異常投訴分析：用于分析業務驟降小區、高流量小區投訴情況。應用層模型層網元事態感知模型網元差異化分析模型網元健康度評估模型…在光網、無線大數據接入的基礎上，結合數據中心資產管理平臺的各項能力，構建可視化的光網、無線專題分析，通過報表、可視化圖形和自動生成分析報告的方式，為業務運營提供數據分析依據。對作業計劃的電子運維提供數據與能力支撐應用確定計劃作業計劃審核計劃生成設備指標項目計算公式后臺截取計算計劃呈現結果查詢計劃巡檢派單基礎設備集中操作統一采集適配（設備資料、各項指標采集等）電子運維（Oracle）數據中心清單查詢（ES）基礎數據（HIVE）數據湖計算語義抽取語義資產管理平臺性能指標分專業入庫封裝指令發起實時返回報文封裝指令發起每次2個指標調用實時返回同步數據采集規則及指標規則在作業計劃管理，調用資產管理平臺“抽取語義”與“計算語義”能力完成性能指標采集加工，為作業計劃中的電子運維的“計劃呈現結果應用”與“計劃巡檢派單”提供數據

支撐加工采集P64鄉村振興：20字總要求、7個路徑指引、5大振興總體要求P65生態宜居

是關鍵鄉風文明

是保障治理有效

是基礎生活富裕

是根本產業興旺

是重點農鄉村振興戰略規劃按照實施數字中國戰略、鄉村振興戰略、數字鄉村戰略的總體部署，以產業數字化、數字產業化為發展主線，以數字技術與農業農村經濟深度融合為主攻方向，以數據為關鍵生產要素，著力建設基礎數據資源體系，加快農業農村生產經營、管理服務數字化改造，推動政府信息系統和公共數據互聯開放共享，全面提升農業農村生產智能化、經營網絡化、管理高效化、服務便捷化水平。指導思想發展目標主要任務保障措施2019年12月25日農業農村部 關于印發《數字農業農村發展規劃（2019—2025年)》 農規發[2019]33號到2025年，數字農業農村建設取得重要進展，有力支撐數字鄉村戰略實施。農業農村數據采集體系建立健全，天空地一體化觀測網絡、農業農村基礎數據資源體系、農業農村云平臺基本建成。加強組織領導加大政策支持強化數據采集管理強化科技人才支撐構建基礎數據資源體系

生產經營數字化

管理服務數字化農業自然資源大數據農業種質資源大數據農村集體資產大數據農村宅基地大數據新型農業經營主體大數據種植業信息化畜牧業智能化漁業智慧化種業數字化新業態多元化質量安全管控全程化農業農村管理決策農產品全產業鏈數字農業農村服務農村人居環境鄉村數字治理國家農業農村 關鍵共性技術攻關大數據中心農業農村天空地一體化國家數字農業農村創新工程前沿性技術超前布局技術集成應用與示范重大工程建設 技術裝備創新人工智能研發應用P66數字農業農村發展規劃P67資金

如何

落實責任

如何

落實如何

服務

鄉村數據

怎么

采集數據

誰來

采集質量

怎么

保證如何

滿足

管理數據

如何

運營設備

如何

維護數據和信息資

源保障層面P68數字鄉村運營層面戰略實施層面鄉村服務層面政府管理層面行業痛點-政府實施行業痛點-基層工作多頭管理填報數據今天縣委要的這個報表和昨天財政要的報表差不多，怎么又要填一遍！P69張三家的廁改進度咋填呀，我不掌握呀李家屯156戶村民的基礎信息我得手填一遍，然后再做成電子報表，好麻煩呀！上級叫采集公共廁所的位置，但是這經緯度是個什么？手機定位不是能自己找嗎？張老四報的合作社信息，怎么和工商的對不上？又到基層黨組織換屆了，又要通宵統計組織情況了。。能不能在家就注冊合作社，老去縣里好麻煩快遞都不到村，能不能解決能不能幫我種好地村干部怎么又來搜集信息了，上周不是才過來嗎？能不能幫我把菜賣上價錢干部說每人收10元建監控，這個東西我能用嗎如何便民提升收入P70行業痛點-村民應用解決對策多渠道采集+系統整合+監管+云資源多渠道采集通過構建基于大數據技術和移動互聯網技術的多渠道政府工作數據采集通道和微信小程序群眾信息反饋通道系統整合依托三農大數據平臺建設，全面整合涉農信息系統，拓寬數據獲取渠道監管建設基于數據信息的項目管理監督手段，為三農大數據平臺運營實施提供有效保障，助力數字鄉村和鄉村振興戰略云資源基于云端資源，構建到村信息服務體系，實現數據采集、鄉村物流、項目跟蹤、信息服務等一條龍服務P71痛點剖析工作量大+數據雜亂+機制難長效+體系不全數據采集監控手段傳統基層工作人員實地走訪、拍照、信息上報手段落后，紙質材料眾多，數據核對和電子化工作量大數據運營工作缺乏基礎目前，沒有建立到村的數據采集運營團隊或者體系，難以對整體實施工作進行有效的保障數據資源涉及面廣核對整理難度大三農數據資源涉及面廣，數據資源整理核對工作量大長效機制缺乏長效監管機制，工作績效和項目監管缺少手段解決之道手機移動辦公大數據分析決策鄉村振興工作管理P72?

建

設

一

系

列

的

手

機

APP，方便農業部門

領導以及各處室工作

人員通過手機APP隨

時隨地的進行各項工

作，達到了真正的移

動辦公的效果。?

構建諸如村畫像、戶

畫像等各類大數據分

析模型，為各級政府

和農業部門領導提供

決策分析數據支撐，

全面助力鄉村振興戰

略工作。? 掌握鄉村振興任務的

進度情況；? 實現農業農村廳/農業

農村委員會工作中鄉

村振興工作動態跟蹤、

動態監控，精準管理。業務需求解決方案公共服務市場信息、農