集中化經分外部數據獲取研究項目

軟課題技術方案目錄

數據獲取研究項目背景和理解1

軟課題項目工作內容2亞信相關研究成果介紹3項目投入資源與成果4集中化經分外部數據獲取研究項目背景雖然內部數據積累了眾多數據，但是必須結合外部數據才能更好的對內部數據進行深

入的洞察，才能真正發揮數據的價值！B域數據O域數據其他數據（外省）其他行業數據大數據分析指導活動黃頁信息網頁信息終端信息如：用戶的去超市購物的行為與天氣的關系，機場航班的延誤及機場的人流與航班時間點的關系，用戶的手機到底是閱讀什么類型的書籍，這些類型的數據在我們的上網日志和位置信令是無法分析得到的，而豐富的互聯網的各類信息可以通過爬蟲獲取或者外部獲取數據，并用來指導我們的大數據分析生產活動。中國移動啟動外部數據獲取的試點工作外部數據類別外部數據內容試點省份手機信息獲取（終端品牌、型號、價格、商品頁面更新時間、銷量）天貓手機商品信息廣東京東手機商品信息重慶華為等手機廠商自有網站商城的手機商品信息陜西蘇寧易購手機商品信息福建國美在線手機商品信息河南一經終端信息庫補充終端品牌、型號、TAC、操作系統山西、黑龍江福建、河南黃頁信息獲取全網12580黃頁數據信息江蘇航班信息獲取航班號，起飛時間，到達時間、出發機場、到達機場河北內容類商品信息獲取閱讀類商品信息重慶、陜西動漫類商品信息福建、陜西第5頁

結合中國移動經分系統的發展規劃，和收集到的外部數據獲取及管理的需求，對外部數據獲取進行調研，選擇合適的產品和方案進行對比分析，選擇合適于中國移動的架構。在此基礎上，對外部數據產品進行明確內容，并且與外部數據管理形成兩級級聯的數據對內對外共享平臺，可以構建基礎的數據鏈接工具，作為數據連接的基礎設施和中介管理機構，使得彼此的數據互動變得容易。外部數據獲取及管理集中化經分江蘇分公司黃頁信息數據接口京東手機信息天貓手機信息手機信息獲取終端信息庫山西分公司…….……..全網外部數據共享服務及管理華為手機信息黑龍江分公司……手機信息省份分公司專業公司江蘇分公司山西分公司……分公司本次項目的價值和理解目錄數據獲取研究項目背景和理解1軟課題項目工作內容2亞信相關研究成果介紹3項目投入資源與成果4調研確定中國移動經分系統對外部數據獲取及管理的需求調研外部數據獲取及管理的案例調研調研互聯網公司和其它電信運營商的外部數據獲取及管理產品和架構基于兩級級聯的外部數據獲取及管理技術方案提供外部數據獲取及管理工具原型進行驗證提供獲取外部數據形成標準數據產品標準本次軟課題整體內容的理解項目研究方案：本次軟課題項目建設思路項目啟動：確定業務目標與技術目標，工作范圍網羅知識：（1）國內外廠商調研。

（2）省公司、專業公司書面調研。

（3）總部及省公司、專業公司現場調研。需求梳理：將通過與領域專家的交流，獲取了在其他解決方案中成功解決的需求。整合進入本課題的研究需求文檔。需求做原型：網羅知識中發現的新需求，將通過為需求做原型的方式，檢查與軟課題研究目標的一致性并發現其中的潛在需求。需求整合：根據網羅知識的結果，軟課題研究小組將通過集中討論，確定了需要進行研究的需求文檔。形成最終研究報告的第一版大綱。質量審核：在小組每一次集中過程中，將通過小組討論確保了軟課題報告的質量。分析設計建模：根據已明確的研究方向，軟課題進入實質分析、設計、建模階段。在此階段中，將提出流處理應用技術建議書軟課題研究反饋：提交本次軟課題相關輸出成果。

調研互聯網公司產品和架構從數據管理集中度和數據來源兩個角度，對市場現有數據共享和交換平臺進行分析。數據來源第三方混合自有數據管理集中度分散混合集中京東萬象Quandl數據聯盟P2P方式的數據管理數據需要采集到集中的IT平臺上管理DatamarketQlik晶贊UMADataHub.ioapigeefactual數據堂中關村數海AzureMarketplacexignitepremisegitHub百分點九次方新科蘭德聚合數據上海晶贊科技發展有限公司（簡稱晶贊科技），成立于2011年，是互聯網專業數據服務供應商（ProfessionalDataServiceProvider,PDSP）UMA是一個基于創新技術的聯合營銷平臺，是中國互聯網業具有品牌影響力的優質受眾營銷聯盟。截止2013年，UMA已覆蓋中國80%的互聯網用戶，月活躍用戶數達7億。晶贊科技為該聯盟搭建的UMA大數據平臺是一個集標簽、歸類、機器學習于一體的自動化平臺。這平臺只提供數據共享。Quandl成立于2012年,是加拿大科技公司，公司集成了上百家企業數據。通過統一配置及管理，方便數據用戶得到他們想要的數據格式。Quandl提供開放數據和企業數據的數據平臺型網站。數據使用者可以在網站上搜索，查看數據，并通過api等數據使用者期望的方式調用數據（開放數據集可直接下載），開放數據以免費形式開放，企業數據通過企業定價交易的形式開放。Quandl提供超過1500萬的金融和經濟數據來自500多個出版商和供應商。Apigee是API管理平臺，幫助企業進行API的推薦和監控，Apigee還提供更專業的管理服務，如BaaS（后端即服務），以幫助客戶搭建應用及軟件來進行分析并預測。該公司有三款產品，旗艦產品ApigeeEdge用于API管理，ApigeeInsights用于預測性分析，ApigeeLink為設備制造商的物聯網方案創建API連接Apigee的API管理平臺是支持多供應商SDN的一個獨立軟件，通過實時的API轉換，它可以把網絡管理系統與來自多個供應商的SDN控制器進行整合。新科蘭德科技（ThinkLandTechnology）創立于2010年3月，總部注冊于蘇州工業園區，是一家專業從事互聯網數據服務，智能手機軟件開發的創新型企業。聚合數據平臺主要為APP開發者、軟件公司、網站站長、電商等提供原始數據及API接口服務，服務包括數據挖掘，數據優化，數據存儲，數據備份。平臺數據類型覆蓋LBS、金融、電商、教育、公共交通、日常生活等多個大類。目前聚合數據平臺已成為國內最大的基礎數據API服務平臺，數據總量及日使用量均為國內領先。

調研互聯網公司產品和架構互聯網公司產品和架構總結各廠家因自身業務特點，從平臺架構、數據源獲取、數據服務及應用等各有不同。結合實際情況，通過對apigee、Quandl、晶贊UMA、聚合數據的對比分析，可以借鑒的方面如下表所示。平臺技術特點數據服務應用數據交易支撐數據獲取方式晶贊UMA數據提供方快速實現數據開放變現數據需求方通過接口調用快速實時查詢及更新數據數據定價、議價、數據審核能力垂直搜索能力、大數據可視化多源異構數據融合數據脫敏處理、屏蔽處理、安全測試分散數據，P2P方式取信統一提供認證、計費等能力JS布碼獲取和監測Quandl提供多種SDK方便使用開放數據集可直接下載開放數據以免費形式開放提供數據檢索、數據下載服務提供超過1500萬的金融和經濟數據來自500多個出版商和供應商企業數據通過企業定價交易的形式開放用戶授權數據實時獲取給合作伙伴服務換取數據搜索引擎爬取Apigee針對小企業推出免費自助API的平臺平臺上每月的API請求數超過100億次根據流量和存儲能力不同定價API管理平臺提供API的一站式管理、分析平臺新手任務虛擬幣，移動可采用支持多供應商SDN聚合數據移動設備開發人員及圖商提供原始數據API服務提供各類基于位置查詢與調用服務提供定制化的服務，按照客戶提出的接口要求，定制所需要的不同種類的接口，按月進行收費合作伙伴數據網絡搜索數據專門團隊采集與校驗提供30+大類，100+種基礎數據API服務類似于GoogleAPIS的數據聚合中國移動經分系統對外部數據獲取及管理的理解全網數據A省：終端信息數據共享平臺各現有數據分析系統B省：互聯網信息C省：POI信息。。。。。。眾包一點收集全網共享眾包模式：應有大量人工操作，放在一點實行成本較大，故采用眾包的方式；總部將根據各省在建設全網協同數據所作出的貢獻上進行激勵機制。中國移動集團集中化數據收集現狀分析數據通道經分……數據源A省集中化經分Hadoop云主數據倉庫深度分析云經分……B省經分……C省業務系統……專業公司上傳下達上傳下達上傳下達上傳下達集中化經分現階段實現對B域、M域、O域數據的省份公司數據采集，現階段主要通過兩級數據通道實現全省公司以及專業公司的數據上傳下達，實現的通過單點實現全網數據星型數據架構。外部數據獲取與共享，需要對省份公司及專業公司之間，直接的數據流通，現階段還未實現。……通過外部數據獲取和管理共享使得集中化數據獲取的形式的改變數據通道經分……數據源A省集中化經分Hadoop云主數據倉庫深度分析云經分……B省經分……C省業務系統……專業公司上傳下達上傳下達上傳下達上傳下達……對外獲取數據共享服務平臺利用對外獲取數據共享服務平臺，可以實現數據網狀傳輸，打通省公司之間的數據通道，可以實現通過總部共享服務平臺實現數據之間透傳，總部共享服務平臺對整個傳輸過程進行消息控制管理，數據直接由提供方到需求方，通過總部共享服務平臺實現對數據注冊、管理、發布等工作。中國移動經分系統對外部數據獲取及管理兩級架構數據源終端大數據：運營終端信息互聯網大數據：互聯網第三方信息社會大數據：企業黃頁、企業服務短信等行業大數據：虛擬運營商信息等外部大數據：外部數據等某省公司某專業公司某省公司某省公司信息收集與標準化整理集中化經分對外獲取數據共享服務平臺數據描述及標準規范數據標準化訪問終端信息共享信息互聯網信息黃頁信息虛擬運營商某省公司某專業公司某省公司某省公司信息獲取和應用通過集中化經分構建數據共享平臺，將數據運營的任務分散到有實力的省公司，由省份公司收集和整理數據，通過集中化經分平臺實現數據的處理和共享，實現全網數據市場交換。中國移動經分系統對外部數據獲取及管理實現技術架構對外數據獲取數據共享服務集中化經分數據服務器數據共享客戶端數據共享客戶端數據提供方數據使用方消息控制流RestAPISub訂閱Pull獲取并存儲本地數據存儲（需要預定義）Pub發布，可為自提供的API，亦了為托管區的API。可發布不同版本Push將數據從預定義的本地存儲推送到托管服務器（包括加密、序列化等工作）直接數據產品提供Pub托管式數據發布Push托管式數據推送用戶/認證/授權/賬單/支付/社交對外數據獲取數據共享服務技術功能描述外部數據獲取管理共享能力：通過RestAPI接口和WEB界面提供用戶帳戶管理、認證、授權、PUB/SUB、PUSH/PULL、數據資源管理、數據資源搜索、結算、支付、社交等服務提供兩種類型的數據連接：批量數據集DataSet（通過文件實現）和數據流DataFlow（通過Kafka實現）可以有兩種方式發布：公有數據集（所有用戶皆可使用，無需授權，可以自行設置收費還是免費），私有數據集（只能由自己或主動授權的用戶/APP使用）工具鏈：消費者端：數據訂購以后，若數據有更新，會主動調用回調函數（WEBHOOK）通知數據消費者端的（流模式下的SDK，或者文件模式下的最終消費者）提供者端：SDK可以定期查詢數據API的版本情況，或者提供回調函數，供數據提供方側提醒數據有更新，從而發起自動的數據發布原型系統功能點和實現形式設計外部數據產品標準化APP內容識別閱讀：圖書id影視：視頻id音樂：音樂id……用戶上網日志資源庫閱讀類資源表應用Book_id圖書資源信息i悅讀0102983圖書名稱、作者……………………商戶類資源表應用item_id商戶資源信息大眾點評0102983商戶名稱、地址…………………………識別：視頻名稱、頻道識別：圖書書名，作者識別：音樂名稱、演唱者、所屬專輯影視閱讀音樂上網內容資源識別得到資源ID后，在資源庫中查詢智能爬蟲沉淀資源ID與資源信息的對應關系可識別：商戶名稱、電話、地址、人均消費商戶提供外部數據標準化數據接口目錄數據獲取研究項目背景和理解1軟課題項目工作內容2亞信相關研究成果介紹3項目投入資源與成果4外部數據獲取相關建設應用案例

亞信在這些項目中進行外部數據獲取和管理運用到多個中國移動、中國聯通、中國電信流量運營分析、經營分析系統、大數據系統等相關系統，積累了豐富的大數據類平臺的建設經驗，具有豐富的系統建設、支撐、業務運營的實施經驗。訪問URL采集與解析終端資源采集與解析應用資源采集與解析終端信息整合一經終端信息庫和GSM協會終端信息資料應用信息整合用戶使用應用的數據統計內容信息整合用戶上網訪問內容分類信息可為省內終端運維、新終端識別和定制終端定價策略提供支撐可為應用識別運維、自有應用推廣策略等提供數據支撐互聯網內容熱點關聯用戶瀏覽內容統計后，有效對熱點內容進行捕捉，對用戶上網瀏覽內容進行預測移動某省公司外部數據獲取及管理定期采集內容型業務內容及互聯網業務內容，建立統一的內容信息管理庫，支撐統一的用戶運營及內容運營。采集內容類型：閱讀、視頻、音樂、游戲五類。采集范圍：自有內容、互聯網內容全采集精聚合強運營1.2.3.自有內容互聯網內容通過基地平臺接入，內容周期性更新從互聯網中抓取內容，包括熱點視頻、歌曲等信息，進行數據共享。熱門內容信息展示內容地址信息展示統一內容分類標簽關鍵詞查詢各業務內容準確把握最佳營銷時機實現觸發式、任務式、調用式運營活動的時機管理，準確把握營銷活動發起時機精確洞察客戶內容需求多層次、多角度集中分析客戶行為，從客戶的對全內容的使用行為特征綜合把握客戶偏好，挖掘客戶需求，用于支撐用戶級內容運營選擇最佳營銷渠道選擇客戶偏好的渠道作為營銷活動的執行渠道進行自有渠道和互聯網渠道相結合，并統一協同內容聚合管理內容信息庫內容審核內容整合內容收集內容維護內容分群移動某省公司外部網頁數據獲取及應用管理亞信構建多省大數據交易市場，有著豐富的外部數據源，實現全面數據共享目錄數據獲取研究項目背景和理解1軟課題項目工作內容2亞信相關研究成果介紹3項目投入資源與成果4項目研究方案：項目計劃安排編號任務項歷時（天）時間段1外部數據獲取現狀調研582015年10月至11月1.1項目啟動會及技術交流31.2制定需求調研表51.3總部支撐系統客戶訪談51.4省公司支撐系統客戶訪談151.5需求調研反饋結果及訪談記錄分析201.6制作現狀調研分析報告102案例研究和資料收集202015年10月2.1國內外案例研究以及收集72.2

調研互聯網公司產品和架構102.3案例分析報告33完成兩級級聯的外部數據獲取及管理技術方案302015年11月3.1

收集到外部數據獲取及管理的需求53.2

產品和方案進行對比分析53.3

制定外部數據獲取標準方案103.4制定兩級外部數據獲取及管理技術方案104完成外部數據獲取及管理工具原型進行驗證602015年12月至2016年1月4.1

提供并完成原型系統工具304.2

原型系統功能、性能、壓力測試204.3

原型系統驗證報告105完成共享獲取外部數據形成標準數據產品標準352016年1月至2月5.1

制定外部數據標準205.2

制定外部數據權限105.3

完成外部數據共享56項目總結及評審252015年3月至4月項目研究方案：項目人員安排(1)姓名宋亮性別男大數據、BI工作年限11年學歷本科畢業學校東北大學聯系方作經歷201309-至今

：負責中國移動集團集中化經分系統規劃、設計和項目管理工作；201301-201309：負責中國移動南方基地經分系統規劃、設計和項目建設管理工作；2011年-2013年：負責中國移動集團浙江、山東、青海、重慶省份經營系統規劃、設計和項目建設管理工作；2008年-2011年：負責中國聯通集團公司集中化經分系統設計、規劃和項目建設管理工作；項目總負責人：現場項目經理：姓名葉鵬性別男大數據、BI工作年限9年學歷本科畢業學校新疆大學聯系方作經歷2008-2015年5月：負責新疆移動經營分析系統規劃，參與集團經營分析系統規范編制工作；2015年5月-至今：負責亞信數據大數據PAAS平臺技術架構、設計工作。項目研究方案：項目人員安排(2)姓名龔靜性別女大數據、BI工作年限7年學歷研究生畢業學校吉林大學聯系方作經歷2015年8月-至今

亞信DataHub產品總監，負責DataHub產品設計、產品運營。2010年3月-2015年7月

中國移動通信集團南方基地南方基地（西藏）經營分析系統三期擴容改造工程項目建設負責人，負責系統規劃、功能設計、建設。南方基地經分云應用項目

項目建設負責人，負責系統規劃、功能設計、建設。南方基地西藏經營分析系統二期擴容改造工程項目建設負責人，負責系統規劃、功能設計、建設。2009年7月-2010年3月

廣東移動業務支撐中心業務支撐中心系統運營，負責廣東移動電子渠道（網廳、短廳、自助終端）系統運營管理。

姓名閻妍嬌性別女大數據、BI工作年限7年學歷碩士畢業學校北京航空航天大學聯系方作經歷

201408-至今：負責大數據運營商（中國電信、中國聯通）及外圍行業（生命健康、餐飲連鎖）BI產品規劃、經分云化、大數據平臺及應用建設所需的IT咨詢、方案規劃及落地后需求分析工作，主要省分有電信總部、廣東電信、遼寧電信、河南電信、天津電信、湖南電信、北京聯通、山東聯通、吉林聯通、博奧生物、海底撈等2012年-2014年：負責中國聯通U-CLOUD（全國一級云平臺）從企業咨詢管理層面開展頂層設計與核心需求工作；2006年-2012年：負責中國