1、大數(shù)據(jù)解決方案介紹數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人?Anytime，anywhere，anything， anyone?休息中，隨意刷微博爬山時，記錄每一瞬間旅途中，處理公司事件工作時，實時掌握市場動態(tài)大數(shù)據(jù)時代已經(jīng)來到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)企業(yè)大數(shù)據(jù)勢不可擋Web 3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊用戶數(shù)增長到5.36億，日均活躍用戶數(shù)達(dá)到4980萬，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時代，面

2、臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機(jī)遇和飛躍契機(jī)。大數(shù)據(jù)的特性 V V V V價值Veracity體量Volume多樣性Variety速度Velocity68%31%大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報告，到2020年，全球數(shù)據(jù)使用量預(yù)計暴增44倍，達(dá)到35.2ZB。沙里淘金，海量業(yè)務(wù)中尋找價值。1秒定律，實時獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務(wù)數(shù)據(jù)的映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析大數(shù)據(jù)和云計算的關(guān)系商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算改變了IT,而大數(shù)據(jù)則改變了業(yè)務(wù)

3、云計算是大數(shù)據(jù)的IT基礎(chǔ)，大數(shù)據(jù)須有云計算作為基礎(chǔ)架構(gòu)，才能高效運行通過大數(shù)據(jù)的業(yè)務(wù)需求，為云計算的落地找到了實際應(yīng)用大數(shù)據(jù)市場分析12011年-2016年中國大數(shù)據(jù)市場規(guī)模2各行業(yè)大數(shù)據(jù)市場規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。由于各個行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非常可觀。2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。2012年中國大數(shù)據(jù)市場規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。

4、2012/122012/12大數(shù)據(jù)基礎(chǔ)架構(gòu)要求可預(yù)測的低延遲高事務(wù)參數(shù)靈活的數(shù)據(jù)結(jié)構(gòu)獲取組織分析決策高吞吐量就地準(zhǔn)備所有數(shù)據(jù)源和結(jié)構(gòu)深度分析敏捷開發(fā)高度可伸縮性實時流數(shù)據(jù)運營影響大數(shù)據(jù)的解決方案體系Oracle 解決方案體系 IBM大數(shù)據(jù)解決方案體系SAP大數(shù)據(jù)解決方案體系大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應(yīng)鏈消費者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時 交易處理OLAP實時分析處理SOCIAL MEDIA DATAOTHERINTERACTION DATAMachine/DeviceSensors/meters/RFID tags CDR

5、/mobileSD，MM，PP，SD，F(xiàn)ICO。大數(shù)據(jù)解決方案基礎(chǔ)架構(gòu)門戶澤佳大數(shù)據(jù)平臺快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員辦公軟件移動終端安全，部署，管理靈活體系MESPDM大數(shù)據(jù)解決方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)同（供應(yīng)商+企業(yè)內(nèi)部+客戶+銀行+稅務(wù)+政府+社區(qū)+)外部信息（社交+電商+移動+視音頻+)開放式API和協(xié)議通用的設(shè)計和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫管理數(shù)據(jù)存儲數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理信息管理和實時數(shù)據(jù)遷移聯(lián)合訪問實時大數(shù)據(jù)平臺門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動終

6、端企業(yè)級報告工具Ad hoc 即時查詢例外分析非結(jié)構(gòu)化數(shù)據(jù)探索預(yù)測與挖掘大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲系統(tǒng)Sybase ESP事件流處理器Hdoop MapReduceBig Data ConnectorsYoung hong BI獲取組織分析決策復(fù)雜場景處理實 時決 策ETLEDW大數(shù)據(jù)應(yīng)用主要技術(shù) Hadoop 據(jù)IDC的預(yù)測，全球大數(shù)據(jù)市場2015年 將達(dá)170億美元規(guī)模，市場發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因為有利于并行分布處理 “大數(shù)據(jù)”而備受重視。 Apache Hadoop 是一個用java語言實現(xiàn)的軟件框

7、架，在由大量計算機(jī)組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。 Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成 。 Hadoop體系架構(gòu)MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復(fù)雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。Hive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運行

8、。ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài)。HBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫。HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算大數(shù)據(jù)解決方案特點澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點間通信的瓶頸。高性能高可擴(kuò)展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴(kuò)展性，隨著數(shù)據(jù)節(jié)點的增加，系統(tǒng)整體性能接近線性增加。同時數(shù)據(jù)節(jié)點可以在

9、系統(tǒng)運行中動態(tài)添加，對系統(tǒng)不會造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務(wù)需要，動態(tài)添加數(shù)據(jù)節(jié)點，當(dāng)業(yè)務(wù)量較小時，配置較少的數(shù)據(jù)節(jié)點，隨著業(yè)務(wù)量的逐漸增多，添加相應(yīng)的數(shù)據(jù)節(jié)點，從而滿足自身業(yè)務(wù)量增長的需求。澤佳大數(shù)據(jù)解決方案能自動地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動地重新部署（redeploy）計算任務(wù)。同時消除系統(tǒng)單點故障，系統(tǒng)中任意一個部分出現(xiàn)故障，系統(tǒng)將自動進(jìn)行切換，保證用戶應(yīng)用的無縫連接，具有較高的穩(wěn)定性和可靠性。大數(shù)據(jù)行業(yè)應(yīng)用分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：表示該用戶的IT應(yīng)用特點與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于

10、主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)用戶應(yīng)用特點與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應(yīng)用可能性。值得關(guān)注行業(yè)用戶應(yīng)有特點與大數(shù)據(jù)的契合度及應(yīng)用可能性綜合較高適當(dāng)關(guān)注行業(yè)用戶兩個維度暫時都不具備優(yōu)勢，可適當(dāng)給予關(guān)注互聯(lián)網(wǎng)（電子商務(wù)）契合度流通零售制造互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析網(wǎng)絡(luò)終端設(shè)備網(wǎng)絡(luò)技術(shù)的升級和終端設(shè)備的爆發(fā)，使今天的用戶能夠使用多種設(shè)備、從不同位置、通過多種手段來接入互聯(lián)網(wǎng)，并在這一過程中不斷創(chuàng)造新內(nèi)容在線應(yīng)用和服務(wù)越來越豐富的在線應(yīng)用和服務(wù)，不斷激勵

11、用戶創(chuàng)造和分享信息，尤其是社會化媒體業(yè)務(wù)，帶動圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)飛速增長與各垂直行業(yè)的融合互聯(lián)網(wǎng)作為一個高滲透力的行業(yè)，正在與各垂直行業(yè)發(fā)生深度的融合，原本隱藏于先下的孤島信息，源源不斷的輸入到線上?；ヂ?lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)的關(guān)鍵因素互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的應(yīng)用，會首先帶動社會化媒體、電子商務(wù)的快速發(fā)展，其他的互聯(lián)網(wǎng)分支也會緊追其后，整個行業(yè)在大數(shù)據(jù)的推動下將會蓬勃發(fā)展。互聯(lián)網(wǎng)行業(yè)對數(shù)據(jù)實時分析要求較高，例如廣告監(jiān)測、B2C業(yè)務(wù)，往往要求在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析，從而達(dá)到不影響用戶體驗和快速準(zhǔn)確營銷的目的。目前互聯(lián)網(wǎng)企業(yè)面對大數(shù)據(jù)，會普遍感覺到實時分析能力差、海量數(shù)據(jù)處理效率低、缺少分析方法、

12、分析軟件能力差等問題。互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面臨的主要問題互聯(lián)網(wǎng)行業(yè)Hadoop應(yīng)用公司具體應(yīng)用HADOOP在阿里巴巴用于處理商業(yè)數(shù)據(jù)的排序，并將其應(yīng)用于阿里巴巴的ISEARCH搜索引擎，垂直商業(yè)搜索引擎。節(jié)點數(shù)： 15臺機(jī)器的構(gòu)成的服務(wù)器集群服務(wù)器配置： 8核CPU，16G內(nèi)存，1.4T硬盤容量HADOOP在百度HADOOP主要應(yīng)用日志分析，同時使用它做一些網(wǎng)頁數(shù)據(jù)庫的數(shù)據(jù)挖掘工作。節(jié)點數(shù)：10 - 500個節(jié)點。周數(shù)據(jù)量： 3000TBHADOOP在Facebook主要用于存儲內(nèi)部日志的拷貝，作為一個源用于處理數(shù)據(jù)挖掘和日志統(tǒng)計。主要使用了2個集群：一個由1100臺節(jié)點組成的集群，包括880

13、0核CPU（即每臺機(jī)器8核）,和12000TB的原始存儲(即每臺機(jī)器12T硬盤),一個有300臺節(jié)點組成的集群，包括2400核CPU（即每臺機(jī)器8核），和3000TB的原始存儲(即每臺機(jī)器12T硬盤),由此基礎(chǔ)上開發(fā)了基于SQL語法的項目：HIVEHADOOP在TWITTER使用HADOOP用于存儲微博數(shù)據(jù)，日志文件和許多中間數(shù)據(jù)使用基于HADOOP構(gòu)件的Clouderas CDH2系統(tǒng)，存儲壓縮后的數(shù)據(jù)文件（LZO格式）HADOOP在雅虎主要用于支持廣告系統(tǒng)及網(wǎng)頁搜索機(jī)器數(shù)：25000，CPU：8核集群機(jī)器數(shù)： 4000個節(jié)點 (2*4cpu boxes w 4*1TB disk & 16G

14、B RAM) 金融行業(yè)大數(shù)據(jù)需求分析金融行業(yè)大數(shù)據(jù)發(fā)展分析 IDC研究顯示，數(shù)據(jù)是重要資產(chǎn)的理念已經(jīng)在中國金融行業(yè)形成共識，數(shù)據(jù)的真正價值在于能夠洞察企業(yè)內(nèi)部規(guī)律，數(shù)據(jù)的洞察力成為金融企業(yè)的核心競爭力。在中國金融行業(yè)信息化建設(shè)中，與信息加工密切相關(guān)的大數(shù)據(jù)管理正逐漸成為與核心業(yè)務(wù)系統(tǒng)建設(shè)、渠道建設(shè)和前置建設(shè)同等重要的領(lǐng)域。經(jīng)過多年的發(fā)展與積累，目前中國的大型商業(yè)銀行和保險公司的數(shù)據(jù)量已經(jīng)達(dá)到100TB以上級別，并且非結(jié)構(gòu)化數(shù)據(jù)量在迅速增長。金融行業(yè)大數(shù)據(jù)需求背景 從未來幾年看，金融行業(yè)在“十二五”時期面臨發(fā)展方式轉(zhuǎn)型的挑戰(zhàn)，轉(zhuǎn)型主要集中在三大方面：一，建立全面的風(fēng)險管理體制，向嚴(yán)監(jiān)管轉(zhuǎn)型；二，

15、從粗放式管理向精細(xì)化管理轉(zhuǎn)型；三，從“利潤為中心” 向“客戶為中心”轉(zhuǎn)型。 大數(shù)據(jù)在加強(qiáng)風(fēng)險管控、精細(xì)化管理、服務(wù)創(chuàng)新等轉(zhuǎn)型中別具現(xiàn)實意義，是實現(xiàn)向信息化銀行轉(zhuǎn)型的重要推動力。金融行業(yè)應(yīng)首先在戰(zhàn)略層面對大數(shù)據(jù)進(jìn)行規(guī)劃，積極應(yīng)對大數(shù)據(jù)時代的挑戰(zhàn)，推進(jìn)并建立數(shù)據(jù)驅(qū)動型發(fā)展方式。摩根大通基于Hadoop的大數(shù)據(jù)應(yīng)用已經(jīng)開始使用Hadoop技術(shù)以滿足日益增多的用途，包括詐騙檢驗、IT風(fēng)險管理和自助服務(wù)。150PB在線存儲數(shù)據(jù)、30,000個數(shù)據(jù)庫和35億個用戶登錄賬號。Hadoop能夠存儲大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲Web日志、交易數(shù)據(jù)和社交媒體數(shù)據(jù)。數(shù)據(jù)被匯集至一個通用平臺，以方便以客戶為中

16、心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。中信銀行信用卡中心基于Hadoop的大數(shù)據(jù)應(yīng)用大數(shù)據(jù)挑戰(zhàn)發(fā)卡量增長迅速：2008年發(fā)卡約500萬張，2010年增加了一倍。業(yè)務(wù)數(shù)據(jù)增長迅速：隨著業(yè)務(wù)的迅猛增長，業(yè)務(wù)數(shù)據(jù)規(guī)模也線性膨脹。數(shù)據(jù)存儲、系統(tǒng)維護(hù)、數(shù)據(jù)有效利用都面臨巨大壓力。需求可擴(kuò)展、高性能的數(shù)據(jù)倉庫解決方案能夠?qū)崿F(xiàn)業(yè)務(wù)數(shù)據(jù)的集中和整合；可以支持多樣化和復(fù)雜化數(shù)據(jù)分析提升信用卡中心的業(yè)務(wù)效率；通過從數(shù)據(jù)倉庫提取數(shù)據(jù)，改進(jìn)和推動有針對性的營銷活動。采用大數(shù)據(jù)方案后價值體現(xiàn)實時的商業(yè)智能可以結(jié)合實時、歷史數(shù)據(jù)進(jìn)行全局分析,風(fēng)險管理部門現(xiàn)在可以每天評估客戶的行為，并決定對客戶的信用額度在同一天進(jìn)行調(diào)整；原有

17、內(nèi)部系統(tǒng)、模型整體性能顯著提高秒級營銷Greenplum數(shù)據(jù)倉庫解決方案提供了統(tǒng)一的客戶視圖，更有針對的進(jìn)行營銷。2011年，中信銀行信用卡中心通過其數(shù)據(jù)庫營銷平臺進(jìn)行了1286個宣傳活動，每個營銷活動配置平均時間從2周縮短到2-3天。EMC Green-plum未來和基于Hadoop的Pivotal HD相融合電信行業(yè)大數(shù)據(jù)需求分析 隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展，運營商的網(wǎng)絡(luò)將會更加繁忙，用于監(jiān)測網(wǎng)絡(luò)狀態(tài)的信令數(shù)據(jù)也會快速增長。通過大數(shù)據(jù)的海量分布式存儲技術(shù)，可以更好地滿足存儲需求；通過智能分析技術(shù)，能夠提高網(wǎng)絡(luò)維護(hù)的實時性，預(yù)測網(wǎng)絡(luò)流量峰值，預(yù)警異常流量，有效防止網(wǎng)絡(luò)堵塞和宕機(jī)，為網(wǎng)絡(luò)改造

18、、優(yōu)化提供參考，從而提高網(wǎng)絡(luò)服務(wù)質(zhì)量，提升用戶體驗。提升網(wǎng)絡(luò)服務(wù)質(zhì)量，增強(qiáng)管道智能化 客戶洞察是指在企業(yè)或部門層面對客戶數(shù)據(jù)的全面掌握并在市場營銷、客戶聯(lián)系等環(huán)節(jié)的有效應(yīng)用。通過使用大數(shù)據(jù)分析、數(shù)據(jù)挖掘等工具和方法，電信運營商能夠整合來自市場部門、銷售部門、服務(wù)部門的數(shù)據(jù)，從各種不同的角度全面了解自己的客戶，對客戶形象進(jìn)行精準(zhǔn)刻畫，以尋找目標(biāo)客戶，制定有針對性的營銷計劃、產(chǎn)品組合或商業(yè)決策，提升客戶價值。判斷客戶對企業(yè)產(chǎn)品、服務(wù)的感知，有針對性地進(jìn)行改進(jìn)和完善。通過情感分析、語義分析等技術(shù)，可以針對客戶的喜好、情緒，進(jìn)行個性化的業(yè)務(wù)推薦更加精準(zhǔn)地洞察客戶需求，增強(qiáng)市場競爭力 智慧城市的發(fā)展以及

19、教育、醫(yī)療、交通、環(huán)境保護(hù)等關(guān)系到國計民生的行業(yè)，都具有極大的信息化需求。目前，電信運營商針對智慧城市及行業(yè)信息化服務(wù)雖然能夠提供一攬子解決方案，但主要還是提供終端和通信管道，行業(yè)應(yīng)用軟件和系統(tǒng)集成尚需要整合外部的應(yīng)用軟件提供商，對于客戶的價值主要體現(xiàn)在網(wǎng)絡(luò)化、自動化等較低水平。而隨著社會、經(jīng)濟(jì)的發(fā)展，客戶及客戶的客戶對于智能化的要求將逐步強(qiáng)烈，因此運營商如能把大數(shù)據(jù)技術(shù)整合到行業(yè)信息化方案中，幫助客戶通過數(shù)據(jù)采集、存儲和分析更好地進(jìn)行決策，將能極大提升信息化服務(wù)的價值升級行業(yè)信息化解決方案，提升客戶價值 大數(shù)據(jù)也有大風(fēng)險，其中之一就是客戶隱私泄露及數(shù)據(jù)安全風(fēng)險。由于大量的數(shù)據(jù)產(chǎn)生、存儲和分析

20、，數(shù)據(jù)保密和隱私問題將在未來幾年內(nèi)成為一個更大的問題，企業(yè)必須提供數(shù)據(jù)安全服務(wù)，在大數(shù)據(jù)市場建立差異化競爭優(yōu)勢中國移動基于Hadoop的大數(shù)據(jù)應(yīng)用 在中國移動“大云”產(chǎn)品總體架構(gòu)中，分析型PaaS產(chǎn)品底層基于Hadoop數(shù)據(jù)存儲和分析平臺，在技術(shù)路線方面，選擇數(shù)據(jù)倉庫與Hadoop混搭的方式，借鑒關(guān)系型數(shù)據(jù)倉庫在傳統(tǒng)應(yīng)用支持方面以及在復(fù)雜查詢和分析方面的快速響應(yīng)能力，同時也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力以及存儲的低成本。屏蔽Hadoop與數(shù)據(jù)倉庫的使用細(xì)節(jié)，讓用戶在使用這些數(shù)據(jù)時盡量無感知；在數(shù)據(jù)的ETL采集預(yù)處理環(huán)節(jié)，盡量采用Hadoop與分布式ETL的方式，提高數(shù)據(jù)轉(zhuǎn)換效率，同時

21、降低成本。中國聯(lián)通基于Hadoop的大數(shù)據(jù)應(yīng)用 中國聯(lián)通已經(jīng)構(gòu)建了一個全國集中的一級架構(gòu)海量數(shù)據(jù)存儲和查詢系統(tǒng)：通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)，在集團(tuán)公司進(jìn)行統(tǒng)一部署，各個省分僅僅是做數(shù)據(jù)的采集，按照業(yè)務(wù)實時性將數(shù)據(jù)傳送到集團(tuán)公司，由集團(tuán)公司統(tǒng)一處理，全國所有用戶所有上網(wǎng)記錄數(shù)據(jù)都放北京數(shù)據(jù)中心里，在國內(nèi)電信行業(yè)當(dāng)中也是首創(chuàng)的方式。 中國聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)。截止到目前已經(jīng)部署了4.5PB的存儲空間。其中，4.5PB的存儲分布在300個數(shù)據(jù)節(jié)點上，即每個節(jié)點配備15TB的存儲空間。系統(tǒng)每天有能力處理700億條上網(wǎng)記錄。政府行

22、業(yè)大數(shù)據(jù)需求分析1、加強(qiáng)統(tǒng)籌規(guī)劃，優(yōu)化大數(shù)據(jù)形成機(jī)制。強(qiáng)化對大數(shù)據(jù)建設(shè)工作的組織協(xié)調(diào)，打破地區(qū)和部門數(shù)據(jù)壁壘，實現(xiàn)數(shù)據(jù)資源聯(lián)合共建、廣泛共享。建立政府和社會聯(lián)動的大數(shù)據(jù)形成機(jī)制，以政府?dāng)?shù)據(jù)公開共享，推動公共數(shù)據(jù)資源的開發(fā)利用。2、加強(qiáng)數(shù)據(jù)收集和信息感知，提高智慧城市感知水平。加強(qiáng)政府部門在管理和服務(wù)過程中對數(shù)據(jù)的主動采集，建立政府大數(shù)據(jù)庫。鼓勵制造業(yè)企業(yè)和商業(yè)機(jī)構(gòu)加強(qiáng)對生產(chǎn)經(jīng)營活動中的數(shù)據(jù)采集，形成覆蓋生產(chǎn)過程和商業(yè)各環(huán)節(jié)各流程的數(shù)據(jù)庫。推進(jìn)無線識別技術(shù)、傳感器、無線網(wǎng)絡(luò)、傳感網(wǎng)絡(luò)等新技術(shù)的廣泛應(yīng)用，提高數(shù)據(jù)采集的智能化水平。3、推進(jìn)大數(shù)據(jù)應(yīng)用，提高經(jīng)濟(jì)社會智慧化水平。推進(jìn)政務(wù)信息公開。推行政

23、府網(wǎng)上辦事，收集分析挖掘社會政務(wù)服務(wù)需求，推進(jìn)公共服務(wù)個性化和政府決策智能化。支持公共服務(wù)機(jī)構(gòu)和商業(yè)機(jī)構(gòu)開放與社會民生密切相關(guān)的公共數(shù)據(jù)。推進(jìn)國民經(jīng)濟(jì)各行業(yè)和企業(yè)數(shù)據(jù)開發(fā)，發(fā)展商業(yè)智能。鼓勵開展服務(wù)大眾的大數(shù)據(jù)應(yīng)用，提升智慧生活品質(zhì)。政府行業(yè)大數(shù)據(jù)應(yīng)用智慧城市 2013年1月29日，住房和城鄉(xiāng)建設(shè)部公布了首批個國家智慧城市試點名單，試點城市的公布標(biāo)志著我國智慧城市發(fā)展進(jìn)入規(guī)模推廣的階段。在目前智慧城市的發(fā)展階段，主要的應(yīng)用還處于對感知設(shè)備傳遞的信息進(jìn)行簡單處理的水平，充分認(rèn)識大數(shù)據(jù)對于智慧城市建設(shè)的關(guān)鍵作用，對于避免智慧城市建設(shè)中出現(xiàn)“重感知，輕智慧”的通病具有重要意義。 從智慧城市的體系結(jié)構(gòu)

24、來看，由于智慧城市的基礎(chǔ)在于物聯(lián)網(wǎng)技術(shù)，因此智慧城市體系架構(gòu)和物聯(lián)網(wǎng)的體系結(jié)構(gòu)相類似，也可分為四層，分別為感知層、傳輸層、平臺層、應(yīng)用層。智慧城市相對于之前數(shù)字城市概念，最大的區(qū)別在于對感知層獲取的信息進(jìn)行了智慧的處理，因此也可以認(rèn)為智慧城市是數(shù)字城市的升級版。由城市數(shù)字化到城市智慧化，關(guān)鍵是要實現(xiàn)對數(shù)字信息的智慧處理，其核心是大數(shù)據(jù)處理技術(shù)。智慧城市醫(yī)療行業(yè)大數(shù)據(jù)需求分析醫(yī)療行業(yè)產(chǎn)生的數(shù)據(jù)量主要來自于PACS影像、B超、病理分析等業(yè)務(wù)所產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)。人體不同部位、不同?？朴跋竦臄?shù)據(jù)文件大小不一，PACS網(wǎng)絡(luò)存儲和傳輸要采取不同策略。面對大數(shù)據(jù)，醫(yī)療行業(yè)遇到前所未有的挑戰(zhàn)和機(jī)遇。醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用場景非常多，右圖僅以臨床操作和研發(fā)為例，展示醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用場景。對于公共衛(wèi)生部門，可以通過過覆蓋全國的患者電子病歷數(shù)據(jù)庫，快速檢測傳染病，進(jìn)行全面的疫情監(jiān)測，并通過集成疾病監(jiān)測和響應(yīng)程序，快速進(jìn)行響應(yīng)。比較效果研究臨床操作臨床決策支持系統(tǒng)醫(yī)