網絡新技術之大數據5.大數據技技術5.1大數據的的定義5.2大數據的的技術特特征5.3大數據的的典型應應用5.4大數據的的發(fā)展趨趨勢一組數據據3億用戶,每天上億億條微博博.2015年全球移移動終端端產生的的數據量量6300PBFacebook每天要存存儲大約約100TB的用戶數數據；NASA美國宇航航局每天要處處理約24TB的數據微信國內內用戶4億，國外外用戶突突破7千萬，每每天產生生數據百度每天天處理數數據量100PBGBTBPBEBZB大數據時代代的爆炸炸增長想駕馭這這龐大的的數據，，我們必必須了解解大數據據的特征征。地球上至至今總共共的數據據量：在2006年，個人人用戶才才剛剛邁邁進TB時代，全球一一共新產產生了約約180EB的數據；在2011年，這個個數字達達到了1.8ZB。而有市場場研究機構預測測：到2020年，整個個世界的的數據總總量將會會增長44倍，達到到35.2ZB（1ZB==10億TB）！1PB（拍字節(jié)節(jié)）=2^50字節(jié)1EB（艾字節(jié)節(jié)）=2^60字節(jié)1ZB（澤字節(jié)節(jié)）=2^^70字節(jié)大數據概概念和特特征什么是大大數據(Bigdata))？維基百科的的定義：大數據指難難以用常常用的軟軟件工具具在可容忍時時間內抓取、、管理以以及處理理的數據據集(一般單個個數據集集大小在在10T左右)。大數據之所所以在最近走紅紅，主要歸歸結于互互聯(lián)網、、移動設設備、物物聯(lián)網和和云計計算算等快速崛崛起，全全球數據據量大大大提升。“大數據據”是繼云計計算、物物聯(lián)網之之后IT產業(yè)又一一次顛覆覆性的技技術變革革2006年左右，，數據量量已足夠夠大，但但是當時時大數據據不紅，，why？為什么叫叫大數據：一一是數量量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍絕大部分分應用在在這兩個個數量級級二是類型型多結構特征征：結構構化、半半結構化化、非結結構化擁有特征征：私有、、共有、、公開形態(tài)特征征：語音音、文本本、數值值、圖像像、視頻頻為什么叫叫大數據據：二是是類型多多三是更接接近把握信息息資源的的本質大數據真真正開始始把信息息變成資資源有的文章將將大數據據看作石石油，大大數據研研究與自自然資源源利用發(fā)發(fā)現、開開采、提提煉存在在一定的的相似之處處研究大數據，，首先要要研究各各種有用用的信息息在何處處，就是是找礦其次是把滿足足特定需需求的信信息收集集過來，，就是開礦第三是把收集集的信息息按應用用需求進進行結構構化處理理，就是是提煉，，如同石石油必須須經過煉煉化才能能變成消消費用的的汽油、、柴油或或作為原原料用的的聚乙烯烯、聚丙烯第四是將這樣樣的信息息與具體體的應用結合，使使之發(fā)揮揮作用，，這就是是基于大大數據的的應用系系統(tǒng)，或或稱之為為圍繞應應用的大大數據管管理系統(tǒng)統(tǒng)，如同同汽油通通過加油油站加到到消費者者的汽車車內，石石化原料料變成衣衣服、設設備或其其部件。大數據的的各部分分組成大數據技技術：圖圖像、音音頻、視視頻、非非結構化化、社交交關系數數據處理理技術商商；現有IT系統(tǒng)改造造商：大大數據咨咨詢公司司、集成成商、ERP、商務智智能、客客戶關系系管理系系統(tǒng)；終端提供供商向數數據提供供商演進進：對現現有客戶戶數據的的深度把把握、建建立客戶戶之間的的社交和和聯(lián)系；；展現方式式：大型型控制中中心、移移動終端端在多樣性性、體量量、速度度三大特特征的指指引下，，大數據據將有新新型的展展現方式式：大型型控制中中心和移移動終端端，實現現數據的的實時處處理和快快速決策策。大數據與與傳統(tǒng)數數據庫11采集環(huán)節(jié)存儲環(huán)節(jié)分析環(huán)節(jié)應用環(huán)節(jié)傳統(tǒng)數據分析大數據分析擴展到傳感、互聯(lián)網、交易等多來源多類型數據來源單一，以內部結構化數據為主主要是面向結構化數據和事務處理的關系型數據庫擴展到面向非結構化數據和分析處理的非關系型數據庫依賴高性能計算機，主要利用統(tǒng)計和機器學習算法需用分布式并行計算，Scaleout

能力，以機器學習算法為主局限在金融、保險、零售、電信等少數領域，以決策支撐為主有望滲透到政府、醫(yī)療、交通等各個領域，嵌入到業(yè)務流程中來源廣，3V非結構化和面向分析為主分布式并行架構結合機器學習算法更廣的領域，更深入的嵌入業(yè)務流大數據系統(tǒng)的特點大數據資源大數據工具大數據理念大數據與與其他新新興技術術的關系系大數據、、物聯(lián)網網、云計計算、移移動通信信等都是是近年涌涌現出來來的新興興概念，，彼此之之間不是是孤立的的，而是是存在著著內部聯(lián)聯(lián)系。大數據帶帶來的思思維方式式的變化化處理的對對象往往往是全部部數據，，而不是是部分數數據的采采樣采樣的不不合理會會導致預預測結果果的偏差差，在大大數據時時代，依依靠強大大的數據據處理能能力，應應該去處處理全部部的數據據。不再執(zhí)迷迷于精確確性精確的、、規(guī)范化化的、可可以被傳傳統(tǒng)數據據庫處理理的數據據只占全全部數據據的5%，必須接接受不精精確性才才能處理理另外95%的數據。。錯誤的數數據是客客觀存在在的，竭竭力避免免它就失失去了應應有的客客觀性和和公平性性。大數據的簡簡單算法法比小數數據的復復雜算法法更有效效。更加關注注相關性性，而不不是因果果性預測依靠靠的是相相關性。。很多情況況下知道道“是什什么”即即可，不不必知道道“為什什么”。。大數據的的價值鏈鏈數據數據的掌掌控者，，擁有或或者可以以收集大大量數據據的公司司。海量量的數據據就是財財富，可可以考慮慮自己分分析或者者賣數據據給其他他公司。。技術技術供應應商或者者分析公公司。掌掌握了從從海量數數據中分分析出有有用信息息的技能能或者工工具，但但本身不不一定擁擁有數據據。思維有創(chuàng)新思思維的人人或者公公司。他他們對大大數據敏敏感，有有怎樣挖挖掘數據據的新價價值的獨獨特想法法。@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第15頁大數據基基礎架構構要求可預測的的低延遲遲高事務參數數靈活的數數據結構構獲取組織分析決策高吞吐量量就地準備所有數據據源和結結構深度分析析敏捷開發(fā)發(fā)高度可伸伸縮性實時流數據運營影響響5.大數據技技術5.1大數據的的定義5.2大數據的的技術特特征5.3大數據的的典型應應用5.4大數據的的發(fā)展趨趨勢大數據的的技術特特征數據結構：：結構構化數據據與非結結構化數數據數據庫數數據模型型：關系系型數據據庫與非非關系型型數據庫庫數據處理理特性：：OLTP與OLAP數據一致致性：強強一致性性與最終終一致性數據存儲方方式：行行式存儲儲與列式式存儲數據庫存存儲與處處理架構構：SMP與MPP數據存儲儲架構：：傳統(tǒng)分分布式文文件與新新型分布布式文件件數據處理架架構：基基于并行行計算的的分布式式數據處處理技術（MapReduce）-17-數據的結構構—結構化、非結構化、半結結構化數數據-18-對比項結構化數據非結構化數據半非結構化數據定義有數據結構描述信息的數據不方便用固定結構來表現的數據介于完全結構化數據和完全無結構的數據之間的數據結構與內容的關系先有結構、再有數據只有數據，沒有結構先有數據，再有結構示例各類表格圖形、圖像、音頻、視頻信息HTML文檔，它一般是自描述的，數據的結構和內容混在一起結構化數數據和非非結構化化數據都都是客觀觀存在，，大數據技術需要涵涵蓋兩者者數據庫數數據模型型—關系型數數據庫與與非關系型數據據庫在大數據據技術中"非關系型"數據庫技術術是必不不可少的，但關系數據據庫也是是不可或或缺的-19-對比項關系型數據庫非關系型數據庫定義創(chuàng)建在關系模型基礎上，借助于集合代數等數學概念和方法來處理數據庫中的數據關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成沒有標準定義包括：表存儲數據庫、鍵值存儲數據庫、面向文檔的數據庫等接口語言SQL（StructuredQueryLanguage，結構化查詢語言），對數據庫中的數據進行查詢、操作和管理無統(tǒng)一標準包括：各自定義的API、類SQL、MR等典型案例Oracel、DB2、Sybase、SQLServer、Mysql、Postgresql等新型的MPPRDB（Greenplum）也屬于關系型數據庫Hbase、MongoDB、Redis數據處理理特性—OLTP與OLAP-20-比較項聯(lián)機事務處理OLTP（On-LineTransactionProcessing）聯(lián)機分析處理OLAP（On-LineAnalyticalProcessing）基本類型業(yè)務操作型業(yè)務分析型數據特性對一條記錄數據會多次修改，支持大量并發(fā)用戶添加和修改數據數據寫入后基本不再修改，能較好地支持大量并發(fā)用戶進行大數據量查詢技術特性確保數據的一致性確保事務的完整性數據讀寫實時性高支持多維數據以及對多維數據的復雜分析大數據量數據量GB-TB級TB-PB級典型示例銀行業(yè)務系統(tǒng)/數據庫各類決策分析系統(tǒng)/數據庫OLTP以業(yè)務操操作型為為主，OLAP以業(yè)務分分析性為為主，兩兩者對技技術的要要求很難難兼顧數據一致致性：強強一致性性與最終終一致性性-21-強一致性性和最終終一致性性都是指指客戶端端向數據庫庫系統(tǒng)寫入數數據后，數據庫庫系統(tǒng)能夠提提供的數數據一致致性的表表現對比項強一致性（即時一致性）最終一致性弱一致性場景定義假定三個進程A、B、C是互相獨立的，且都在對存儲系統(tǒng)進行讀寫操作數據一致性表現A寫入數據到存儲系統(tǒng)后，存儲系統(tǒng)能夠保證后續(xù)任何時刻發(fā)起讀操作的B、C可以讀到A寫入的數據A寫入數據到存儲系統(tǒng)后，經過一定時間，或者在某個特定操作后，B、C最終會讀到A寫入的數據A寫入數據到存儲系統(tǒng)后，存儲系統(tǒng)不能夠保證后續(xù)發(fā)起讀操作的B、C可以讀到A寫入的數據示例OLTP需要強一致性OLAP需最終一致性絕大多數應用不能夠容忍弱一致性數據存儲儲方式—行式存儲儲與列式存儲-22-傳統(tǒng)關系系型數據據庫主要要采用行行存儲模模式，海海量數據據的高效效存儲和和訪問要要求引發(fā)發(fā)了從行行存儲模模式向列列存儲模模式的轉轉變行存儲用戶生日聊天記錄日均在線時長用戶11981-10-3Xxxxyyyy...2用戶21990-5-15Mmnnn…3.7用戶11981-10-3Xxxxyyyy...2用戶21990-5-15Mmnnn…3.7列存儲用戶11981-10-3用戶21990-5-15用戶1Xxxxyyyy..用戶2Mmnnn..用戶12用戶23.7行存儲列存儲存儲一行中各列一起存放，單行集中存儲一行中各列獨立存放，單列集中存儲索引效率海量數據索引既占用大量空間，且索引效率會隨著數據增長越來越低基于列自動索引，海量數據查詢效率高，不產生額外存儲空間效率同一行不同列數據類型不同，壓縮效率低空值列依然占據空間列同數據類型，壓縮效率高空值不占空間I/O查某列必須讀出整行，I/O負荷高、速度慢只需讀出某列數據，I/O低速度快結構表結構改變影響很大可隨時動態(tài)增加列適用場景數據寫入后需要修改和刪除，基于行的反復查詢，多用于OLTP數據庫批量數據一次寫入和基于少量列的反復查詢，多用于OLAP數據庫樣例數據據表數據庫存存儲與處處理架構構—SMP與MPP在數據量量急劇膨膨脹的背景下，數據庫庫處理要要求超出了單機或或SMP架構能力力范圍，，最高配配置小型機也無法滿足，所以在大大數據技技術中，MPP架構（計算分布+存儲分布）架構構成為主流-23-計算分布,存儲集中DBServ共享磁盤DBServDBServDBServ網絡SAN//FC計算集中,存儲集中DBServ磁盤計算分布,存儲分布DBServDBServDBServDBServ高速通信網網絡磁盤磁盤磁盤磁盤Master如：Oracle傳統(tǒng)單機數據據庫如：OracleRAC小型機+共享盤陣陣如：Greenplum、HbaseX86++本地硬盤盤傳統(tǒng)單機機數據庫庫SMP架構數據據庫MPP架構數據據庫對稱多處處理，SymmetricalMulti-Processing有兩臺以以上的服服務器，，各主機機之間共享總線結結構，共共享數據據存儲磁磁盤節(jié)點數有有限制，主要通過提高節(jié)節(jié)點配置置來提高高整體處處理能力力，擴展展能力有有限對共享磁磁盤的訪訪問可能能成為瓶瓶頸SMP大規(guī)模并并行處理，MassivelyParallelProcessing多個松耦合處理單元組組成，數據據存在本本機磁盤盤上通過增加加服務器數量量提高系系統(tǒng)處理理能力，，理論上可無限限擴展，目技術可實現現上千個個節(jié)點互互聯(lián)對軟件體體系要求求較高，，需要通通過軟件件層來調調度和平平衡各個個節(jié)點的的負載和和并行處處理過程MPP數據存儲儲架構：：傳統(tǒng)分分布式文文件與新新型分布布式文件-24-傳統(tǒng)分布布式文件件系統(tǒng)也可以適應海海量數據據增長，，但是由由于數據據計算與與存儲是是分離的的，隨數數據量的增長，網絡絡帶寬形形成瓶頸。新型分布式式文件系系統(tǒng)采用用數據計計算與存存儲綁定定的新策策略，可可有效應應對海量量數據增增長X86PC集群數據存儲：磁盤盤陣列數據存儲儲與計算算合一數據計算：數據服務務器數據靠網網絡傳輸輸本機硬盤本機硬盤本機硬盤本機硬盤計算模式式擁有成本本盤陣負責責存儲，，數據服服務器負負責計算算，彼此此靠網絡絡連接，，計算效效率受網網絡帶寬寬影響PC機自行負負責存儲儲和計算算，數據據與計算算綁定，，不受網網絡帶寬寬影響專用設備備價格昂昂貴，維維護費用用高通用PC，價格低低廉，維維護方便便存儲模式式磁盤陣列列存儲由每臺PC機自帶硬硬盤組成成容錯模式式不能容忍忍盤陣設設備出問問題，靠靠RAID容錯個別別硬盤故故障容許PC節(jié)點故障障，通過過多個文文件副本本保證數數據完整整性數據存儲儲與計算算分離新型分布式式文件系系統(tǒng)—HadoopHDFS-25-HadoopHDFS是新型分分布式文文件系統(tǒng)統(tǒng)的典型型代表，，提供高高可靠、、高擴展展、高吞吞吐能力力的海量量文件數數據存儲儲元數據節(jié)節(jié)點Namenode文件名，，文件塊塊，文件件塊所在在數據節(jié)節(jié)點，…文件元數數據123數據節(jié)點點Datanode數據節(jié)點點Datanode數據節(jié)點點Datanode數據節(jié)點點Datanode先讀取文件元數據，，知道文文件在哪哪后讀取各各個文件件塊管理文件件分布存存儲優(yōu)點支持任意意超大文文件存儲儲；硬件件節(jié)點可可不斷擴擴展，低低成本存存儲對上層應應用屏蔽蔽分布式式部署結結構，提提供統(tǒng)一一的文件件系統(tǒng)訪訪問接口口，感覺覺就是一一個大硬硬盤；應應用無需需知道文文件具體體存放位位置，使使用簡單單；文件分塊塊存儲（（1塊缺省64MB)，不同塊塊可分布布在不同同機器節(jié)節(jié)點上，，通過元元數據記記錄文件件塊位置置；應用用順序讀讀取各個個塊系統(tǒng)設計計為高容容錯性，，允許廉廉價PC故障；每每塊文件件數據在在不同機機器節(jié)點點上保存存3份；這種種備份的的另一個個好處是是可方便便不同應應用就近近讀取，，提高訪訪問效率率缺點適合大數數據文件件保存和和分析，，不適合小小文件，由于分分布存儲儲需要從從不同節(jié)節(jié)點讀取取數據，，效率反反而沒有有集中存存儲高；；一次寫寫入多次次讀取，，不支持文文件修改改是最基礎礎的大數數據技術術，基于于文件系系統(tǒng)層面面提供文文件訪問問能力，，不如數數據庫技技術強大大，但也也是海量量數據庫庫技術的的底層依依托文件系統(tǒng)統(tǒng)接口完完全不同同于傳統(tǒng)統(tǒng)文件系系統(tǒng)，應應用需要要重新開開發(fā)上層應用用YahooAmazonFacebookEbay淘寶百度中國移動動飛信中中國國移動大大云行業(yè)應用技術特點點基于并行行計算的的分布式式數據處處理技術(MapReduce)-26-TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(ReduceTask)TaskTracker(ReduceTask)中間結果果中間結果果中間結果果輸出數據據輸出數據據JobTracker用戶程序序(JobClient)提交作業(yè)業(yè)任務調度度任務調度度狀態(tài)監(jiān)控控狀態(tài)監(jiān)控控123MapReduce技術特性性自動并行化化：系統(tǒng)自自動進行行作業(yè)并并行化處處理自動可靠靠處理：系統(tǒng)自自動處理理節(jié)點/任務的故故障檢測測和恢復復靈活擴展展：節(jié)點可可以靈活活加入和和退出，，系統(tǒng)自自動感知知節(jié)點狀狀態(tài)并進進行處理理高性能：計算任任務將被被調度至至數據所所在的節(jié)節(jié)點，減減少網絡絡開銷，，提升執(zhí)執(zhí)行性能能MapReduceMapReduce是解決海量數數據處理的并行行編程環(huán)環(huán)境5.大數據技技術5.1大數據的的定義5.2大數據的的技術特特征5.3大數據的的典型應應用5.4大數據的的發(fā)展趨趨勢@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第28頁大數據行行業(yè)應用用分析應用可能能性電信政府（公公共事業(yè)業(yè)）交通金融醫(yī)療教育能源（電電力/石油）縱軸契合合度：表示該用用戶的IT應用特點點與大數數據特性性的契合合程度；；橫軸應用用可能性性：表示該該用戶出出于主客客觀因素素在短期期內投資資大數據據的可能能性；注：該位置為為分析師師訪談的的綜合印印象，為為定性分分析，圖圖中位置置不代表表具體數數值HighMidLowLowMidHigh優(yōu)先關注注行業(yè)用用戶應用特點點與大數數據技術術有較高高的契合合度，在在主客觀觀條件上上也有較較高的應應用可能能性。值得關注注行業(yè)用用戶應有特點點與大數數據的契契合度及及應用可可能性綜綜合較高高適當關注注行業(yè)用用戶兩個維度度暫時都都不具備備優(yōu)勢，，可適當當給予關關注互聯(lián)網（（電子商商務）契合度流通零售制造@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第29頁大數據應用用場景（（1）為企業(yè)提提供全面面，可靠靠的績效效信息第30頁大數據應用用場景（（2）為城市管管理提供供最新，，實時數數據@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第31頁大數據應用用場景（（3）更快的基因因組和蛋蛋白質組組分析@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第32頁大數據應用用場景（（4）利用社交交媒體等等公開的的信息增增強傳統(tǒng)統(tǒng)的CRM數據，從從而憑借借全面的的個人資資料實現現實現微微觀細分分。@2013北京澤佳佳公司版版權所有有Copyright??2013ZejiaConsultingCorporation第33頁2013年1月29日，住房房和城鄉(xiāng)鄉(xiāng)建設部部公布了了首批９９０個國國家智慧慧城市試試點名單單，試點點城市的的公布標標志著我我國智慧慧城市發(fā)發(fā)展進入入規(guī)模推推廣的階階段。在在目前智智慧城市市的發(fā)展展階段，，主要的的應用還還處于對對感知設設備傳遞遞的信息息進行簡簡單處理理的水平平，充分分認識大大數據對對于智慧慧城市建建設的關關鍵作用用，對于于避免智智慧城市市建設中中出現““重感知知，輕智智慧”的的通病具具有重要要意義。。從智慧城城市的體體系結構構來看，，由于智智慧城市市的基礎礎在于物物聯(lián)網技技術，因因此智慧慧城市體體系架構構和物聯(lián)聯(lián)網的體體系結構構相類似似，也可可分為四四層，分分別為感感知層、、傳輸層層、平臺臺層、應應用層。。智慧城城市相對對于之前前數字城城市概念念，最大大的區(qū)別別在于對對感知層層獲取的的信息進進行了智智慧的處處理，因因此也可可以認為為智慧城城市是數數字城市市的升級級版。由由城市數數字化到到城市智智慧化，，關鍵是是要實現現對數字字信息的的智慧處處理，其其核心是是大數據據處理技技術。智慧城市市大數據應用用場景（（5）5.大數據技技術5.1大數據的的定義5.2大數據的的技術特特征5.3大數據的的典型應應用5.4大數據的的發(fā)展趨趨勢大數據時時代發(fā)展展趨勢大數據時時代發(fā)展展趨勢之之一：軟軟件應用用泛互聯(lián)聯(lián)網化軟件的價價值是同同它所協(xié)協(xié)助管理理的數據據的規(guī)模模和活性性成正比比大數據時時代，掌掌握更多多用戶行行為數據據，并能能加以充充分挖掘掘利用的的公司，，將在競競爭中贏贏得先機機，桌面面應用軟軟件鏈接接軟件公公司與互互聯(lián)網平平臺的核核心紐帶帶，如何何充分發(fā)發(fā)揮桌面面應用軟軟件的紐紐帶作用用，是大大數據時時代的核核心趨勢勢之一。。富界面：：集成瀏瀏覽器，，支持移移動終端端、PC等設備（（富界面面是指桌桌面應用用軟件與與瀏覽器器的深度度整合，，軟件外外觀與傳傳統(tǒng)的應應用軟件件雷同，，但所有有的數據據都來自自于互聯(lián)聯(lián)網）門戶化（（排他性性，產品品相互支支援，提提高客戶戶粘性））門戶化化的核心心要義在在于排他他性、相相關性。。第一排排他性是是指用戶戶一旦適適應一個個門戶，，則難以以割舍，，從而提提供用戶戶粘性；；第二相相關性是是指用戶戶在門戶戶化軟件件中，可可以完成成他大部部分的任任務，而而無需離離開門戶戶，門戶戶中相關關軟件互互為支援援，互提提供流量量，促使使用戶粘粘性越來來越強。。碎片化——按需付費費，改變變商業(yè)模模式（桌桌面應用用軟件的的這三個個特征相相互促進進、缺一一不可，，沒有互互聯(lián)網化化，門戶戶化將無無從談起起，碎片片化也就就推動了了依托；；沒有碎碎片化，，則商業(yè)業(yè)模式沒沒有形成成的突破破，在走走賣拷貝貝的老路路。泛互聯(lián)網網化趨勢勢，將引引發(fā)軟件件企業(yè)商商業(yè)模式式的弈，，從單一一的賣軟軟件，向向服務轉轉型。大數據時時代發(fā)展展趨勢大數據時時代發(fā)展展趨勢之之二：行行業(yè)應用用垂直整整合大數據時時代開源源技術的的發(fā)展已已經可以以和商務務軟件分分庭抗禮禮，傳