大數據分析趨勢淺析01大數據簡介02大數據分析03大數據分析發展趨勢目錄01大數據簡介02大數據分析03大數據分析發展趨勢目錄1大數據簡介2012年初的一天，一位父親進入他家附近的某超市向超市負責人興師問罪。原因是超市把嬰兒用品的優惠券寄給他17歲的女兒。一個月后，這位父親又向超市經理致歉—他的女兒確實懷孕了。原來，這家超市建立了一個客戶購買體系，其中用25種典型商品的消費數據構建了“懷孕預測指數”，這樣即可準確地辨別出孕婦群體，以便更好地為她們提供服務商品。這個故事被刊登在《紐約時報》，轟動了全美，被稱為“大數據的第一課”。1大數據簡介2012年的總統大選時，花銷不到3億美元的奧巴馬卻擊敗了開支近4億美元的羅姆尼，成為美國新一屆總統。奧巴馬的競選發言人說，對于競選團隊來說，并不能只是面對一個籠統的選民概念，而主要針對每一個選民，深入挖掘他們被說服的因素是什么，這種具有針對性的方式，使得奧巴馬的募捐方案和游說計劃得到了意外的支持。那么，到底是什么支持了奧巴馬的募捐方案和游說計劃昵，是大數據。1大數據簡介回顧自2009年淘寶在11月11日發起的“品牌商品五折優惠”活動以來的5年問，當天成交額由2009年的1億元經過2010年的9.36億元、2011年的52億元、2012年的191億元，一直狂飄到2013年的350.19億元，正式超越美國“網絡星期一”創造的單日120億元(人民幣)的記錄，成為全球最大的購物狂歡節。這一系列的驚人創舉的背后也是大數據，是大數據造就了天貓的輝煌。1.1大數據定義及特征大數據(bigdata)或稱巨量資料，這些資料的規模巨大到無法使用目前的主流軟件工具，在合理的時問內通過采集、管理、處理并整理而成為幫助企業經營決策的信息。維基百科將大數據定義為“無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的大量而復雜的數據集合”。Volume大量Velocity高速Variety多樣三V特征1.2大數據處理的主要環節1.3大數據發展趨勢1.3大數據十大發展趨勢結合智能計算的大數據分析成為熱點數據科學帶動多學科融合，但是數據科學作為新型的學科，其學科基礎問題體系尚不明朗，數據科學自身的發展尚未成體系與行業數據結合，實現跨領域應用與“物云移社”融合，產生綜合價值大數據多樣化處理模式與軟硬件基礎設施逐步夯實大數據安全和隱私新的計算模式將取得突破各種可視化技術和工具提升大數據分析大數據技術課程體系建設和人才培養是需要高度關注的問題開源系統將成為大數據領域的主流技術和系統選擇01大數據簡介02大數據分析03大數據分析發展趨勢目錄2大數據分析簡介及趨勢概況大數據分析的核心是從數據中獲取價值，價值體現在從大數據中獲取更準確、更深層次的知識，而非對數據的簡單統計分析。神經計算01深度學習02人工智能04語義計算03大數據分析01大數據簡介02大數據分析03大數據分析發展趨勢目錄3.1云中的大數據分析如今已有很多技術可用于處理云中的數據。實例包括亞馬遜Redshift所托管的BI數據倉庫、谷歌BigQuery數據分析服務、IBMBluemix云平臺，以及亞馬遜Kinesis數據處理服務等。“大數據的未來狀態將是企業端和云端的某種混合態?！?.2 Hadoop:新的企業數據操作系統各種分布式分析框架，如MapReduce正在演變為分布式資源管理器，它們會逐漸地將Hadoop轉變為一種通用的數據操作系統。有了Hadoop這樣的分布式文件存儲系統，你就能執行很多不同的數據操控和分析任務。3.3

大數據湖數據湖也稱之企業數據湖或企業數據集中庫，會將各種數據資源傾倒進一個大的Hadoop倉庫中去，而不會事先設計什么數據模型。提供各種工具，再配上對數據湖中現存數據的頂層定義，供人們去分析數據。人們就可隨著對數據湖的逐步深入而構建起自己的數據視圖。這正是構建一個大規模數據庫增量化的、有機的模型。3.4

更有預測性的分析有了大數據，分析師們不僅有了更多的數據可用，而且具備了處理大量多屬性記錄的能力?？梢蕴幚砗Ａ康挠涗?，以及對每條記錄的海量屬性進行處理，從而提高了預測能力。大數據與計算能力相互結合，還能讓分析師們去研究新的行為數據。例如消費者所訪問的網站或位置信息等“稀疏數據”。3.5

SQLonHadoop:更快、更好ApacheHive就可為Hadoop提供一種結構化的、類SQL的查詢語言。來自Cloudera,Pivotal軟件、IBM和其他一些廠商的產品，不但可提供更好的性能，而且還能讓查詢進行的更快速。這些工具讓Hadoop能更好地適用于“迭代分析”，也就是在詢問了一個問題并得到答案后，可以在此基礎上查詢新的問題。這樣的工作傳統上是需要構建數據倉庫才能進行的。3.6

更多、更好的NoSQL可取代傳統基于SQL關系數據庫的技術叫做NoSQL數據庫，它正迅速普及，并用于一些特定的分析應用中。相比于傳統的關系數據庫，它可提供一種更快速、更直接的方式來分析客戶或銷售人員的關系網絡。一個NoSQL鍵值組合數據庫則可專門用于處理這樣的情形，而且性能高，還是輕量級的。3.7

深度學習深度學習是近年來受到廣泛關注的一個機器學習子領域，在MTT《技術評論》中當選為Zam十大突破性技術之首。它以學習表示方式的多個層次為基礎，這些層次對應于特征、因素或者是概念的分層結構。高層次的概念由低層次的概念定義；低層次的概念可以用來形成很不同的多高層次概念。它是基于表示學習的機器學習方法，因為表示一個對象有很多種方式，而對于特定的任務，某些表示方式會使得學習任務更加容易完成。3.8

內存分析使用內存數據庫來提速分析處理流程已越來越流行，而且收益頗大。事實上，很多企業已經在采用混合