大數據與數據挖掘第二部分大數據大數據概念大數據行業應用數據分析與挖掘大數據技術大數據體系數據的大小物理屬性的數據公斤、公里、升等信息屬性的數據位(Bit)是量度信息的基本單位，只有0、1兩種二進制狀態。8位(bit)組成一個字節(1Byte，8bit)，能夠容納一個英文字符，而一個漢字需要兩個字節(2Byte，16bit)的存儲空間。一頁書籍：10KB一張低分辨率照片：100KB一次胸透視：10MB一張CD光盤：500MB一部高質量電影：1GB大數據何為大？—數據度量1Byte=8bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes練習題3PB=(?)GB假設《紅樓夢》含標點87萬字（不含標點853509字），1GB約等于（？）部紅樓夢？1TB約等于（？）部？美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數據235TB），1EB=（？）倍美國國會圖書館存儲的信息量大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網大數據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯網練習題促進大數據技術到來的主要因素有那些？大數據時代的到來主要是由于網上的數據量大規模增加（）大數據不僅是網絡業的未來，而且是整個社會和經濟發展的未來。早期的大規模數據應用文本資料的數字化將文本資料轉化成數字信息存儲，可進行搜索，傳播。亞馬遜數字圖書館文本資料的數字化亞馬遜的數字圖書館地理方位的數字化對地理位置的數據化需要滿足一些前提條件：需要能精確地測量相關區域內的每一塊地方；需要一套標準的標記體系；需要收集和記錄數據的工具。簡而言之，就是地理范圍、標準、工具或者說量化、標準化、收集。只有具備了這些，才能把位置信息當成數據來存儲和分析。莫里斯航海圖表

UPS的快速定位系統UPS快遞多效地利用了地理定位數據。為了使總部能及時了在車輛的位置和預防引擎故障，它的貨車上裝有傳感器、無線適配器和GPS。這些設備方便了公司監督管理員工并優化行車線路。UPS為貨車定制的最佳行車路徑是根據過去的行車經驗總結而來的。設計了盡量少左轉的路線，因為左轉要求貨車在交叉路口穿過去，所以更容易出事故。而且，貨車往往需要等待一會兒才能左轉，也會更耗油，因此，減少左轉使得行車的安全性和效率都得到了大幅提升。社交網絡的發展簡單地說，社交網絡是在互聯網上與其他人相聯系的一個平臺。社交網絡站點通常圍繞用戶的基本信息而運作，用戶基本信息是指有關用戶喜歡的事、不喜歡的事、興趣、愛好、學校、職業或任何其他共同點的集合。通常，這些站點提供不同級別的隱私控制。社交網絡的目標是，通過一個或多個共同點將一些人相互聯系起來而建立一個群組。國外：Facebook,twitterFacebook2012年擁有大約6.29億用戶，他們通過上千億的朋友關系網相互連接。這個巨大的社交網絡覆蓋了大約10%的全球總人口。國內：新浪微博，微信，人人網社交網絡的理論基礎1967年，哈佛大學的心理學教授米爾格倫(1934～1984)創立了六度分割理論，簡單地說：“你和任何一個陌生人之間所間隔的人不會超過六個，也就是說，最多通過六個人你就能夠認識任何一個陌生人。”按照六度分隔理論，每個個體的

社交圈都不斷放大，最后成為一個大型網絡。這是社會性網絡（Social

Networking）的早期理解。我國社交網絡的發展E-mail點對點人與人之間可以通過電子郵件交流BBS點對面BBS將點對點形式演變為點對面，降低交流成本。實現了個人的分散信息向可共享的聚合信息的進步。天涯、貓撲、西祠胡同等產品都是BBS時代的典型企業。2006年年以前，資本主要關注BBS及博客形態的社交網絡產品，但是后期來看，這類企業的發展多不盡人意。娛樂化社交網絡2002年，LinkedIn成立;2003年，運用豐富的多媒體個性化空間吸引注意力的Myspace成立;2004年，復制線下真實人際關系來到線上低成本管理的Facebook成立中國社交網絡產品相也繼出現，如2005年成立的人人網、2008年成立的開心網。微信息社交網絡時代

2009年8月，新浪推出微博產品，用戶

通過推介及自行搜索等方式構建自己的朋友圈，這種產品迅速聚合了海量的用戶群，當然也吸引了眾多業者(如騰訊、網易、盛大)的追隨。這種模式也再次將廣義社交網絡推向投資人視野。

隨著移動互聯網的發展，微信息社交產品逐漸與位置服務等移動特性相結合，相繼出現微信等移動客戶端產品。垂直社交網絡應用時代

垂直社交網絡主要是與游戲、電子商務等相結合，是社交網絡探究商業模式的有利嘗試。清科研究中心預計，垂直社交將成為社交網絡未來發展的主要方向。根據“社交網絡分析之父”貝爾納多·哈柏曼（BernardoHuberman）的分析，社交網絡中單一主題出現的頻率可以用來預測很多事情，比如好萊塢的票房收入。他和一位在惠普實驗室工作的同事開發了一個程序，可以用來監聽微博的發布頻率，基于此，他們就能預測一部電影的成敗，這往往比其他傳統評估預測方法還要準確。網絡搜索技術的發展Google大數據的產生供應鏈原始材料供應商11級批發零售商1

半成品/成品供應商1核心企業2級批發零售商1原始材料供應商21級批發零售商1

半成品/成品供應商22級批發零售商2…………原始采用供應商n1級批發零售商n

半成品/成品供應商n2級批發零售商n政府部門電信、稅務、銀行、工商、房產、電力、自來水等多個部門數據的集成綜合電商供應商、客戶、商戶、物流叫車出租車、客戶商旅/票務客戶、航空公司、旅店、飯店等哪些屬于大數據的研究范疇大數據熱反映出人們在猜測追尋下一個大創新交通數據？社交數據？電子商務數據？供應鏈數據？企業經營管理數據？數據大不等于大數據現有設備，技術，方法所能處理的不是大數據數據挖掘，精細化運營，精準廣告和個性化服務推廣不是未來大數據服務商業模式的主要部分大數據的特征多樣性(Variety)數量巨大(Volume)速度快(Velocity)價值密度低(Value)大數據的描述性定義多樣性數據來源多樣性—超出一種服務，一個公司，一個地區數據種類多樣性—文字，語音，圖表，圖片，視頻數據對象多樣性—個人，商業，社會，自然界大數據的多樣性越高，潛在價值就越大大數據的操作定義數量以TB為基本計量單位數據間關系眾多，結構復雜，變化多端大數據的體量越大，潛在價值就越大大數據的操作定義傳輸速度快處理的數據是TB級代替了GB級，“超大規模數據”和“海量數據”也有規模大的特點，但大數據更強調數據的快速動態變化，形成流式數據，數據流動的速度快到難以用傳統的系統去處理。價值密度低數據量呈指數增長的同時，隱藏在海量數據的有用信息卻沒有相應比例增長，反而使我們獲取有用信息的難度加大。以視頻為例，連續的監控過程，可能有用的數據僅有一兩秒傳統數據與大數據的區別傳統數據硬件條件IBM

System

x3100通過4個DIMM

插槽，實現512MB或1

GB/8

GB

DDR

II

667

MHz的內存容量可掛6個500G外部存儲建立服務器矩陣后容量可增加需求：騰訊qq郵箱，騰訊宣稱有7億多注冊賬號，有3億多活躍賬號，平均每人100G空間

傳統數據傳統的數據采集來源單一，且存儲、管理和分析數據量也相對較小，大多采用關系型數據庫和并行數據倉庫即可處理。傳統的數據處理方法是以處理器為中心，而大數據環境下，需要采取以數據為中心的模式，減少數據移動帶來的開銷。因此，傳統的數據處理方法，已經不能適應大數據的需求！傳統數據與大數據的區別傳統數據與大數據的區別傳統數據處理結構化數據結構化數據，簡單來說就是數據庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS數據庫；教育一卡通；政府行政審批；其他核心數據庫等。傳統數據與大數據的區別世界上跟多的是半結構和非結構化數據半結構化是指數據的字段數量不固定，大小可變化的數據非結構化數據，包括視頻、音頻、圖片、圖像、文檔、文本等形式。具體到典型案例中，像是醫療影像系統、教育