1、“大數據”的認識與與思考 劉姝祎祎目錄TOC o 1-3 h z u HYPERLINK l _Toc388335582 1“大數據據”的時代背背景 PAGEREF _Toc388335582 h 4 HYPERLINK l _Toc388335583 1.1“大大數據”的概念 PAGEREF _Toc388335583 h 4 HYPERLINK l _Toc38883355584 1.2“大數據”產生的背背景 PAGEREF _Toc388335584 h 4 HYPERLINK l _Toc388335585 1.3“大大數據”的特征 PAGEREF _Toc388335585 h 5

2、HYPERLINK l _Toc388335586 1.4“大大數據”的發展階階段 PAGEREF _Toc388335586 h 5 HYPERLINK l _Toc388335587 1.5“大大數據”帶來的機機遇 PAGEREF _Toc388335587 h 6 HYPERLINK l _Toc388335588 2“大數據據”的關鍵技技術 PAGEREF _Toc388335588 h 9 HYPERLINK l _Toc388335589 2.1“大大數據”的采集和和預處理 PAGEREF _Toc388335589 h 9 HYPERLINK l _Toc388335590 2.

3、2“大大數據”存儲技術術 PAGEREF _Toc388335590 h 10 HYPERLINK l _Toc388335591 2.3“大大數據”分析技術術 PAGEREF _Toc388335591 h 10 HYPERLINK l _Toc388335592 2.4“大大數據”與云計算算 PAGEREF _Toc388335592 h 11 HYPERLINK l _Toc388335593 3大數據產產業的應用用 PAGEREF _Toc388335593 h 12 HYPERLINK l _Toc388335594 3.1大數數據產業 PAGEREF _Toc388335594 h

4、 12 HYPERLINK l _Toc388335595 3.2“大大數據”在典型領領域中的應應用 PAGEREF _Toc388335595 h 13 HYPERLINK l _Toc388335596 3.3智慧慧城市：立立體的大數數據生態系系統 PAGEREF _Toc388335596 h 14 HYPERLINK l _Toc388335597 3.3.11智慧城市市的產生 PAGEREF _Toc388335597 h 14 HYPERLINK l _Toc388335598 3.3.22全球智慧慧城市的實實踐 PAGEREF _Toc388335598 h 15 HYPERLI

5、NK l _Toc388335599 3.3.33.中國智智慧城市 PAGEREF _Toc388335599 h 16 HYPERLINK l _TToc38883355600 4問題與挑挑戰 PAGEREF _Toc388335600 h 18 HYPERLINK l _Toc388335601 4.1數據據質量 PAGEREF _Toc388335601 h 18 HYPERLINK l _Toc388335602 4.2數據據安全 PAGEREF _Toc388335602 h 18 HYPERLINK l _Toc388335603 4.3用戶戶隱私與便便利性的沖沖突 PAGEREF

6、 _Toc388335603 h 18 HYPERLINK l _Toc388335604 4.4龐大大能耗 PAGEREF _Toc388335604 h 18 HYPERLINK l _Toc388335605 4.5數據據分析與管管理人才緊緊缺 PAGEREF _Toc388335605 h 19 HYPERLINK l _Toc388335606 4.6跟風風現象較為為嚴重 PAGEREF _Toc388335606 h 19 HYPERLINK l _Toc388335607 4.7缺少少技術創新新水平較高高的互聯網網公司 PAGEREF _Toc388335607 h 19 HYP

7、ERLINK l _Toc388335608 5對大數據據產業發展展的建議 PAGEREF _Toc388335608 h 20 HYPERLINK l _Toc388335609 5.1政府府方面 PAGEREF _Toc388335609 h 20 HYPERLINK l _Toc388335610 5.2企業業方面 PAGEREF _Toc388335610 h 21 HYPERLINK l _Toc388335611 5.3公眾眾方面 PAGEREF _Toc388335611 h 221“大數據據”的時代背景景1.1“大大數據”的概念紐約時報在在20122年宣布“大 HYPERLIN

8、K /hqstat/hqstat.shtml 數據時代”已經降臨臨，“ HYPERLINK /view/6954399.htm 大數據”成為了時時下最火熱熱的詞匯。顧名思義義，大數據據是“無法任意意時間內用用常規軟件件工具對其其內容進行行抓取、管管理和處理理的大量而而復雜的數數據集合”。Garrtnerr認為大數數據是“需要新處處理模式才才能具有更更強的決策策力、洞察察發現力和和流程優化化能力的海海量、高增增長率和多多樣化的信信息資產”。“大數據”的要義是盡盡可能地收收集眾多可可以相互疊疊加補充的的信息，據據以完成對對“未來”的預測。這些數據據可能有些些混亂，甚甚至會出現現紕漏，但但數據量的“

9、多“和時間的的“即刻”可以彌補補數據質量量的瑕疵，“大數據”將以最快的速度“預測”出最“可靠”的答案，指引人們迅速采取行動。1.2“大大數據”產生的背背景大數據的應應用和技術術是在互聯聯網快速發發展中誕生生的，起點點可追溯到到 20000 年前前后。當時時互聯網網網頁爆發式式增長，每每天新增約約 7000 萬個網網頁，到 20000 年底全全球網頁數數達到 440 億，用用戶檢索信信息越來越越不方便。谷歌等公公司率先建建立了覆蓋蓋數十億網網頁的索引引庫，開始始提供較為為精確的搜搜索服務，大大大提升了了人們使用用互聯網的的效率，這這是大數據據應用的起起點。當時時搜索引擎擎要存儲和和處理的數數據，

10、不僅僅數量之大大前所未有有，而且以以非結構化化數據為主主，傳統技技術無法應應對。為此此，谷歌提提出了一套套以分布式式為特征的的全新技術術體系，即即后來陸續續公開的分分布式文件件系統(GGFS， Googgle FFile Systtem)、分布式并并行計算(MapRReducce)和分分布式數據據庫(BiigTabble)等等技術，以以較低的成成本實現了了之前技術術無法達到到的規模。這些技術術奠定了當當前大數據據技術的基基礎，可以以認為是大大數據技術術的源頭。伴隨著互聯聯網產業的的崛起，這這種創新的的海量數據據處理技術術在電子商商務、定向向廣告、智智能推薦、社交網絡絡等方面得得到應用，取取得巨

11、大的的商業成功功。這啟發發全社會開開始重新審審視數據的的巨大價值值，于是金金融、電信信等擁有大大量數據的的行業開始始嘗試這種種新的理念念和技術，取取得初步成成效。與此此同時，業業界也在不不斷對谷歌歌提出的技技術體系進進行擴展，使使之能在更更多的場景景下使用。20111 年，麥麥肯錫、世世界經濟論論壇等知名名機構對這這種數據驅驅動的創新新進行了研研究總結，隨隨即在全世世界興起了了一股大數數據熱潮。2012年年3月，美美國政府發發布大數數據研究和和發展計劃劃，同時時組建大數數據高級指指導小組，以以協調政府府在數據領領域的兩億億多美元投投資。根據據這一計劃劃，美國希希望利用大大數據技術術再多個領領域

12、實現突突破，包括括科研教學學、環境保保護、國土土安全等，此此舉標志著著，美國把把應對大數數據技術革革命帶來的的機遇和挑挑戰，提高高到國家戰戰略層面，形形成了全體體動員格局局。隨后，英國、法國、日本等各國都相繼將大數據計劃作為國家戰略型計劃提上日程。值得一提的是，由中國各級政府主導的大數據計劃也已經全面展開，“大數據”已成為推動我國經濟和科技發展的重要力量。1.3“大大數據”的特征“大數據”具有4VV的特點：一是數據據容量巨大大（Vollume）。國際數據公司（IDC）的研究報告稱，2011年全球被創建和被復制的數據總量為1.8ZB（2的70次方），并預測到2020年，全球將擁有35ZB的數據量

13、。二是數據類型眾多（Variiety）。相對于過往以文本形式為主的結構化數據，大數據時代的數據類型涵蓋了圖片、音頻、視頻、網絡日志和地理位置信息等種類繁多的半結構化和非結構化數據。 三是數據價值密度低（Value）。舉例而言，在一個連續監控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數據的速度要求非常快（Velocity）。一方面，面對如此巨大的數據量，處理效率至關重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時的反應。在此基礎上，阿里巴巴延伸至3個維度可實時性、可解釋性、數據準確性穩定性，這三個維度是決定數據是否有價值的關鍵。 1.4“大大數據”的

14、發展階階段每種技術都都有自己的的生命周期期，Garrtnerr曾經指出出新技術生生命周期的的5個階段段，即技術術萌芽期（ttechnnologgy trriggeer）、期望膨脹脹期（Peeak oof Innflatted EExpecctatiions）、泡沫化的谷底期 （Through of Disillusionment）、穩步爬升的光明期 （Slope of Enlightement），最后才能進入成熟使用期 （Plateau of Productivity）。如下圖1-1所示圖1-1大大數據生命命周期圖而大數據正正是出于期期望膨脹期期，預計通通過近兩年年的發展，大大數據將會會在20

15、116年達到到泡沫化的的低谷期，之之后在5-10年的的時間內經經歷穩步爬爬上的光明明期，到22020年年后將會到達達實質的成熟熟使用期。1.5“大大數據”帶來的機機遇（1）新一一代信息技技術融合應應用新焦點點對大數據的的處理和分分析正成為為未來新一一代信息技技術融合應應用的核心心支撐結點點。物聯網網、移動互互聯網、數數字家庭、社會化網網絡等都是是新一代信信息技術具具體的應用用形態，大大數據伴隨隨這些應用用不斷增長長，云計算算則為這些些海量的、多樣化的的大數據提提供存儲和和運算的支支撐平臺。以大數據據為結點，各各項新一代代信息技術術應用產生生的信息將將不斷匯集集，并通過過對不同來來源數據的的統一

16、性、綜合性的的處理、分分析與優化化，將結果果反饋或交交叉反饋到到物聯網、移動互聯聯網、數字字家庭、社社會化網絡絡等應用中中，又進一一步改善使使用體驗，并并創造出巨巨大的商業業價值、經經濟價值和和社會價值值。（2）信息息產業持續續高速增長長的新引擎擎大數據因其其巨大的商商業價值和和市場需求求正在推動動著信息產產業持續高高速增長。隨著行業業用戶對大大數據價值值的認可程程度增加，市市場需求將將出現井噴噴，面向大大數據市場場的新技術術、新產品品、新服務務、新業態態將會不斷涌涌現，大數數據將為信信息產業打打開一個高高增長的新新市場。在硬件與集集成設備領領域，大數數據面臨的的有效存儲儲、快速讀讀寫、實時時

17、分析等挑挑戰，將對對芯片、存存儲產業產產生重要影影響，還將將催生一體體化數據存存儲處理服服務器、內內存計算等等市場。在在軟件與服服務領域，因因為大數據據中蘊含的的巨大價值值，帶來對對數據快速速處理和分分析的迫切切需求，將將引發數據據挖掘、商商業智能市市場的空前前繁榮。（3）用戶戶提升競爭爭能力的新新動力對大數據的的利用將成成為企業提提高核心競競爭力、并并搶占市場場先機的關關鍵。企業業的決策正正在從“業務驅動動”轉變為“數據驅動動”。在未來來3到5年年，我們將將會看到那那些真正理理解大數據據并能利用用大數據進進行價值挖挖掘的企業業和不懂得得大數據價價值挖掘企企業之間的的差距。真真正能夠利利用好大

18、數數據、并將將其價值轉轉化成生產產力的企業業必將具備備強勁有力力的競爭優優勢，從而而成為行業業的領導者者。在零售售行業，對對大數據的的分析可以以使零售商商實時掌握握市場動態態并迅速做做出應對；在互聯網網行業，對對大數據的的分析可以以為商家制制定更加精精準有效的的營銷策略略提供決策策支持；在在服務行業業，對大數數據的分析析可以幫助助企業為消消費者提供供更加及時時和個性化化的服務；甚至在公公共事業領領域，大數數據也開始始發揮促進進經濟發展展、維護社社會穩定等等不可小覷覷的重要作作用。（4）推動動商業模式式的創新對于海量數數據而言，提提供髙附加加價值的數數據分析服服務，將數數據封裝為為服務形成成可對

19、外開開放、可商商業化的核核心能力，實實現商業模模式的創新新，才是大大數據運用用的關鍵所所在。對于于政府和企企業而言，至至少可以實實踐4種商業模模式的創新新。第一是是客戶關系系管理的創創新，通過過大數據分分析可以根根據客戶的的屬性，從從不同角度度深層次分分析客戶、了解客戶戶，推出新新的客戶關關系管理平平臺，以增增加新的客客戶，提高高客戶的忠忠誠度，降降低客戶流流失率。第第二是企業業經營決策策指導的創創新。企業業可以利用用用戶數據據，有效提提升資源利利用能力，提提高決策的的準確性，從從而提升整整體運營效效率。如，沃沃爾瑪通過過分析客戶戶購買產品品的種類組組合，適時時推出產品品聯合促銷銷信息，以以提

20、升產品品的銷量。第三是個個性化精準準推薦。企企業根據用用戶喜好推推薦各類產產品和業務務，如淘寶寶根據分析析客戶的檢檢索數據，適適時向客戶戶推送相關關產品的廣廣告信息。第四是創創新社會管管理。政府府可以將大大數據運用用到交通、應對突發發災害、維維穩等領域域中。如，在在大數據的的幫助下，什什么時間段段、哪條路路擁堵等問問題，都可可以通過分分析得知，通通過同一條條路上多個個用戶的手手機位移速速度，便可可以判斷當當時的路況況，為擁堵堵做出準確確預警。2“大數據據”的關鍵技術“大數據”已經不僅是是數據大這這一事實了了，更重要的是是要對大數據據進行分析析以獲取更多智能、深入和有價值的的信息。而而隨著“大數

21、據”在越來越越多的領域域得到應用用，“大數據”也變得越越來越復雜雜，因此“大數據”處理技術在大數數據領域就就顯得尤為為重要，可可以說是決決定最終信信息是否有有價值的決決定性因素素。大數據據應用分析析結果需要要經過數據據采集、預預處理、存存儲、分析析和挖掘等等多多個環環節才能最最終呈現出出來。2.1“大大數據”的采集和預處處理在數據分析析界有著一一個“拇指法則則”，即數據據分析工作作至少有770%880%的時時間都花在在搜集和準準備數據上上，而僅有有20%30%的的時間花在在分析本身身上。隨著著新技術采采集手段的的出現，數數據來源和和數據類型型變得豐富富多彩，企企業和機構構采集數據據首先需要要明

22、確所需需的數據內內容，并制制定好數據據分類存儲儲規則，以以便更有效效的采集數數據。按照照數據所有有者劃分，企企業數據采采集源可以以分成3類類：一類是是企業和機機構的內部部數據，如如系統日志志、生產經經營數據等等；一類是是合作機構構的內部數數據，可以以通過設定定好企業與與合作機構構的系統接接口進行采采集；還有有一類是大大量的網絡絡公開數據據，可以通通過網絡爬爬蟲或者網網站公開的的應用開發發接口（AAPI）將將所需信息息從網頁中中采集出來來。目前一一些互聯網網企業和開開源社區開開發的海量量數據采集集工具，如如Faceebookk的日志采采集工具SScribbe、淘寶寶的實時數數據傳輸平平臺Timm

23、eTunnnel等等，均已能能夠滿足每每秒數百MMB的日志志數據采集集和傳輸需需求。下面就物聯聯網及社交交網絡這兩兩個“大數據”的新型來來源進行簡簡單的介紹紹。（1）“大大數據”與物聯網網物聯網是一一個信息技技術領域的的熱詞，其其本質是傳傳感器技術術進步的產產物。遍布布大街小巷巷的攝像頭頭，是大家家可以直觀觀感受到的的一種物聯聯網形態。事實上，傳傳感器幾乎乎無處不在在，現在大大家常用的的智能手機機中，就包包括重力感感應器、加加速度感應應器、距離離感應器、光線感應應器、陀螺螺儀、電子子羅盤、攝攝像頭等各各類傳感器器。這些不不同類型的的傳感器，無無時無刻不不在產生大大量的數據據，這些成為大大數據的

24、重重要來源之之一。妥善善的利用這這些數據可可以監測大大氣的溫度度、壓強、風力，監監測橋梁、礦井的安安全，監測測飛機、汽汽車的行駛駛狀態等。（2）“大大數據”與社交網網絡社交網絡是是互聯網發發展史上一一個重要的的里程碑。它把人類類真實的人人際關系完完美地映射射到互聯網網空間，并并借助互聯聯網的特性性而大大升升華。社交交網絡使得得互聯網甚甚至具備某某些人類的的特質，譬譬如“情緒”：人們分分享各自的的喜怒哀樂樂，并相互互傳染傳播播。社交網網絡為“大數據”帶來一類類最具活力力的數據類類型，人們們的喜好和和偏愛。由于現實采采集的數據據與大數據據分析過程程中所需的的數據，會會存在結構構不一致或或不完整的的

25、情況，大大數據預處處理過程可可以通過數數據提取、轉換和加加載等操作作，對采集集的數據進進行初步的的組織和數數量，從而而提高大數數據分析質質量和效率率。2.2“大大數據”存儲技術術大數據存儲儲需要滿足足海量存儲儲、安全存存儲和快速速讀取的要要求。其中中海量存儲儲包含數據據容量和數數據文件量量兩個方面面，為保障障系統存儲儲容量能夠夠以較低成成本存儲海海量數據并并能實現快快速平滑擴擴展，分布布式存儲和和存儲虛擬擬化技術被被廣泛采用用；為更好好的對系統統中海量文文件進行有有效管理，將將數據傳輸輸和數據控控制分離開開的對象存存儲架構應應用廣泛。為了保障障數據安全全存儲不丟丟失，大數數據存儲過過程中會采采

26、用加密等等安全技術術，同時會會對數據進進行數次備備份。為了了支持數據據的快速讀讀取和并發發訪問，分分布式存儲儲和對象存存儲架構將將會更有效效。目前應應用廣泛的的大數據海海量文件存存儲技術主主要有谷歌歌文件系統統（GFSS）和基于于GFS發發展的開源源Hadooop分布布式文件系系統（HDDFS）等等。一些大型網網站將 “數據”視為最核核心的資產產，他們甚甚至花費高高昂的費用用來保管這這些數據，以以便加快用用戶的訪問問速度。谷谷歌公司購購買了單獨獨的水力發發電站，為為其龐大的的數據中心心提供充足足的電力。2.3“大大數據”分析技術當大數據的的采集和存存儲已經完完成，如何何分析數據據，將這些些碎片

27、化的的數據系統統化，在無無序的數據據和信息世世界里尋找找有序的連連接，挖掘掘到可應用用的價值，是是真正駕馭馭大數據的的重要環節節。大數據據的分析技技術，大致致包括5個基本方方法理論技技術：可視化分析析可視化分析析能夠直觀觀的呈現大大數據特點點，簡單明明了易于接接受。數據挖掘算算法大數據分析析的理論核核心就是數數據挖掘算算法，各種種數據挖掘掘的算法基基于不同的的數據類型型和格式能能更加科學學的呈現出出數據本身身具備的特特點，而這這些數據挖挖掘的算法法能夠快速的的處理大數數據。預測性分析析能力大數據分析析最重要的應應用領域之之一就是預預測性分析析，從大數數據中挖掘掘出特點，通通過科學的的建立模型型

28、，之后便便可以通過過模型帶入入新的數據據，從而預預測未來的的數據。（4）語義義引擎大數據分析析廣泛應用用于網絡數數據挖掘，可可從用戶的的搜索關鍵鍵詞、標簽簽關鍵詞、或其他輸輸入語義，分分析，判斷斷用戶需求求，從而實實現更好的的用戶體驗驗和廣告匹匹配。（5）數據據質量和數數據管理大數據分析析離不開數數據質量和和數據管理理，高質量量的數據和和有效的數數據管理能能夠保證分分析結果的的真實和有有價值。2.4“大大數據”與云計算算對于許多組組織來說，“大數據”對存儲容量的需求已經超出目前的存儲能力。我們正處于PB級存儲時代，而EB及存儲時代也即將到來。大容量的存儲不但要求系統具備在原有數據存儲規格上進行

29、擴展的能力，還要簡單快速的進行擴展。云計算就為為“大數據”的誕生提提供了集中中采集數據據和存儲數數據的基礎礎。云計算算的出現改變變了數據的的存儲和訪訪問方式，在云計算出現之前，數據大多分散保存在每個人的個人計算機中、每家企業的服務器中。云計算，尤其是公用云計算，把所有的數據集中存儲到“數據中心”，也即所謂的“云端”，用戶通過瀏覽器或者專用應用程序來訪問。一些大型的網站，通過提供基于“云”的服務，積累大量的數據，成為事實上的“數據中心”，這為“大數據”誕生奠定了基礎。而云計算及其技術給了人們廉價獲取巨量計算和存儲的能力，云計算分布式架構能夠很好地支持“大數據”存儲和處理需求。這樣的低成本硬件+低

30、成本軟件+低成本運維，更加經濟和實用，也使得“大數據”處理和利用成為可能。可以說云計算為“大數據”提供了存儲空間和訪問渠道，“大數據”則是云計算的靈魂和必然的發展方向。而近年來國內各地也興起了建設云計算基地的風潮，客觀上為“大數據”在我國的推廣和應用準備了必備的儲存空間和訪問渠道。3大數據產產業的應用用3.1大數數據產業“大數據”的應用能能帶來巨大大的經濟價價值和社會會價值，對于產業業發展而言言，“大數據”可以實現現應用創新新、降低行行業內的生生產成本并并創造新的的產業價值值。咨詢機機構麥肯錫錫最早提出出“大數據時時代已經到到來”，在20112年發布布的大數數據：創新新、競爭和和生產力的的下一

31、個領領域文章章上表明，在在零售業、制造業、醫療衛生生和公共部部門，“大數據”可以加快快產業規模模的增長速速度，降低低生產運營營成本；對對于企業而而言，采用用“大數據”可以提升升企業的競競爭力，改改善企業的的營銷規劃劃，客戶定定位，產品品創新、工工作流程優優化、人力力資源管理理、物理管管理和風險險控制等多多方面的能能力。目前前，數據已已經滲透到到當今每一一個行業和和業務職能能領域，成成為重要的的生產因素素，人們對于于海量數據據的挖掘和和運用，預預示著新一一波生產率率增長和消消費者盈余余浪潮的到到來。對于“大數數據”產業，政政府與公共共事業部門門、行業企企業、個人人消費者是是其的最終終用戶。在在政

32、府與公公共事業領領域，“大數據”可以應用用到城市規規劃、公共共安全、公公共交通、輿情管理理等社會管管理和民生生服務領域域，帶來效效率提升、響應速度度加快、服服務水平提提高、管理理成本下降降等諸多效效益。對于于行業企業業，“大數據”可以應用用到產品研研發設計、生產運作作管理、供供應鏈管理理、客戶關關系管理、企業品牌牌營銷等各各個環節，能能夠幫助企企業準確把把握市場需需求變動、提高產品品設計與生生產效率、提高供應應鏈的敏捷捷性和準確確性、實現現個性化精精準營銷，同同時也促進進IT技術術的創新。對于個人人消費者，通通過“大數據”的應用服服務將使信信息變得更更加泛在，從從家庭生活活、出行、消費、娛娛樂

33、、旅游游、學習等等方方面面面拓展民眾眾生活空間間、提高民民眾的生活活品質。 總結以往，“大數據”的應用價值可以分為感知現在和預知未來兩部分。感知現在 通通過對歷史史數據和當當前數據的的融合，以以及潛在模模式挖掘，力力求達到對對事物對群群體與社會會發展當前前狀態進行行更全面、更精確、更理性的的認知。這這種認知可可以是宏觀觀的，也可可以是微觀觀的。宏觀觀方面可以以對PB級級社會媒體體數據、百百億級日志志數據繼續續擰分析挖挖掘，掌握握宏觀現狀狀，如環境境指數，健健康指數等等。在微觀觀方面可以以利用PBB級的日志志數據和EEB級的監監控數據，挖挖掘潛在線線索，如犯犯罪行為軌軌跡等。預測未來通過對“大大

34、數據”彼此之間間的關聯分分析，演化化態勢和效效應的判定定與調控，揭揭示事物發發展的演變變規律，進進而對是事事物發展趨趨勢進行預預測。如基基于twiitterr等網上公公開數據的的實時感知知、動態獲獲取與綜合合分析，結結合仿真調調控，預測測大選結果果；聯合國國“全球脈動動”利用網絡絡大數據預預測失業率率與疾病暴暴發等現象象，利用數數字化的早早起預警信信號來提前前指導援助助項目，以以免某個脫脫貧地區重重新陷入貧貧困。這些些都說明了了正確的大大數據應用用對于準確確預測事件件發展趨勢勢具有重大大的價值，人人們可以給給予“大數據”更好的進進行科學決決策和事前前準備，未未來“大數據”預測技術術將會更廣廣泛

35、的運用用到人們的的日常生活活中，變革革人們的生生活。3.2“大大數據”在典型領領域中的應應用當前“大數數據”已經在物物理學、生物學、環境生態態學等領域域，以及軍軍事、金融、通訊等行行業有所應應用并帶來來了巨大的的產業價值值。以下本文文將舉出實實際案例以以介紹“大數據”在各個領領域的具體體應用。在IT領域域，一個典典型的案例例就是eBBay通過過數據分析析技術可以以精確計算算出廣告中中的每一個個關鍵字為為公司帶來來的回報，通通過對廣告告投放的優優化，自22007年年以來eBBay產品品銷售的廣廣告費降低低了99%，而頂級級賣家占總總銷售額的的百分比卻卻上升至332%。在經濟領域域，大數據據在經濟

36、領領域的應用用可以通過過這樣一個個有趣的案案例進行說說明，社交交媒體檢測測平臺DaataSiift檢測測了社交網網絡Facceboook首次公公開募股當當天Twiitterr上的情感感傾向與FFacebbook股股價波動的的關聯。在在Fcebbook開開盤前，TTwittter上的的情感逐漸漸轉向負向向，25分分鐘之后ttwittter的股股價就開始始下跌，當當twittter上上的情感轉轉向正面時時，Facceboook的股價價在8分鐘鐘后也開始始回彈，最最終當股市市接近收盤盤，twiitterr上的情感感轉向負面面時，100分鐘口FFacebbook的的股價又開開始下跌，該該機構得出出結論

37、，TTwittter上每每一次情感感傾向的轉轉向都會FFacebbook股股價的波動動高度關聯聯。這證實實以大數據據預測未來來股價走向向的典型案案例。氣象預測方方面，一家家美國公司司把氣象數數據放在亞亞馬遜的“云平臺”上進行處處理，以及及時提供氣氣象預報的的方式，保保證當地的的農牧業主主在特定的的地區以及及特定的季季節不會遭遭受天氣災災害，由此此獲得了豐豐厚的利潤潤。智能交通方方面，根據據路網監控控，火車票票及飛機票票的預定，以以及網上地地圖查詢記記錄，能夠夠提前預測測某個城市市的出行人人數的大致致規模，再再結合交通通部門的其其他信息，便便可以預測測出群體出出行的態勢勢，對其可可能的出行行時間

38、、出出行路線、出行方式式等進行預預測，從而而為城市交交通調度提提供決策幫幫助。軍事領域，美美國“20499項目研究究所”于20008年在華華盛頓成立立，20110年它利利用網絡上上公開的數數據和資料料，分析和和預測我國國在軍事和和經濟領域域的安全問問題，發布布了一份名名為中國國核彈頭存存放和使用用系統的的報告，稱稱在陜西、江西、四四川等地發發現了中國國的核武器器基地，甚甚至還精確確到了核基基地所在的的市縣名稱稱。20113年3月月，他們還還發布了一一份關于中中國無人機機項目的研研究報告，較較全面的分分析了中國國無人機的的研制、發發展、裝備備以及作戰戰部署情況況。 以以上都是“大數據”在一些實實

39、際領域的的應用，未未來“大數據”將會在更更多的領域域得到應用用，決策行行為將會基基于數據分分析做出，通通過對數據據的整理和和分析，政政府和企業業能夠預測測個體下一一步的需求求，進而提提供更加智智能與高效效率的管理理和服務。3.3智慧慧城市：立立體的大數數據生態系系統智慧城市是是城鎮化發發展的高級級階段，是是城市信息息化的新形形式，是現現代城市發發展的愿景景。智慧城城市在產生生大數據的的同時，“大數據”也支撐著著智慧城市市的建設和和發展，而而智慧城市市的衡量指指標是由“大數據”體現的。“大數據”挖掘對智智慧城市的的經濟發展展和社會管管理是無形形的生產資資料，“大數據”合理利用用將創造巨巨大財富。

40、在未來，大大數據將成成為維護城城市運行的的基本要素素，智慧城城市在“大數據”的支撐下下，成為立立體的大數數據生態系系統，促進進城市的發發展。3.3.11智慧城市市的產生隨著城市規規模的增大大、城市人人口的增多多，人們對對住房、教教育、交通通、醫療保保險等的需需求的也在在不斷膨脹脹。諸如高高房價、堵堵車、霧霾霾等“城市病”也越來越越多，傳統統的管理手手段已變得得捉襟見肘肘，而信息息化可以說說是抗擊“城市病”的有效手手段。伴隨著網絡絡帝國的崛崛起、移動動技術的融融合發展以以及創新的的民主化進進程，知識識社會環境境中的智慧慧城市是繼繼智能城市市之后信息息化城市發發展的高級級形態。利利用城市管管理中產

41、生生的大量信信息與數據據，積極促促進城市機機構之間的的實時溝通通和協助，分分析原因，制制定對策，有有效平衡社社會、商業業和環境發發展需要，優優化現有的的可用資源源，以最優優化的方式式為城市公公民提供全全面又超前前的服務，積積極提高公公民的生活活幸福感這種高效效、智能且且可持續的的城市管理理被稱為智智慧城市。可以說大大數據是智智慧城市實實現智慧化化的關鍵支支撐，成為為驅動智慧慧城市發展展的動力。智慧城市采采用以物聯聯網、云計計算、大數數據等為核核心的新一一代信息技技術，集成成城市的組組織（人）、業務（政政務）、交交通、通信信、能源等等城市運行行中的各個個核心系統統，使整個個城市成為為以一種更更有

42、智慧的的方式運行行的宏大的的智慧城市市系統，對對保障城市市正常運行行的每個系系統進行全全面的監測測、管理、預警和處處置，快速速、智能地地響應城市市管理者和和市民的各各種需求，提提高城市運運行效率，提提高政府決決策力。建設智慧城城市是城市市發展的新新范式和新新戰略，是是當今世界界城市發展展的趨勢和和特征。建建設智慧城城市對抗擊擊“城市病”具有強烈烈的現實意意義。首先先智慧化運運營通過運運用來自城城市多個部部門的信息息，進行數數據聚集和和規范化后后，識別出出相關的重重要事件，以以提升服務務質量。其其次，智慧慧化運營能能夠預測城城市發展的的問題與危危機，最大大限度降低低對城市居居民的影響響。如通過過

43、可視化重重要事件和和警報、地地理信息等等數據，識識別出模式式和趨勢，保保證行動有有依據，主主動觸發預預設的預案案以加快響響應，減少少服務中斷斷概率，避避免城市內內大型事故故擴大升級級，減少災災害的影響響。最后，智智慧城市可可實現通過過協調不同同部門的資資源，以提提高更快、更有效的的影響。“大數據”的智慧化化幫助管理理者跨部門門決策、協協調，提高高公共服務務交付效率率，減少應應對突發災災害的響應應時間。3.3.22全球智慧慧城市的實實踐全球在智慧慧城市的實實踐中展現現了各自不不同的設計計理念：美國在智慧慧城市建設設方面選擇擇智能電網網進行突破破，注重于于商業機構構的合作，利利用UrbbanSii

44、m等智能能化的城市市仿真系統統對城市空空間發展進進行優化。在美國22009年年的經濟復復蘇計劃中中，有項高高達1100億美元的的投資，用用于建設可可安裝各種種控制設備備的新一代代智能電網網。日本在20009年77月推出“智慧日本本戰略20015”，旨在將將數字信息息技術融入入生活的方方方面面，聚聚焦于電子子化政府治治理、醫療療健康信息息服務、教教育與人才才培養3大大公共事業業。韓國政府于于20044年提出了了“U-韓國國”發展戰略略，經過多多年的實踐踐，首爾、釜山等一一些城市已已進入“泛在城市市”時代。“泛在城市市”以“建設尖端端信息城市市，提高市市民生活質質量和城市市競爭力”為目標，利利用無

45、線傳傳感器網絡絡，實現對對城市設施施、安全、交通、環環境等方面面的智能化化管理和控控制。根據國際數數據公司預預計，20011年，全全球新型智智慧城市信信息技術的的市場規模模達到3440億美元元，并將以以每年超過過18%的的速度增長長，到20014年將將達到5770億美元元。3.3.33.中國智智慧城市2012年年11月，住住房和城鄉鄉建設部辦辦公廳發布布關于開開展國家智智慧城市試試點工作的的通知，將將建設智慧慧城市作為為貫徹黨中中央、國務務院關于創創新驅動發發展、推動動新型城鎮鎮化、全面面建成小康康社會的重重要舉措，要要求各地高高度重視，抓抓住機遇，通通過積極開開展智慧城城市建設，提提升城市管

46、管理能力和和服務水平平，促進產產業轉型發發展。截至20112年7月月，中國共共有1500多個城市市提出建設設或正在建建設智慧城城市，其中中，北京、上海、廣廣州等城市市是智慧城城市創建進進程的領跑跑者。總體體上說，中中國東部地地區智慧城城市建設重重點在于以以信息技術術促進轉變變經濟發展展方式，提提高社會管管理水平，提提升城市競競爭力，塑塑造城市品品牌。中西西部地區智智慧城市的的建設更加加注重對城城市的宣傳傳推廣作用用，力爭通通過智慧城城市建設促促進投資軟軟硬件環境境的改善，加加強招商引引資。中國智慧城城市建設分分為前期基基礎設施建建設、中期期數據處理理設施建設設和后期的的服務平臺臺建設。就就智慧

47、城市市的建設內內容來看，一一方面是加加強城市基基礎通信網網絡建設，提提高通信網網絡帶寬及及覆蓋率；另一方面面是在一個個云計算平平臺之上提提供智慧應應用服務，如如智慧交通通、智慧醫醫療等。相相關的建設設涉及通信信設備制造造企業、系系統集成企企業、數據據采集分析析企業、通通信運營商商和數據服服務企業，對對整個產業業鏈將起到到巨大的拉拉動作用。中國智慧城城市建設有有三種模式式：一種是是以物聯網網產業發展展為驅動的的建設模式式，如天津津、廣州等等；一種是是以信息基基礎設施建建設為先導導的建設模模式，如上上海、南京京等；一種種是以社會會服務與管管理應用為為突破口的的建設模式式，如北京京、武漢等等。在中國

48、智慧慧城市建設設中，應當當注意以下下幾點：（1）要因因城而異，不不能照搬西西方的模式式。智慧城城市建設目目標的確立立要符合城城市當前的的發展階段段，解決居居民最迫切切需要解決決的問題，走走出中國智智慧城市建建設的差異異化道路。（2）注重重政府統籌籌，打破行行業、地域域壁壘，建建立智慧城城市大數據據的共建共共享機制。（3）大力力推動智慧慧城市的創創新應用，實實現創新示示范項目應應用的落地地。（4）完善善智慧城市市建設中大大數據信息息安全的基基礎建設及及管理體制制，從技術術、管理和和法律等多多方面保證證智慧城市市建設的正正常運行。4問題與挑挑戰“大數據”對社會的的好處是無窮無盡盡的，它在在一定程度

49、度上解決可可迫在眉睫睫的全球問問題，如處處理氣候變變化、根除除疾病等，然而“大數據”在帶來大知識、大發展、大價值的同時，也潛藏著巨大的風險。4.1數據據質量 真真實準確是是數據的生生命，組織織如果沒有有能力獲得得真實數據據，數據規規模再大、數據分析析技術再先先進也是徒徒勞。另外外由于受到到城鄉差異異、地域差差異等的影影響，社會會上弱勢群群體的信息息占有和表表達處于弱弱勢，這就就造成了數數據鴻溝的的存在。而而數據造假假、數據鴻鴻溝等問題題在大數據據時代依然然存在，偏偏見和盲區區存在于大大數據中，大大數據得出出的結論并并不是完全全客觀、準準確的，它它并不能提提供價值判判斷，也不不能完全取取代人的經

50、經驗和直覺覺。認清這這個事實，能能夠幫助我我們在運用用大數據的的過程中，更更科學的解解讀數據。4.2數據據安全數據安全在在大數據時時代也同樣樣面臨挑戰戰。大數據據發展的趨趨勢往往與與加大信息息開放、設設計新的信信息收集設設備以及為為海量數據據的龐大存存續和分析析需求提供供支持的云云計算等如如影隨形。帶來的副副作用是IIT基礎架架構將變得得越來越一一體化和外外向型，對對數據安全全和知識產產權構成更更大風險。4.3用戶戶隱私與便便利性的沖沖突“大數據”對個人信信息獲取渠渠道的拓寬寬的需求引引發了另一一個重要問問題：隱私私和便利性性之間的沖沖突。研究究表明，消消費者受惠惠于海量數數據：更低低的價格、

51、更符合消消費者需要要的商品，以以及從改善善健康狀況況到提高社社會互動順順暢度等生生活質量的的提高。但但同時，隨隨著個人購購買偏好、健康和財財務情況的的海量數據據被收集，人人們對隱私私的擔憂也也在增大。這需要政政府和企業業從政策、技術和法法律等多個個方向進行行思考和應應對。4.4龐大大能耗 向向來被人們們認為是綠綠色環保的的信息產業業其實是污污染和耗能能大戶，調調查結果發發現，數據據中心浪費費的電力高高達總能耗耗的90%以上。業業內專家估估計，全球球范圍內所所有數據中中心的總功功率高達33000萬萬千瓦，幾幾乎等于330座核電電站的發電電量。盡管管現在已經經有許多辦辦法幫助數數據中心降降低能耗，

52、但但出于對風風險的恐懼懼，多數公公司不愿作作出任何改改變。目前前，中國多多個地區已已經開始或或計劃興建建大型數據據中心，在在建設過程程中應提前前考慮能耗耗問題，以以免重蹈覆覆轍。4.5數據據分析與管管理人才緊緊缺人才是大數數據帶來的的挑戰之一一。研究表表明，單單單在美國，對對擁有深厚厚的海量數數據分析（包包括機器學學習和高級級統計分析析）技能人人才的需求求，可能超超出目前預預測供應量量的50-60%。到20118年，需需要新增多多達14-19萬名名專家。此此外，還需需要1500萬名熟悉悉如何應用用海量數據據的管理者者和分析員員。企業和和政府必須須加大招聘聘和人才挽挽留力度，同同時大力投投入關鍵

53、數數據人員的的教育和培培訓。4.6跟風風現象較為為嚴重目前大數據據應用市場場還沒有很很大，要等等到數據、技術和系系統的準備備有了一定定的突破之之后才會出出現飛速的的發展，但但是從現在在工業界發發展的情境境看來，很很多企業出出現了跟風風上項目、跟風賣產產品的現象象。在現今今“大數據”的發展情情境看來，政府和企業要做到結合行業和產業的特點進行整體的規劃，之后逐步實施，做到不慌張、不跟風也不要坐失良機。4.7缺少少技術創新新水平較高高的互聯網網公司從全球來看看，大數據據技術創新新水平分布布極不均衡衡，如谷歌歌、Facceboook、IBBM公司的的技術遙遙遙領先于我我國企業，總體來說，國際形成了“原

54、創技術-開源軟件-商用產品”的技術創新鏈條，并以此為基礎初步衍生了從存儲和計算平臺、數據分析軟件到大數據云服務的產業生態。我國未來大數據的發展必然會受到技術水平的影響，如何加大創新投入力度，提高我國大數據技術水平成為未來我國大數據產業發展的一大問題。5對大數據據產業發展展的建議展望未來，大大數據發展展的序幕剛剛剛拉起，冷冷靜的思考考是十分必必要的，大大數據在更更多領域落落地實施還還是要經歷歷一個較長長期的過程程，而在這這個過程中中離不開政政府、企業業和公民的共共同努力。 5.1政府府方面“大數據”是立足全全局、面向向未來的重重大戰略，將將為中國創創造社會經經濟創新發發展的重要要機遇，將將引領公

55、共共管理與服服務的變革革。實施大大數據戰略略，對于政政府部門來來說，不僅僅意味著要要上馬多少少高新科技技項目，更更意味著要要調整自身身運作的機機制，進行行一次政府府理念的創創新，政府府職能的轉轉變、政府府流程的再再造。（1）政府府要成為“大數據”的實踐者者，積極推推動大數據據的全面落落地，在領導意識識、組織文文化、組織織結構和工工作流程等等各方面的的整體優化化，鼓勵率率先在政府府部門和公公共事務中中推動“大數據”的應用，更好的增增強服務能能力，樹立立更加開放放、透明、負責、高高效的政府府形象。（2）政府府部門作為為“大數據”的實踐者者應該建構構一套數據據系統，這這個數據系系統需要包包括3個必必備因素：天上有云云（云平臺臺）、地上上有網（物物聯網、泛泛在網）、中間有數數（數據）。所謂天上有有云就是建建立政府云云平臺，把把離散在指指揮中心、公安、交交通等單位位的信息資資源，聚合合成集預案案庫、知識識庫、專家家庫、案例例庫隊伍庫庫、地理信息息庫為一體體的應急信信息資源云云，通過統統一指揮調調度，在各各類突發事事件的處理理過程中為為各