第8章

大數據和云計算技術簡介8.1大數據的概念8.2云計算的基本概念8.3大數據和云計算融合的必然趨勢小結

大數據(BigData)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理并整理成為幫助企業經營決策的資訊。大數據需要特殊的技術來有效地處理大量的規定時間內的數據。適用于大數據的技術包括大規模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

8.1大數據的概念

大數據是所涉及的資料量規模巨大，無法在規定時間內通過常規軟件工具對其內容進行擷取、管理和處理的數據集合。大數據需要滿足“4V”特征，即數據量大(Volume)、數據的種類多(Variety)、數據的增長及處理速度快(Velocity)、數據蘊藏價值大(Value)，而能滿足這4個根本特征的才能稱為大數據。

數據量大(Volume)指的是數據的采集、存儲和計算的量都非常大，大數據通常指10TB以上規模的數據量。造成數據量增大的原因很多，例如，監控和傳感設備的使用，使我們感知到更多的事務，這些事務的數據將被部分或者完全存儲；(移動)通信設備的使用，使得交流的數據量成倍增長；基于互聯網和社會化網絡的應用的發展，數以億計的用戶每天都會產生大量的數據。

數據種類多(Variety)是指數據的種類和來源較多，例如多種傳感器、智能設備、社交網絡等，包括結構化、半結構化和非結構化，以及圖片、音頻、視頻、地理位置等多類型的數據，實際上就是具有多個時段(歷史的、現在的)、多種媒體、多個來源、異構(結構化、半結構化、非結構化)的數據。

數據的增長及處理速度快(Velocity)是指數據每分每秒都在爆炸性地增長，而對數據的處理速度要求也很高，數據的快速動態的變化使得流式數據成為大數據的重要特征，對大數據的處理要求具有較強的時效性，能夠實時地查詢、分析、推薦等。

數據蘊藏價值大(Value)是指在海量的數據中，存在著巨大的被挖掘的商業價值，然而由于數據總量的不斷增加，數據的單位價值密度卻相對較低，如何通過強大的數據挖掘算法，結合企業的業務邏輯來從海量數據中獲取有用的價值，是大數據要解決的重要問題。大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。

除了上述的4個根本特征外，大數據與傳統的數據處理技術最明顯的一個區別是，大數據要求在線處理。

大數據的總體架構包括三層：

(1)數據存儲層。數據有很多種分類方法，有結構化、半結構化、非結構化，也有元數據、主數據、業務數據，還可以分為GIS、視頻、文件、語音、業務交易類各種數據。

(2)數據處理層。數據處理層解決的核心問題在于出現分布式存儲后，存儲方式的改變所帶來的數據處理上的復雜度，海量數據存儲則帶來了數據處理上的時效性要求。

(3)數據分析層。數據分析層的重點是挖掘大數據的真正價值所在，而價值的挖掘核心又在于數據分析和挖掘。

數據分析只關注兩個內容：

一個是傳統數據倉庫下的數據建模，在該數據模型下需要支持上面各種分析方法和分析策略；

另一個是根據業務目標和業務需求建立的KPI指標體系，對應指標體系的分析模型和分析方法。解決了這兩個問題，就基本解決了數據分析的問題。

從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式計算架構。它的特色在于對海量數據的挖掘，但它必須依托云計算的分布式處理、分布式數據庫、云存儲和/或虛擬化技術。物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數據來源或者承載的方式。

大數據最核心的價值在于對海量數據的存儲和分析。相比現有的其他技術，大數據具有廉價、迅速、優化三大特點。

8.1.1大數據處理的六大工具

1.?Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，它是以一種可靠、高效、可伸縮的方式進行處理的。

它主要有以下幾個優點：

(1)高可靠性。

(2)高擴展性。

(3)高效性。

(4)容錯性。

2.?HPCC

高性能計算與通信(HighPerformanceComputingandCommunications，HPCC)是1993年由美國科學、工程、技術聯邦協調理事會向國會提交的“重大挑戰項目：高性能計算與通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。

該項目主要由五部分組成：

(1)高性能計算機系統(HPCS)，內容包括今后幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等。

(2)先進軟件技術與算法(ASTA)，內容包括巨大挑戰問題的軟件支撐、新算法設計、軟件分支與工具、計算及高性能計算研究中心等。

(3)國家科研與教育網絡(NREN)，內容包括中接站及10億位級傳輸的研究與開發。

(4)基本研究與人類資源(BRHR)，內容包括基礎研究、培訓和課程教材，通過長期的調查，在可升級的高性能計算中來增加被調查人員的創新意識流；通過高性能的計算訓練和通信，增加人員之間的聯絡，以此來支持調查和研究活動。

(5)信息基礎結構技術和應用(IITA)，目的在于保證美國在先進信息技術開發方面的領先地位。

3.?Storm

Storm是自由的開源軟件，是一個分布式的、容錯的實時計算系統，用于處理Hadoop的批量數據且非常可靠。Storm支持許多種編程語言，且易于配置及使用。Storm由Twitter開源而來，其他知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

4.?ApacheDrill

為了幫助企業用戶尋找更為有效以及加快Hadoop數據查詢的方法，Apache軟件基金會發起了一項名為Drill的開源項目。ApacheDrill實現了Google’sDremel。

該項目將會創建出開源版本的谷歌DremelHadoop工具(谷歌使用該工具來為Hadoop數據分析工具的互聯網應用提速)。而Drill將有助于Hadoop用戶更快地查詢海量數據集。

Drill項目其實也是從谷歌的Dremel項目中獲得的靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在AndroidMarket上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

通過開發DrillApache開源項目，組織機構將有望建立Drill所屬的API接口和靈活強大的體系架構，從而有助于支持廣泛的數據源、數據格式和查詢語言。

5.?RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，其特點包括：

(1)拖拽建模，自帶1500多個函數，無須編程，簡單易用；同時也支持各種常見語言代碼的編寫，以符合程序員個人習慣和實現更多功能。

(2)?RapidMinerStudio社區版和基礎版免費開源，能連接開源數據庫，商業版能連接幾乎所有數據源，功能更強大。

(3)豐富的擴展程序，如文本處理、網絡挖掘、Weka擴展、R語言等。

(4)數據提取、轉換和加載(ETL)功能。

(5)生成和導出數據、報告和可視化。

(6)為技術性和非技術性用戶設計的交互式界面。

(7)通過WebServices應用將分析流程整合到現有工作流程中。

6.?PentahoBI

PentahoBI平臺不同于傳統的BI產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業級BI產品、開源軟件、API等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列面向商務智能的獨立產品(如Jfree、Quartz等等)能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

PentahoSDK共包含五個部分：Pentaho平臺、Pentaho示例數據庫、可獨立運行的Pentaho平臺、Pentaho解決方案示例和一個預先配制好的Pentaho網絡服務器。其中Pentaho平臺是Pentaho最主要的部分，囊括了Pentaho平臺源代碼的主體；Pentaho數據庫為Pentaho平臺的正常運行提供數據服務，包括配置信息、Solution相關的信息等，對于Pentaho平臺來說，它不是必需的，通過配置是可以用其他數據庫取代的；可獨立運行的Pentaho平臺是Pentaho平臺的獨立運行模式的示例，它演示了如何使Pentaho平臺在沒有應用服務器支持的情況下獨立運行；Pentaho解決方案示例是一個Eclipse工程，用來演示如何為Pentaho平臺開發相關的商業智能解決方案。

8.1.2大數據在我國的未來之路

1.大數據的基本特點

大數據的基本特點如下：

(1)數據體量巨大。從TB級別，躍升到PB級別。

(2)數據類型繁多，如前文提到的網絡日志、視頻、圖片、地理位置信息等等。

(3)價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。

(4)處理速度快，遵循1秒定律。這一點也和傳統的數據挖掘技術有著本質的不同。

2.我國大數據的變革之路

國務院發布的《促進大數據發展行動綱要》(以下簡稱“綱要”)將大數據發展確立為國家戰略。黨的十八屆五中全會明確提出，實施“互聯網+”行動計劃，發展分享經濟，實施國家大數據戰略。大力發展工業大數據和新興產業大數據，利用大數據推動信息化和工業化深度融合，從而推動制造業網絡化和智能化，正成為工業領域的發展熱點。明確工業是大數據的主體，工業大數據的價值正是在于它為產業鏈提供了有價值的服務，提升了工業生產的附加值。工業大數據的最終作用是為工業的發展、工業企業的轉型升級提供有價值的服務。

8.2云計算的基本概念

云計算(CloudComputing)是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。云是網絡、互聯網的一種比喻說法。過去在圖中往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。

狹義云計算指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需資源；

廣義云計算指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需服務，這種服務可以是IT和軟件、互聯網相關，也可是其他服務。它意味著計算能力也可作為一種商品通過互聯網進行流通。可以概括地說：云計算是通過網絡提供可伸縮的廉價的分布式計算能力。

8.2.1廣義的云計算和狹義的云計算

狹義的云計算是指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的，并且可以隨時獲取、按需使用、隨時擴展、按使用付費。這種特性經常被稱為像水電一樣使用IT基礎設施。廣義的云計算是指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的服務。這種服務可以是IT和軟件、互聯網相關的，也可以是任意其他的服務

易拓云指出云計算是技術驅動的核心，是商業模式變革的基礎。云計算的IT架構變革使得“互聯網+”、大數據戰略蓬勃發展，龐大的計算能力使得深度學習、人工智能商業化進程加速。云計算是板塊技術驅動的核心，其基礎設施建設在未來3～5年內將維持高景氣度；同時云計算所實現的應用線上化、數據資產化、服務生態化，也將成為商業模式變革的基礎。

云計算的好處是：

(1)安全。云計算提供了最可靠、最安全的數據存儲中心，用戶不用再擔心數據丟失、病毒入侵等麻煩。

(2)方便。它對用戶端的設備要求低，使用起來很方便。

(3)數據共享。它可以輕松實現不同設備間的數據與應用共享。

(4)無限可能。它為人們使用網絡提供了無限多的可能。

8.2.2云計算的工具與服務

1.云計算的十大工具

(1)?Cloudability。工具類型為云成本分析。

(2)?S3生命周期追蹤器、EC2預留探測器、RDS預留探測器。工具類型為云優化。

(3)?AtomSphere。工具類型為云集成。

(4)?Enstratius。工具類型為云基礎設施管理。

(5)?InformaticaCloud2013春季版。工具類型為云數據集成。

(6)?CloudHub。工具類型為云集成服務。

(7)?Chef。工具類型為云配置管理。

(8)?Puppet。工具類型為云配置管理。

(9)?RightScaleCloudManagement。工具類型為云管理。

(10)?AgilityPlatform。工具類型為企業云管理。

2.云計算的幾種服務

1)?IaaS

IaaS(InfrastructureasaService)：基礎設施即服務。消費者通過Internet可以從完善的計算機基礎設施中獲得服務。

2)?PaaS

PaaS(PlatformasaService)：平臺即服務。PaaS實際上是指將軟件研發的平臺作為一種服務，以SaaS的模式提交給用戶。

3)?SaaS

SaaS(SoftwareasaService)：軟件即服務。它是一種通過Internet提供軟件的模式，用戶無須購買軟件，而是向提供商租用基于Web的軟件，來管理企業經營活動。

8.2.3云計算的發展前景

1．云建站

云建站是隨著云計算技術成熟而興起的一種新型整合式技術平臺，面向有初級建站經驗基礎的人員或美工，通常采用知名的IaaS提供商服務作為基礎設施提供網絡設備；同時提供云端開發平臺，開發者在平臺中編寫網站模板代碼，運行在瀏覽器中的開發器提供代碼高亮、代碼智能感知、數據接口等本地開發中也經常用到的輔助開發功能。

云建站平臺是集開發環境、分布式文件存取、服務器部署等于一體的云端Web開發平臺。平臺通過非常簡單易學的模板語言允許開發者對網站進行100%的前端樣式定制設計，底層架構和基礎設施提供防火墻、緩存、負載均衡、故障轉移、CDN文件I/O等來保障網站安全性、高性能和高可用性。

開發者可以通過開發平臺對網站的所有頁面，模板源代碼，圖片添加、編輯和刪除等開發定制操作。開發平臺中提供完善的代碼高亮支持，常用前端類庫等大大降低了開發者對平臺和模板語言的學習成本。隨著語法智能提示、可拖拽設計的控件庫、在線圖片處理等輔助開發工具的推出，Web的快速開發得到實現，進一步降低了Web的開發成本。

2．云物聯

“物聯網就是物物相連的互聯網”。這有兩層意思：

第一，物聯網的核心和基礎仍然是互聯網，是在互聯網基礎上延伸和擴展的網絡；

第二，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信。

物聯網的兩種業務模式：

(1)?MAI(M2MApplicationIntegration)，內部MaaS；

(2)?MaaS(M2MasaService)，MMO，Multi-Tenants(多租戶模型)。

隨著物聯網業務量的增加，對數據存儲和計算量的需求將帶來對“云計算”能力的要求：

(1)云計算：仍處在從計算中心到數據中心的物聯網初級階段，PoP即可滿足需求；

(2)在物聯網高級階段，可能出現MVNO/MMO營運商(國外已存在多年)，需要虛擬化云計算技術、SOA等技術的結合實現互聯網的泛在服務：TaaS(everyThingasaService)。

3．云安全

云安全(CloudSecurity)是一個從“云計算”演變而來的新名詞。云安全的策略構想是：使用者越多，每個使用者就越安全，因為如此龐大的用戶群足以覆蓋互聯網的每個角落，只要某個網站被掛或某個新木馬病毒出現，就會立刻被截獲。

4．云存儲

云存儲是在云計算(CloudComputing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量的各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。當云計算系統運算和處理的核心是大量數據的存儲和管理時，云計算系統中就需要配置大量的存儲設備，那么云計算系統就轉變成為一個云存儲系統，所以云存儲是一個以數據存儲和管理為核心的云計算系統。目前提供云存儲業務的國內企業有聯想網盤和燕麥企業云盤(OATOS企業網盤)。

5．云通信

云通信(CloudCommunication)是云計算技術在通信領域的一種受到推廣應用的解決方案。云通信技術主要是在對IaaS、PaaS、SaaS等云計算技術應用層進行分析提取的基礎上，將智能云、云存儲、云交互、云數據、彈性云計算、云分享等云計算技術應用到傳統的通信行業，實現對傳統通信技術的革命性改造，讓通信技術進入云應用及大數據管理時代。

6．云游戲

云游戲是以云計算為基礎的游戲方式，在云游戲的運行模式下，所有游戲都在服務器端運行，并將渲染完畢后的游戲畫面壓縮后通過網絡傳送給用戶。在客戶端，用戶的游戲設備不需要任何高端處理器和顯卡，只需要基本的視頻解壓能力就可以了。

7．云教育

視頻云計算應用于教育行業，流媒體平臺采用分布式架構部署，分為Web服務器、數據庫服務器、直播服務器和流服務器，如有必要，可在信息中心架設采集工作站，搭建網絡電視或實況直播應用。在各學校已經部署錄播系統或直播系統的教室配置流媒體功能組件，這樣錄播實況可以實時傳送到流媒體平臺管理中心的全局直播服務器上，與此同時錄播的學校特色課件也可以上傳存儲到教育局信息中心的流存儲服務器上，方便今后的檢索、點播、評估等各種應用。

8．云會議

云會議是基于云計算技術的一種高效、便捷、低成本的會議形式。使用者只需要通過互聯網界面，進行簡單的操作，便可快速、高效地與全球各地團隊及客戶同步分享語音、數據文件及視頻，而會議中數據的傳輸、處理等復雜技術由云會議服務商幫助使用者進行操作。

8.3大數據和云計算融合的必然趨勢

8.3.1大數據發展現狀大數據行業是以數據及數據所蘊含的信息價值為核心生產要素，通過數據技術、數據產品、數據服務等形式，使數據與信息價值在各行業經濟活動中得到充分釋放的賦能型產業。近年來，伴隨各國家和地區大數據產業政策鼓勵以及數字經濟的深入發展，全球范圍內大數據市場呈快速發展態勢。

大數據的特征體現在多個方面：在容量上，數據的大小決定了所考慮的數據的價值和潛在的信息；在種類上，體現為數據類型的多樣性；在速度上，主要是指獲得數據的速度高；在可變性上，體現為數據的變化導致質量的廣泛變化；在真實性上，體現為可獲得真實可靠的數據質量；在復雜性上，體現為數據量巨大、來源渠道多；在價值上，體現為合理運用大數據，以低成本獲得高價值。

1.行業概述

(1)大數據硬件：主要包括支撐大數據軟件和大數據服務運行的相關網絡、存儲和計算等IT硬件，大數據專屬硬件包括超融合一體機、智能終端、高性能計算機、高性能服務器、超大存儲設備等。

(2)大數據軟件：主要包括數據采集、數據處理、數據存儲、數據分析挖掘、數據應用、數據治理、數據交易和數據安全等大數據生命周期業務流程中的相關工具、中間件、平臺、應用等軟件產品。

(3)大數據服務：主要包括為金融、政府、電信、互聯網等行業客戶提供的基于其具體業務場景而開發的各類大數據解決方案，涉及業務咨詢、設計開發、軟硬件產品部署、系統運維等一系列服務；服務類型主要包括數據采集和預處理服務、數據分析挖掘服務、數據治理服務、數據交易服務等。

2.全球現狀

1)數據量

據統計，2021年全球大數據儲量達到53.7?ZB，同比增長22%。

從區域分布來看，我國國內的數據產生量約占全球數據產生量的23%，美國的數據產生量占比約為21%，EMEA(歐洲、中東、非洲)的數據產生量占比約為30%，APJxC(日本和亞太)數據產生量占比約為18%。

2)市場規模

當前，數據正在成為重組全球要素資源、重塑全球經濟結構、改變全球競爭格局的關鍵力量。隨著互聯網、移動互聯網、物聯網、5G等信息通信技術及產業的不斷發展，全球數據量呈爆發式增長態勢。受益于數據量及數據應用的快速增加，全球大數據市場規模快速增長。據資料顯示，2021年全球大數據行業市場規模為649億美元，同比增長13.5%。

3.中國現狀

1)市場規模

我國是數據資源大國，大力發展大數據技術，有利于將我國數據資源優勢轉化為國家競爭優勢，實現數據規模、質量和應用水平的同步提升。

2)企業情況

隨著近年來我國大數據產業的快速發展，行業相關企業數量也隨之迅速增長。

3)投融資情況

隨著我國大數據產業的快速發展以及價值的逐漸顯現，吸引了大批投資者的目光，行業投資市場十分火熱。

4.發展背景

1)政策

近年來隨著互聯網、移動互聯網、物聯網、5G等信息通信技術及產業的不斷發展，全球數據量呈爆發式增長態勢。數據作為和土地、資本、勞動力、技術同等重要的生產要素，在數字經濟不斷深入發展的過程中，地位愈發凸顯。

2)經濟

伴隨著新一輪科技革命和產業變革的持續推進，數字經濟已成為當前最具活力、最具創新力、輻射最廣泛的經濟形態，是國民經濟的核心增長極之一。

5.發展趨勢

1)分析方法創新

數據分析方法受算法、理論的限制和影響，隨著相關技術和領域的發展，數據分析方法也將面臨革命性的改變。

2)數據共享程度提高

數據收集是大數據技術應用的基礎環節，隨著社會信息的爆發式增長，數據收集工作壓力劇增。

3)大數據產業化應用

大數據與商業價值開發相掛鉤，其自身也表現出資源化發展的趨勢，即大數據已成為一種新的社會生產力。

8.3.2大數據形成條件與運作模式

1.大數據形成的條件

大數據需要龐大的數據積累，以及深度的數據挖掘和分析。大數據的形成有兩個條件：

一是豐富的數據源；

二是強大的數據挖掘分析能力。

從大數據中挖掘更多的價值，需要運用靈活的、多學科的方法。

2.大數據運作模式

云計算技術是目前解決大數據問題最重要且有效的手段。云計算提供了基礎架構平臺，大數據應用在這個平臺上得以運行。大數據是未來的行業發展趨勢，其發展已勢不可擋，而Hadoop作為更大規模分布式計算和存儲離線處理集群的代表。廣大開發者應抓住大數據機遇，選擇更適合的平臺技術，借助最優的解決方案，利用大數據開發出更智能、更個性化的新一代應用，最終實現應用經濟的轉型升級。

8.3.3大數據安全

1.大數據遭遇“安全門”

大數據像一枚硬幣，有其兩面性：

一方面它將催生新型科技公司，吸納科技人才就業，并為企業發展轉型提供新機遇；

另一方面它為個人、企業甚至國家帶來個人隱私危機，以及重構信息安全、競爭力差距拉大、數據產權爭端等諸多挑戰。

2.大數據安全靠管理

關于大數據的安全，坦率地講，任何一種安全，其關鍵的保障因素還是管理手段，特別是對密鑰的管理，這將影響整個加密過程。大數據的應用訴求將促使商業模式變革，并對技術架構形成沖擊，營運模式也將產生變化。

所以，為適應大數據時代的到來，要盡快制定信息公開法以加強網絡信息的保護，界定數據挖掘、利用的權限和范圍，使得大數據的挖掘和利用依法推進。應當既鼓勵面向群體、服務社會的數據挖掘，又要防止侵犯個體隱私；既提倡數據共享，又要防止數據被濫用。

8.3.4大數據時代的機遇與挑戰

1.大數據帶來大變革

“大數據”正給很多不同的行業帶來深刻的變革，這些變革表現在創造透明度，通過一些可控的實驗發現新的需求，對用戶進行細分，以及為客戶定制服務等。更重要的是，大數據孕育了新的商業模式。數據會成為企業資產負債表上非常重要的一項。

大數據分析技術不僅是促進基礎科學發展的強大杠桿，也是許多行業技術進步和企業發展的推動力。大數據的真正意義并不在于大帶寬和大存儲，而在于對容量大且種類繁多的數據進行分析并從中獲取信息和價值。

2.大數據時代的國家戰略

在大數據中心建設上，應將大數據管理上升到國家戰略層面，從國家戰略層面予以重視，因此特別要強調以下幾點：

(1)政府要由責任部門牽頭進行專項研究，從國家層面通盤考慮國家大數據發展的戰略。

(2)大數據從數據生成、信息收集到數據的發布、分析和應用，涉及各個層面。

(3)重視人才培養在大數據處理環節中的重要性，數據人才是點燃大數據價值的關鍵。

3.大數據時代的挑戰

鑒于數據的復雜性，大數據處理面臨著一系列的挑戰：

(1)在類似文本或視頻的非結構化數據上，如何理解及使用數據？

(2)該如何在數據產生時捕獲最重要的部分，并實時地將它交付給正確的人？

(3)鑒于當下的數據體積和計算能力，該如何儲存、分析及理解這些數據？

(4)人才匱乏。

(5)其他一些固有的挑戰，如隱私、訪問安全以及部署。

以下是Intel發布的大數據處理在中國的短板：

(1)數據的海量性。

(2)數據處理技術。

(3)信息公開。

(4)數據的真實性。

(5)非結構數據的不足。

4.云計算在大數據中的作用

大數據的爆發是產業和經濟信息化發展中遇到的棘手問題。由于數據流量和體量增長迅速，數據格式存在多源異構的特點，而我們對數據處理又要求準確、實時，以幫助我們發掘出大數據中潛在的價值，促進經濟發展和社會進步。物聯網、互聯網、移動通信網絡技術在近些年來的迅猛發展，致使數據產生和傳輸的頻度和速度都大大加快，催生了大數據問題，而數據的二次開發、深度循環利用則讓大數據問題日益突出。

大數據問題的解決，首先要從大數據的源頭開始梳理。既然大數據源于云計算等新興IT技術，就必然有新興IT技術的基因繼承下來。按需分配、彈性擴展、安全、開源、泛在化等特點是云計算的基因，這些基因也需要體現在大數據上。“云”的理念、原則和手段，也是理解大數據、克服大數據、應用大數據的制勝法寶和核心關鍵。大數據在系統及網絡結構、資源調度管理、數據存儲、計算框架等領域都是源自于云計算也依托于云計算的。云計算為大數據提供了堅實的基礎設施支撐及保障。

5.云計算與大數據的融合發展

從技術角度來說，云計算和大數據在很大程度上已經形成融合發展的態勢。當前的很多云計算服務，由于其規模的擴展，后臺都集成了大數據的存儲和處理。

從產業角度來看，云計算及大數據都已上升為中國的國家戰略，相關的技術和應用已經滲透到各個傳統行業及新興產業，國家的政策、資金引導力度不斷加大。

大數據上云其實有多種含義和選擇。由于大數據的特征，企業要自己搭建大數據的存儲及處理平臺，其投入和挑戰都是巨大的。

6.云計算與大數據的應用場景

1)在互聯網金融證券業的應用

大數據帶來的變化，首先是風險管理的理念和工具的調整。風險定價和客戶評價理念將會以真實、高效、自動、準確為基礎，形成客戶的精準畫像。基于數據挖掘的客戶識別和分類將成為風險管理的主要手段，動態、實時的監測而非事后的回顧式評價將成為風險管理的主要手段。

其次，大數據能大大降低金融產品和服務的消費者與提供者之間的信息不對稱現象。消費者可實時獲知對某項金融產品或服務的支持和評價。基于此，可以逐步實現業務流程的自主信息化，結合時間、人、產品路徑精準推送給精準人群；數據挖掘能力可將金融業務做到高效率、低成本。

第三，大數據使得產品更加安全可控和令人滿意。精準數據定位模式，對消費者而言，是安全可控、可受的。可控，是指雙方的風險可控；可受，是指雙方的收益(或成本)和流動性是可接受的。同時，高效貼心的服務還能提升用戶的滿意度。

最后，大數據將促進行業的泛在化。金融供給將不再是傳統金融業者的專屬領地，許多具備大數據技術應用能力的企業都會涉足、介入金融行業。有趨勢表明，銀行與非銀行間、證券公司與非證券公司間、保險公司與非保險公司間的界限將會非常模糊，金融企業與非金融企業間的跨界