1、大數據分析和內存計算第二講：云計算1目錄云計算云計算研究熱點2云計算3提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢4在web 2.0時代，人們從信息的被動接受者變成了主動創造者5云計算！如果數據是財富，那么大數據就是寶藏，而云計算就是挖掘和利用寶藏的利器！沒有強大的計算能力，數據寶藏終究是鏡中花；沒有大數據的積淀，云計算也只能是殺雞用的宰牛刀！6 云計算（Cloud Computing）,2007年第3季度才誕生的新名詞，僅過了半年多，其受到關注程度就超過網格計算（Grid Computing），而且關注度至今一直居高不下 7云計算的定義

2、 云計算是一種商業計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。云計算到底是什么？ 云計算有什么特點？8在動態、多機構參與的虛擬組織中協同共享資源和求解問題聚合分布資源 中間件同時使用多種計算資源解決計算問題的過程 將需要巨大計算能力的問題分成許多小部分進行處理，最后綜合結果資源分配分布式計算 并行計算網格計算 云計算尋找地外生命跡象科學項目SETIhomePlanet lab 分布式數據庫視頻點播超級計算天氣預報9云計算特點目標功能超大規模 虛擬化高可靠性 通用性 高可伸縮性 按需服務 極其廉價 大型用戶$ / 用戶運營成本#

3、 用戶數長尾理論獲利長尾市場 現有市場10云計算服務類型SaaS0302PaaS01IaaS將硬件設備等基礎資源封裝成服務供用戶使用 對資源的抽象層次更進一步，提供用戶應用程序運行環境 針對性更強，它將某些特定應用軟件功能封裝成服務 郵件遠程教育Mooc 云測試云開發阿里云亞馬遜11提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢121、歐盟第七框架計劃（FP7）2、歐盟視覺云（Vision）項目3、英國政府云（G-Cloud）1、十二五戰略新興產業2、云計算創新發展試點示范工作3、“中國云”國家規劃即將推出 韓國云計算全面振興計劃 日本總務

4、省云計算特區工程 澳大利亞政府：出臺云計算戰略1、美國能源部麥哲倫（Magellan）項目2、美國航天局（Nebula）項目13研發了彈性計算云EC2（Elastic Computing Cloud）和簡單存儲服務S3（Simple Storage Service）為企業提供計算和存儲服務 收費的服務項目包括存儲空間、帶寬、CPU資源以及月租費 誕生不到兩年的時間內，Amazon的注冊用戶就多達44萬人，其中包括為數眾多的企業級用戶 14Google搜索引擎建立在分布在30多個站點、超過200萬臺服務器構成的云計算設施的支撐之上，這些設施的數量正在迅猛增長Google的一系列成功應用，包括Go

5、ogle地球、地圖、Gmail、Docs等也同樣使用了這些基礎設施目前，Google已經允許第三方在Google的云計算中通過Google App Engine運行大型并行應用程序Hadoop模仿了Google的實現機制15IBM在2007年11月推出了“改變游戲規則”的“藍云”計算平臺，為客戶帶來即買即用的云計算平臺。IBM正在與17個歐洲組織合作開展名為RESERVOIR云計算項目，以“無障礙的資源和服務虛擬化”為口號。歐盟提供了1.7億歐元作為部分資金。IBM 已在全球范圍內建立了 13個云計算中心，并且已幫助數個客戶成功部署了云計算中心 16微軟于2008年10月推出了Windows

6、Azure操作系統。Azure(譯為“藍天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉型。微軟在2010年10月的PDC大會上，公布了Windows Azure云計算平臺的未來藍圖，跳出單純的基礎架構作服務的框架，將Windows Azure定位為平臺作服務 17中國 2008年，IBM先后在無錫和北京建立了兩個云計算中心 阿里巴巴成立了阿里云公司。還有許多公司觸云：騰訊、盛大、廣達、 800APP、世紀互聯 中國移動研究院已經建立起1024個CPU的云計算試驗中心；中國電信、中國聯通都有相應動作。華為、中興都轉入了云計算研發 作為云計算技術的一個分支，云安全技術通過大量客戶端的

7、參與和大量服務器端的統計分析來識別病毒和木馬，取得了巨大成功 2008年11月25日，中國電子學會專門成立了云計算專家委員會 2009年5月22日，中國電子學會隆重舉辦首屆中國云計算大會，1200多人與會，盛況空前。2010年5月，將舉辦第二屆，規模將達3000人; 2009年12月，舉辦中國首屆云計算學術會議 2010年5月，舉辦第二屆中國云計算大會 2011年5月，舉辦第三屆中國云計算大會 2012年5月，舉辦第四屆中國云計算大會18提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢19云計算技術體系結構20SOA構建層 管理中間件層 物理

8、資源層資源池層 計算機、存儲器、網絡設施、數據庫和軟件等 封裝云計算能力成標準的Web Services服務，并納入到SOA體系云計算的資源管理，并對眾多應用任務進行調度，使資源能夠高效、安全地為應用提供服務 將大量相同類型的資源構成同構或接近同構的資源池云計算體系結構21均衡使用云資源節點，檢測節點故障并試圖恢復或屏蔽之，并對資源的使用情況進行監視統計 資源管理 任務管理安全管理 用戶管理 云計算的管理中間件層 執行用戶或應用提交的任務，包括完成用戶任務映象（Image）的部署和管理、任務調度、任務執行、任務生命期管理等 實現云計算商業模式的一個必不可少的環節，包括提供用戶交互接口、管理和識

9、別用戶身份、創建用戶程序的執行環境、對用戶的使用進行計費等 保障云計算設施的整體安全，包括身份認證、訪問授權、綜合防護和安全審計等 22簡化的IaaS實現機制圖 23提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢24 網格計算在動態、多機構參與的虛擬組織中協同共享資源和求解問題 云計算與網格計算是什么關系？25計算網格 提供集成各種計算資源的、虛擬化的計算基礎設施 信息網格 一體化智能信息處理平臺，集成各種信息系統和信息資源，消除信息孤島，使用戶能按需獲取集成后精確信息 知識網格 研究一體化的智能知識處理和理解平臺，使得用戶能方便地發布、處

10、理和獲取知識 26概念比較27網格計算與云計算的關系，就像是OSI與TCP/IP之間的關系 云計算是網格計算的一種簡化形態，網格不僅要集成異構資源，還要解決許多非技術的協調問題，也不像云計算有成功的商業模式推動，所以實現起來要比云計算難度大很多。但對于許多高端科學或軍事應用而言，云計算是無法滿足需求的，必須依靠網格來解決。 不久的將來，建立在云計算之上的“商業2.0”與建立在網格計算之上的“科學2.0”都將取得成功。 網格技術主要解決分布在不同機構的各種信息資源的共享問題，而云計算主要解決計算力和存儲空間的集中共享使用問題。 Gloud（云格）=Grid+Cloud 28云計算與大數據云計算是

11、一種通過Internet以服務的方式提供動態可伸縮的虛擬化資源的計算模式云計算是繼大型主機、PC、互聯網之后的IT領域的最新一次重大變革Amazon和Google是始作俑者云計算技術、CTO、成本大數據業務、CEO、價值云計算遭遇大數據是發展的必然趨勢29提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢30 云計算物聯網 3G 三網融合 移動互聯網 云計算發展環境31 3G將為云計算帶來數以億計的寬帶移動用戶。用戶的終端計算能力和存儲空間有限，卻有很強的聯網能力，對云計算有著天然的需求 云計算能夠給3G用戶提供更好的用戶體驗。云計算有強大的計

12、算能力、接近無限的存儲空間，并支撐各種各樣的軟件和信息服務，能夠為3G用戶提供前所未有的服務體驗 3G與云計算是互相依存、互相促進的關系32 物聯網與云計算是交互輝映的關系 從量上看，物聯網采集驚人的數據需要通過無線傳感網、寬帶互聯網向某些存儲和處理設施匯聚，而使用云計算來承載這些具有非常顯著的性價比優勢；從質上看，使用云計算設施對這些數據進行處理、分析、挖掘，可以更加迅速、準確、智能地對物理世界進行管理和控制 物聯網將成為云計算最大的用戶，將為云計算取得更大商業成功奠定基石33 移動互聯網和云計算是相輔相成的 通過云計算技術，軟硬件獲得空前的集約化應用 移動互聯網時代來臨，對用戶來講，最好的

13、體驗是淡化有線和無線的概念。云計算有望突破各種終端，顯示的內容、應用都能保持一致性和同步性 云計算對于云和端兩側都具有傳統模式不可比擬的優勢 34三網融合為云計算提供切實的應用機會 云計算技術使得一些從事傳統行業的企業也能搭上三網融合和下一代廣電網的快車 云計算在三網融合及下一代廣電網中的應用，涉及數據存儲、數據計算、數據再處理、軟件開發、數據傳輸、網絡協同等多個方面 35提 綱云計算的概念云計算發展現狀云計算實現機制網格計算與云計算云計算的發展環境云計算壓倒性的成本優勢36全球企業IT開銷Source: IBM Corporate Strategy analysis of IDC data,

14、 Sept. 200737數據中心規模經濟性項目中型數據中心成本特大型數據中心成本比率網絡$95 每 Mb/秒/月$13 每 Mb/秒/月7.1存儲$2.20 每 GB/月$0.40 每 GB/月5.7管理每個管理員約管理140個服務器每個管理員管理1000個服務器以上7.138不同地區電力價格價格 地點可能的定價原因3.6美分愛達荷州水力發電，沒有長途輸送10.0美分加州電力在電網上長途輸送，灣區的輸送線有限，加州不允許煤電18.0美分夏威夷發電的能源需要海運到島上39“信息時代核電站”Google數據中心40夢想抑或惡夢？云計算提供彈性的服務，超大資源池中動態分配和釋放資源資源利用率達到8

15、0%左右，是傳統模式57倍 41云計算經濟性云計算將計算變成了大眾用得上和用得起的“水和電”421云計算有哪些特點？2云計算按照服務類型可以分為哪幾類？3云計算技術體系結構可以分為哪幾層？4云計算與網格計算的異同？5云計算與物聯網、三網融合的發展關系？思考43云計算研究熱點15/3/1044提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐平臺研究 應用研究 云安全研究 45 Lenk劃分方法 46提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐平臺研究 應用研究 云安全研究 47虛擬化技術 目前普遍使用三種虛擬機技術：VMware Infrastructur

16、e、Xen和KVM -VMware作為虛擬化技術中的龍頭，開發設計的VMware Infrastructure能創建自我優化的IT基礎架構，其優點如下：（1）通過服務器整合降低IT成本并提高靈活性（2）減少計劃內和計劃外停機以改進業務連續性（3）運行較少的服務器并動態關閉不使用的服務器 -Xen是由XenSource所管理的一個開源GPL項目。Xen是openSUSE和Novell主要支持的虛擬化技術，它能夠創建更多的虛擬機，每一個虛擬機都是運行在同一個操作系統上的實例 -KVM是指基于Linux內核（Kernel-based）的虛擬機（Virtual Machine），是以色列的一個開源組織

17、提出的一種新的虛擬機實現方案，也稱為內核虛擬機 48虛擬化要求15/3/1049數據存儲技術 特點 （1）在工作量可并行計算的提前下，計算能力是彈性的 （2）數據存儲在不信任的主機上 （3）數據通常是進行遠程復制 方案 -和事務處理相關的數據管理系統 -和分析相關的數據管理系統 基于分析的云數據庫管理系統應該具有以下性質和特點 （1）效率 （2）容忍錯誤 （3）能夠在異構的環境中運行 （4）能夠操作加密的數據 （5）能夠與商業化的智能產品進行交互 50資源管理技術 通用的云系統索引框架-框架中，處理節點以結構化覆蓋網絡的形式組織在一起，每個節點建立本體索引以加速數據訪問 最上層為用戶應用提供了

18、一個數據訪問接口 中間一層包含數千個處理節點，用來為用戶提供計算資源 最底層，處理節點的連接組織是松耦合的51資源管理技術網絡資源管理（Network Resource Management，NRM）系統引入一個不斷變化的基于CHAMELEON的軟件模塊及一個帶有虛擬節點的多結點網絡拓撲結構。這種基于軟件架構的資源管理系統NRM能夠通過接入相應的庫來管理不同種網絡設備 -大部分傳統的NRM僅能控制一種特定的網絡設備 -持續的NRM（Sustainable NRM），通過導入對應的控制庫實現不同種類的網絡設備的管理 52能耗管理技術 云平臺中能源優化問題（Shekhar Srikantaiah等

19、 ） -研究了云計算中能源消耗、資源利用率及整合后的工作性能之間的內在關系 -實驗步驟 -測試結果 -計算機性能變化曲線 -計算機能源消耗變化曲線 -降低能源消耗的資源整合算法-為滿足更多網絡服務需求，降低能耗，減少數字媒體下載量，可采用如下幾種措施（1）減少數字垃圾（2）進行策略性的界面設計（3）提高使用意識（4）避開使用高峰期53云監測技術 1大規模監測系統Chukwa（Jerome Boulon等 ）建立在Hadoop上的數據收集系統，用以監測和分析大規模分布式系統。同時它還包括一個可擴展的功能強大的工具集，用于顯示監測和分析的結果 -適配器-代理-存儲子系統 -Hadoop基礎服務中心

20、 54云監測技術 2虛擬機內部監測方法 （Lionel Litty等 ）-從監控虛擬機事件的范圍和干預具體事件的能力、對被監控虛擬機影響的程度、健壯性三個方面對基于主機代理、陷阱和檢查、檢測點和回滾、體系結構監控四種內部監測方法進行了對比分析-云計算提供商如何選擇內部監測方法的判斷原則 內部監測方法能 力影 響 程 度健 壯 性主機代理較好較差好主機代理 w/driver好差較差陷阱與檢查好較好差檢測點與回滾好較好差體系結構監控較差較好好55提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐平臺研究 應用研究 云安全研究 56All-Pairs編程模型 1All-Pairs -

21、問題簡單定義：編程模型All-Pairs輸入參數：集合A，集合B，函數F功能：使用函數F將集合A中的所有元素與集合B中的所有元素進行比較返回值：矩陣M，Mi,j = F（Ai,Bj）-困難 （1）調度延遲（2）失效概率（3）計算節點的數量（4）數據分發（5）隱藏的資源限制（6）失敗-模型步驟（1）建立模型系統（2）分發數據（3）調度批處理作業（4）收集結果和清理 57其他編程模型 2. Map-Reduce-Merge框架 Yahoo公司擴展了Map-Reduce框架，在Map-Reduce步驟之后加入一個Merge的步驟 58提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐

22、平臺研究 應用研究 云安全研究 59Cumulus：數據中心科學云 -主要為科學計算應用程序提供虛擬機、虛擬應用程序和虛擬計算平臺 -Cumulus前端節點是Globus虛擬工作空間服務的再實現 -OS Farm為云用戶提供了兩個界面：用戶能輸入虛擬機鏡像構建參數的Web界面和能通過wget訪問的HTTP服務 -兩種訪問方式：一種是Globus虛擬工作空間服務客戶端，另一種是通過網格計算工作臺或網格門戶 60CARMEN：e-Science云計算 -該項目供神經學家共享、整合、分析數據 -體系結構 -用戶，通過Web瀏覽器和富客戶端訪問CARMEN系統 -領域內的特定服務 -e-Science

23、核心云服務（工作流、數據管理、服務管理、元數據管理和安全組件 ） -核心云服務 （基本的存儲和處理 ）61RESERVOIR：云服務融合平臺 -IBM與SAP、Sun Microsystems及其他若干歐洲科研機構聯合開展一項名為RESERVOIR的云計算計劃，歐盟投資經費為1700萬歐元。該項目旨在建立一種“基于服務的網絡經濟模式” -RESERVOIR研究了當前無法實現的商業服務對系統性能的需求。RESERVOIR在公開標準基礎上建立一個具有可擴展性、靈活性、可靠性的框架以提供云計算服務 62TPlatform：Hadoop的變種 -體系結構 -PC集群層 -云計算平臺基礎設施層 -數據處

24、理應用層 -最大特點把大小不變的GFS固定文件塊變為大小可變的TFS文件塊，改進使得數據的分發和讀取有更好的性能 63Yahoo云計算平臺 -應用需求（1）在相同的硬件和軟件基礎設施上支持各種不同類型的應用程序（2）需要根據用戶的需求動態的提供計算資源（3）需要很高的安全保證（4）云中的系統必須易于操作（5）提供簡單易用的API接口（6）采用資源調度和負載均衡技術，快速高效地為用戶提供服務 -平臺包括三層服務，分別是基于內容的邊緣服務、消息服務和核心服務 64微軟的Dryad框架 -主要用來構建支持有向無環圖（Directed Acycline Graph，DAG）類型數據流的并行程序，根據程

25、序的要求進行任務調度，自動在各個節點上完成任務 -Dryad的執行過程可以看做二維管道流的處理過程 -二維Dryad管道模型定義了一系列操作，包括建立新的節點、在節點之間加入邊、合并兩個圖或是對任務的輸入和輸出進行處理等 65提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐平臺研究 應用研究 云安全研究 66語義分析應用對大規模的RDF三元組進行語義推理和查詢的速度之慢已深受廣大研究者關注 解決方案-應用Google的MapReduce框架來實現大規模分布式查詢和推理，將RDF圖分解成能夠被計算節點處理的小單位 -RDF分子法提供一個處于RDF圖和三元組之間的中間化的粒度方法

26、，由于RDF分子的自身缺陷，使得其性能受到限制，提出了將RDF進行擴展的方法，包括層次擴展和順序擴展，以克服其缺陷67生物學應用 Hadoop實現了兩個算法來研究解決生物信息計算的問題：一個是基本的局部相似性基本查詢工具（Basic Local Alignment Search Tool，BLAST）；另一個是基因集合增強分析（Gene Set Enrichment Analysis，GSEA）-BLAST：一個用來比對生物序列的一級結構的算法 -GSEA：DNA微點陣數據分析工具，用來檢測在顯性環境中，整個基因序列之間的相互關系，通過使用Hadoop，用Python重寫GSEA算法 68數據

27、庫應用 比較流行的云計算服務類型是將基礎設施作為服務（IaaS），最著名的商業IaaS是Amazon EC2，將數據庫應用部署到這種服務平臺上存在諸多挑戰 -1. 部署過程-2. 調整過程 -一些工具和技術 （1）運用模型（2）優化和控制算法（3）系統管理工具（4）綜合調整和暗示傳遞（Co-tuning and Hint Passing） 69地理信息應用 高性能工作流系統MRGIS -高效率執行GIS應用程序的基于MapReduce集群的并行和分布式計算平臺 -組成：設計接口、任務調度器和運行時間支持系統-系統的性能測試：兩組實驗，第一組實驗是GIS工作流中典型的代數運算，測試輸入是單獨的數

28、據集，數據采用Arc/ASC格式。第二組實驗的測試輸入數據集從遠程主機上獲得，工作流執行18個任務 70醫學應用 Granules：云計算的一個輕量級運行時，被設計用來管理云中的大量計算，如處理感應器產生的數據。支持云計算中兩種主導的模式：MapReduce和數據流圖 為了驗證在分布式環境中運用Granules來分類腦電圖數據流的適用性，將Granules的處理方法與Snowfall（基于SNOW（Simple Network of Workstations）的R包）處理方法進行了對比，并且設計了實驗去評估訓練神經網絡和分類腦電圖信號計劃所帶來的成本 方法數據流時間（ms）平均時間（ms）最小

29、時間（ms）最大時間（ms）標準時間差（ms）Snowfall5s8884.608797.7459.69.4785.82Granules5s141.69136.42266.6312.75Snowfall1s5825.715815.385857.9810.09Granules1s93.1647.51492.6832.13Snowfall250ms2831.322830.382849.832.03Granules250ms87.2548.5792.674.4971社會智能應用 BetterLife 2.0體系結構主要包括：云層、基于案例的推理機、應用程序接口 基于BetterLife 2.0框架開發了基于位置、價格對比的應用程序 72提 綱 云計算體系結構研究 云計算關鍵技術研究 編程模型研究 支撐平臺