第4章云計算原理與技術提綱云計算概述云計算關鍵技術Google云計算原理亞馬遜云服務云計算的起源1984SUN“網絡即計算機”2003Platform網格計算池2006Google云計算2006年8月Google首次提出“云計算”這個詞匯云計算的目標企業F企業E企業G企業A企業B企業C互聯網云平臺服務商發電廠像用電、水一樣來使用IT資源云計算是什么對一般用戶而言：云計算是指通過網絡以按需、易擴展的方式獲得所需的服務。即隨時隨地只要能上網就能使用各種各樣的服務，這種服務可以與軟件、互聯網相關的，也可以是任意其他的服務。云計算云計算是什么

對專業人員而言：是分布式處理、并行處理和網格計算的發展，或者說是這些計算機科學概念的商業實現。是指基于互聯網的超級計算模式--即把原本存儲于個人計算機、移動設備等個人設備上的大量信息集中在一起，在強大的服務器端協同工作。它是一種新興的共享計算資源的方法，能夠將巨大的系統連接在一起，以提供各種計算服務。移動電話個人計算機和筆記本計算機企業計算機和服務器PDA云計算與分布式計算分布式計算（狹義）：將待解決問題分成多個小問題，再分配給許多計算系統處理，最后將處理結果加以綜合。特點：把計算任務分派給網絡中的多臺獨立的機器優點稀有資源可以共享通過分布式計算可以在多臺計算機上平衡計算負載可以把程序放在最適合運行它的計算機上流行的分布式項目SETI@Home：尋找外星文明RC-72：密碼分析破解，研究和尋找最為安全的密碼系統Folding@home：研究蛋白質折疊、聚合問題UnitedDevices：尋找對抗癌癥的有效的藥物GIMPS：尋找最大的梅森素數（解決較為復雜的數學問題）云計算包含的分布式計算特征：（1）通過資源調度和組合滿足用戶的資源請求（2）對外提供統一的、單一的接口分布式郵箱系統云計算與網格計算網格計算分散式資源不同機構虛擬組織科學計算為主高性能計算機緊耦合問題免費標準化科學界云計算集中式資源單一機構虛擬機數據處理為主服務器/PC松耦合問題按量計費尚無標準商業社會云計算與對等計算對等計算系統中，每個節點都擁有對等的功能與責任，既可以充當服務器向其他節點提供數據或服務，又可以作為客戶機享用其他節點提供的數據或服務，節點之間的交互可以是直接對等的，任何節點可以隨時自由地加入或離開系統。對等計算：有可能作為云計算的一個類型預測：將可能以“對等子云”的形式出現在云計算中。依據：云計算對超大規模、多類型資源的統一管理是困難的；對等計算具有魯棒性、可擴展性、成本、搜索等方面的優點Google的云計算服務曾出現嚴重問題，Gmail、Blogger和Spreadsheet等服務均長時間當機。亞馬遜S3云計算服務也曾出現問題。而P2P系統則有更強的抗毀能力。云計算與并行計算并行計算：是指同時使用多種計算資源解決計算問題的過程。通常指一個程序的多個部分同時運行于多個處理器上。特點：把計算任務分派給系統內的多個運算單元并行計算問題的特征將工作分離成離散部分，有助于同時解決隨時并及時地執行多個程序指令（多條線同時運行）多計算資源下解決問題的耗時要少于單個計算資源下的耗時云計算包含的并行計算特征：（1）用戶資源（單一類型和組合類型）請求的同時處理云計算分類私有云公有云混合云操作系統+應用服務引擎應用系統基礎設施(IaaS)應用平臺(PaaS)應用軟件(SaaS)InfrastructureasaService以服務的形式提供虛擬硬件資源，如虛擬主機/存儲/網絡/數據庫管理等資源。用于無需購買服務器、網絡設備、存儲設備，只需通過互聯網租賃即可搭建自己的應用系統典型應用：AmazonWeb

Service(AWS)PlatformasaService提供應用服務引擎，如互聯網應用編程接口/運行平臺等。用戶基于該應用服務引擎，可以構建該類應用。典型應用：GoogleAppEngine,F,MicrosoftAzure服務平臺SoftwareasaService用戶通過Internet(如瀏覽器)來使用軟件。用戶不必購買軟件，只需按需租用軟件典型應用：GoogleDoc,S,OracleCRMOnDemand,OfficeLiveWorkspace面向外部用戶需求，通過開放網絡提供云計算服務IDC，GoogleApp，Saleforce在線CRM按提供的服務類型按云服務的對象大型企業按照云計算的架構搭建平臺，面向企業內部需求提供云計算服務企業內部數據中心等兼顧以上兩種情況的云計算服務AmazonWebServer等既為企業內部又為外部用戶提供云計算服務IaaS：基礎設施作為服務IaaS——InfrastructureasaService創建虛擬的計算、存儲中心，使得其能夠把計算單元、存儲器、I/O設備、帶寬等計算機基礎設施集中起來，作為一個虛擬的資源池來對外提供服務。典型應用：彈性計算云EC2（ElasticComputeCloud）——計算簡單存儲服務S3（SimpleStorageService）——存儲IaaS交付特點提供從計算到存儲的統一資源基礎架構完整的系統級接入，按需布置安全域，負載均衡按需付費，按容量控制自由的應用環境關鍵技術作用成熟度評價虛擬化技術解決資源靈活調度，提高資源利用率★★★★IT自動化技術自動化的操作系統安裝，升級和補丁管理；自動化應用軟件的安裝，配置；自動化應用部署★★★★Web門戶技術統一的用戶門戶和單點登錄★★★★★工作流管理自動化服務的申請，審批流程★★★★★總體

★★★★IaaS的價值降低運營成本提高設備利用率節能減排保護現有投資，提供新商機IaaS關鍵技術介紹：虛擬化技術

虛擬化是將底層物理設備與上層操作系統、軟件分離的一種去耦合技術，是基于開放的x86架構，將硬件、操作系統和應用程序一同裝入一個可遷移的虛擬機檔案文件中虛擬化的目標是實現IT資源利用效率和靈活性的最大化虛擬化技術在x86架構上比較通用，在RISC架構下比較封閉軟件必須與硬件相結合每臺機器上只有單一的操作系統鏡像每臺機器上有多個操作系統鏡像軟件相對于硬件獨立傳統計算系統計算模式虛擬化計算系統計算模式未更改過的應用未更改過的OS虛擬硬件IaaS領域代表者——Amazon

IaaS云計算平臺數據中心虛擬化技術、自動化部署技術Amazon的重點是提供彈性基礎設施服務，其上的應用由用戶靈活選擇與決定作為大型的電子商務企業，積累了大規模IT系統設計和維護的技術與經驗，同時面臨著業務淡季時IT設備的閑置問題，于是將設備、技術和經驗作為一種打包產品為其他企業提供服務，利用閑置的IT設備來創造價值……PaaS：平臺作為服務

PaaS——PlatformasaService把服務器平臺或開發環境作為一種服務提供典型應用

的GoogleAppEngine800app：不再需要任何編程即可開發包括企業管理軟件PaaS的交付模型計算資源平臺做為一種服務提供給用戶可支持用戶自有的工具與開發環境部署客戶通過可調用的接口撥接資源平臺關鍵技術技術特點成熟度評價分布式存儲采用冗余存儲的方式來保證存儲數據的可靠性，具有高吞吐率和高傳輸率的特點★★分布式大規模數據管理構建了弱一致性大規模數據庫系統，能夠高效的管理大數據集，能對海量的數據進行存儲、讀取以及高效分析★★★分布式編程環境保證后臺復雜的并行執行和任務調度向用戶和編程人員透明，適用于編寫松耦合、高度并行化的程序★★總體

★★PaaS的價值對服務提供商：靈活擴展業務，響應長尾需求，靈活調配資源對開發者:加快開發速度，簡化系統維護PaaS關鍵技術——分布式并行計算平臺

平臺眾多性能普通的服務器并行編程模型如MapReduce超大型文件系統如HDFS海量數據庫如Hbase技術架構監控與調度管理API/SDK第三方軟件開發者軟件使用用戶業務模式軟件銷售新的業務模式業務能力：通過分布式并行計算算法，將眾多性能普通的服務器的計算能力和存儲能力充分發揮和聚合起來，能夠為特定的應用提供海量數據處理能力業務形態：形成一個高效的軟件應用開發和運行平臺，吸引第三方軟件開發者基于該平臺進行軟件開發和應用托管，同時聚集海量終端用戶使用該平臺上的各種應用目標客戶群：第三方軟件開發者，軟件終端用戶PaaS領域代表者——Google

PaaS統一平臺自有應用（搜索、Gmail、GoogleDocs等）云計算開放平臺（Java、Python）（AppEngine）Google構建的是新型的互聯網分布式平臺架構，傳統的應用不能直接被移植到該架構上利用分布式存儲（GFS）、分布式數據庫（Bigtable）、分布式/并行計算（Mapreduce）、同步（Chubby）以及集群監控與調度技術（BORG）等實現統一高性價比的架構平臺為支持搜索引擎和郵件服務等需要海量數據處理能力的應用，開發了分布式并行技術的平臺，在積累了一定的技術和經驗后，逐步將平臺能力作為軟件開發和交付的環境進行開放SaaS：軟件作為服務

SaaS——SoftwareasaServiceSaaS是一種基于互聯網提供軟件服務的應用模式。軟件租賃：用戶按使用時間和使用規模付費綠色部署：用戶不需安裝，打開瀏覽器即可運行不需要額外的服務器硬件軟件（應用服務）按需定制SaaS的交付模型應用程序做為一種服務來提供由提供商進行統一維護管理吸引廣大的個人和中小企業用戶用戶不需對軟硬件進行維護工作通過網絡瀏覽器使用服務關鍵技術技術特點成熟度評價統一身份認證和授權解決多用戶組織訪問和管理的需求★★★★★服務計費能根據使用情況進行靈活的計費★★★★Web2.0基于互聯網平臺，通過互動，提供更好的信息展現和組織方式，創造更好用戶體驗★★★面向服務的架構（SOA）將應用程序的不同功能單元（稱為服務）通過標準的服務間接口聯系起來，使業務應用能根據業務的需要變得更加靈活，以適應不斷變化的環境★★★★總體

★★★★SaaS的價值提供靈活的租賃和付費方式降低企業用戶運營成本降低中小企業信息化的門檻SaaS技術分析

用戶可以使用按需定制的軟件服務，按照定制軟件的多少和時間付費用戶通過瀏覽器訪問所需的服務，無需花費大量的精力用于IT設施的建設與維護技術模式直接部署在底層物理資源上部署在IaaS平臺上部署在PaaS平臺上承載平臺在PaaS平臺上開發并部署SaaS服務在SOA（Service-OrientedArchitecture，面向服務架構）架構下開發(soap、rest)開發技術意義1)使軟件提供成為一種互聯網服務；2)降低用戶使用軟件應用的門檻多租戶技術：云計算要求硬件資源和軟件資源能夠更好地被共享，具有良好的伸縮性，任何一個用戶都能夠按照自己的需求進行客戶化配置而不影響其他用戶的使用。多租戶技術就是云計算環境中能夠滿足上述需求的關鍵技術。*19SaaS領域的代表者——SaleForce交互數據軟件運行和計算在網絡側完成終端通過web瀏覽器使用軟件應用Internet業務模式：業務能力：用戶通過互聯網獲得所需的軟件服務，無需花費大量的精力用于IT設施的建設與維護；業務形態：軟件作為一種互聯網業務，用戶通過互聯網購買和使用其所需的軟件服務，按照購買軟件的類型、數量和時間進行付費目標客戶群：需要移動辦公的政企用戶，互聯網公眾用戶技術特點：在線應用Salesforce的幾個關鍵能力強大的功能：第20代產品具有1000多種功能靈活的定制：業界靈活度最高的CRM解決方案，用戶可深度擴展，因此能滿足各種規模的企業的需求最佳的用戶體驗：方便易用，簡潔的界面一目了然快速實施：多數公司在30天內把Salesforce成功融合于企業運轉之中快速回報：通常在實施后的幾個月之內，客戶即可獲得可觀的回報高度安全：為系統和數據提供了多層保護機制應用定制化和用戶體驗保障是SaaS的關鍵提綱云計算概述云計算關鍵技術Google云計算原理亞馬遜云服務云計算關鍵技術體系結構數據存儲計算模型資源調度虛擬化技術云計算體系結構云計算核心服務通常可以分為3個子層：基礎設施即服務層（IaaS,infrastructureasaservice）、平臺即服務層（PaaS,platformasaservice）、軟件即服務層（SaaS,softwareasaservice）云計算可以按需提供彈性的服務，它的架構可以大致分為三個層次：核心服務、服務管理、用戶訪問接口。NoSQL數據存儲類別產品特性列存儲HbaseCassandraHypertable顧名思義，是按列存儲數據的。最大的特點是方便存儲結構化和半結構化數據，方便做數據壓縮，對某一列或者某幾列的查詢有非常大的IO優勢。文檔存儲MongoDBCouchDB文檔存儲一般用類似json的格式存儲，存儲的內容是文檔型的。這樣也就有有機會對某些字段建立索引，實現關系數據庫的某些功能。key-value存儲Tokyo

Cabinet/TyrantBerkeley

DBMemcacheDBRedis可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能）圖存儲Neo4JFlockDB圖形關系的最佳存儲。使用傳統關系數據庫來解決的話性能低下，而且設計使用不方便。對象存儲db4oVersant通過類似面向對象語言的語法操作數據庫，通過對象的方式存取數據。xml數據庫Berkeley

DB

XMLBaseX高效的存儲XML數據，并支持XML的內部查詢語法，比如XQuery,Xpath。MapReduce計算模型云計算的計算模型是一種可編程的并行計算框架，需要高擴展性和容錯性支持。MapReduce是Google提出的并行程序編程模型，運行于GFS之上。它的設計思想在于將問題分而治之，首先將用戶的原始數據源進行分塊，然后分別交給不同的Map任務去處理。云計算資源調度*26資源調度是云計算核心技術之一，它為云計算平臺提供資源分配、任務調度等資源管理功能。通常云計算資源調度包括兩個層面：一個是物理主機到虛擬機層面的資源分配（映射）；另一個是任務到虛擬機層面的調度（映射）。

云計算虛擬化技術*27虛擬化是云計算最重要的核心技術之一，它為云計算服務提供基礎架構層面的支撐。虛擬化技術包括：服務器虛擬化、存儲虛擬化、網絡虛擬化、桌面虛擬化、應用虛擬化等

提綱云計算概述云計算關鍵技術Google云計算原理亞馬遜云服務Google云計算關鍵技術Google云計算平臺的幾個關鍵技術文件存儲，GoogleFileSystem，GFS并行數據處理MapReduce結構化數據表BigTable分布式鎖ChubbyGoogle云計算應用MapReduceBigTableGFSChubby*29GFS

GoogleFileSystem的系統架構一個軟件架構，是一種處理海量數據的并行編程模式用于大規模數據集（通常大于1TB）的并行運算MapReduce實現了Map和Reduce兩個功能Map把一個函數應用于集合中的所有成員，然后返回一個基于這個處理的結果集Reduce對結果集進行分類和歸納Map()和Reduce()兩個函數可能會并行運行，即使不是在同一的系統的同一時刻MapReduce31Bigtable設計動機與目標需要存儲的數據種類繁多：Google目前向公眾開放的服務很多，需要處理的數據類型也非常多。包括URL、網頁內容、用戶的個性化設置在內的數據都是Google需要經常處理的海量的服務請求：Google運行著目前世界上最繁忙的系統，它每時每刻處理的客戶服務請求數量是普通的系統根本無法承受的商用數據庫無法滿足Google的需求：一方面現有商用數據庫設計著眼點在于通用性，根本無法滿足Google的苛刻服務要求；另一方面對于底層系統的完全掌控會給后期的系統維護、升級帶來極大的便利設計動機邏輯視圖Bigtable是一個稀疏的、分布式的、多維度的、持久化存儲的超級大表。每行包含一個可排序的行關鍵字，一個可選的時間戳以及一些可能有數據的列。BigTable會存儲一系列的行記錄，行記錄有三個基本類型的定義：行關鍵字（RowKey）,時間戳（TimeStamp）,列（Column）。RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“物理視圖34RowKeyTimeStampColumn:ContentsCn.wwwT6“<html>..”T5“<html>..”T3“<html>..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMDremelDremel是Google的“交互式”數據分析系統。可以組建成規模上千的集群，處理PB級別的數據。MapReduce處理一個數據需要分鐘級的時間。作為MapReduce的發起人，Google開發了Dremel，將處理時間縮短到秒級，作為MapReduce的交互式查詢能力不足的有力補充。

Dremel的數據模型是嵌套的，用列式存儲，并結合Web搜索和并行DBMS的技術，建立查詢樹，將一個巨大的復雜的查詢分割成較小較簡單的查詢，如圖所示。提綱云計算概述云計算關鍵技術Google云計算原理亞馬遜云服務亞馬遜云平臺存儲架構AWS提供一系列云計算服務，無疑要建立在一個強壯的基礎存儲架構之上，Dynamo是Amazon提供的一款高可用的分布式Key-Value存儲系統，具備去中心化，高可用性，高擴展性的特點Dynamo采用一致性哈希來完成數據分區。在一致性哈希中，哈希函數的輸出范圍為一個圓環，系統中每個節點映射到環中某個位置，而Key也被哈希到環中某個位置，Key從其被映射的位置開始沿順時針方向找到第一個位置比其大的節點作為其存儲節點亞馬遜提供的云計算服務彈性計算云EC2簡單存儲服務S3簡單數據庫服務SimpleDB簡單隊列服務SQS彈性MapReduce服務內容推送服務CloudFrontAWS導入/導出關系數據庫服務AmazonElasticComputeCloud（彈性計算云EC2）來自Amazon的ElasticComputeCloud（EC2，彈性計算云）提供了可定制化的云計算能力，這是專為簡化開發者開發Web伸縮性計算而打造的。用戶可以全面掌控自身的計算資源，同時Amazon運作是基于“即買即用”模式的。只需花費幾分鐘時間就可獲得并啟動服務器實例，所以它可以快速定制來響應計算需求的變化。價格：新AWS用戶可以免費使用AmazonEC2一年時間。它還提供了按需定制實例，Linux實例每小時0.085美元起，Windows實例每小時0.12美元起。保留實例的價格為每年227.50美元起，或是每小時0.03美元起。AmazonElasticComputeCloud（彈性計算云EC2）EC2（ElasticComputeCloud）簡言之，EC2就是一部具有無限采集能力的虛擬計算機，用戶能夠用來執行一些處理任務。EC2的主要特征：靈活性：可自行配置運行的實例類型、數量，還可以選擇實例運行的地理位置。可以根據用戶的需求隨時改變實例的使用數量。低成本：按小時計費安全性：SSH、可配置的防火墻機制、監控等易用性：用戶可以根據亞馬遜提供的模塊自由構建自己的應用程序，同時EC2還會對用戶的服務請求自動進行負載平衡容錯性：彈性IPAmazonElasticComputeCloud（彈性計算云EC2）EC2的基本架構AmazonElasticComputeCloud（彈性計算云EC2）Amazon機器映像AMI（AmazonMachineImage）

——由一個操作系統和當虛擬機啟動時你想要預先載入的任何的應用程序組成。

——AMI是用戶整個云計算平臺運行的基礎，用戶使用EC2服務的第一步就是要創建一個自己的AMI。

——公共AMI、私有AMI、付費AMI、共享AMIAmazonElasticComputeCloud（彈性計算云EC2）實例Instance：用戶創建好AMI后，實際運行的系統資源SmallLargeExtraLargeHigh-CPUMediumHigh-CPUExtraLarge平臺32位64位64位32位64位CPU1ECU4ECU8ECU5ECU20ECU內存1.7G7.5G15G1.7G7G存儲容量160G850G1690G350G1690G實例類型名m1.smallm1.largem1.xlargec1.mediumc1.xlargeAmazonElasticComputeCloud（彈性計算云EC2）彈性塊存儲EBS（ElasticBlockStore）

——卷，每個EBS最多創建20個卷

——快照：可以捕捉當前卷的狀態，并存儲在S3ZHONG，方便恢復。AmazonSimpleStorageService（簡單存儲服務S3）SimpleStorageService（簡單存儲服務S3,）是一款在線存儲服務，在云計算環境下提供了不受限制的數據存儲空間。用戶可通過授權訪問一個簡單的Web服務界面來存儲和獲取Web上任何地點的數據。價格：新用戶可以在1年內每月免費獲得5GB的S3存儲；2萬次Get請求；2千次Put請求；15GB的數據傳入；和15GB的數據傳出。此后的花費請查看S3價格單。

AmazonSimpleStorageService（簡單存儲服務S3）S3為任意類型的文件提供臨時或永久的存儲服務非傳統關系數據庫存儲模式 ——簡單、高效 ——存儲、讀取，非查詢基本概念

——對象：S3的基本存儲單元（數據、元數據），數據類型任意

——鍵：對象的唯一標識符 ——桶：存儲對象的容器（不能嵌套、在S3中名稱唯一、每個用戶最多創建100個桶

AmazonSimpleStorageService（簡單存儲服務S3）S3的基本結構AmazonSimpleStorageService（簡單存儲服務S3）存儲冗余：每個用戶數據有多個副本，且保存在不同服務器上最終一致性：在數據被充分的傳播到所有的存放節點之前返回給用戶的仍是原數據簡單數據庫服務SimpleDBSimpleDB是一種可用性高、靈活性大的非關系型數據存儲，它可以消除繁重的數據庫管理員工作。Web服務方式的數據項存儲和查詢請求，該服務自動創建和管理多份數據以確保數據的高可用率和穩定性。價格：新用戶可以每月免費獲得25機時（MachineHour）和1GB存儲。之后的花費其參閱官網。

簡單隊列服務SQSSimpleQueueService（SQS，簡單隊列服務）是托管隊列，它增加了不同任務應用在分布式組件之間的工作流。SQS允許開發者移動數據，而不丟失信息，每個請求的組件通常都保持可用狀態。價格：新用戶每月可獲得10萬SQS排隊請求。之后，用戶每1萬請求收取0.01美元。數據傳輸花費根據需求變化。

目標：解決低耦合系統間的通信問題，支持分布式計算機系統之間的工作流特點：簡單、無處不在

——“在互聯網的所有計算機不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息”處理端：EC2上的AMI簡單隊列服務SQS彈性MapReduce服務ElasticMapReduce（彈性MapReduce）允許企業和開發者或是其他人士處理大規模數據。使用運行在AmazonEC2和S3的托管Hadoop框架，用戶可以即刻利用隨心定制的計算力來完成