1、云計算技術(shù)綜述摘要：云計算是“以互聯(lián)網(wǎng)為載體，利用虛擬化等手段整合大規(guī)模分布式可配置的計算資源。使其以服務的方式提供給用戶，滿足用戶按需使用的計算模式”，然后從計算模式、科學研究、社會發(fā)展等多個維度闡明了云計算作為現(xiàn)代計算技術(shù)發(fā)展的必然產(chǎn)物所具備的發(fā)展意義，總結(jié)了國內(nèi)外產(chǎn)業(yè)界、學術(shù)界、政府機構(gòu)等在云計算方面的最新研究進展，深入分析了云計算研究過程中的重點和難點，最后指出了云計算未來的發(fā)展趨勢。關(guān)鍵詞：云計算；虛擬化；海量數(shù)據(jù)處理引言所謂云計算，簡單地說就是以虛擬化技術(shù)為基礎，以網(wǎng)絡為載體，以用戶為主體為其提供基礎架構(gòu)平臺軟件等服務為形式，整合大規(guī)模可擴展的計算存儲 數(shù)據(jù) 應用等分布式計算資源進

2、行協(xié)同工作的超級計算服務模式虛擬化為云計算實現(xiàn)提供了很好技術(shù)支撐，而云計算可以看作是虛擬化技術(shù)應用的成果。在過去的幾年里，已經(jīng)出現(xiàn)了眾多云計算研究開發(fā)小組，如谷歌、微軟、亞馬遜、華為、百度、阿里巴巴、中國電信等知名IT 企業(yè)紛紛推出云計算解決方案，同時， 國內(nèi)外學術(shù)界也紛紛就云計算及其關(guān)鍵技術(shù)相關(guān)理論進行了深層次的研究。 本文力圖在對各種云計算定義綜合分析的基礎上，提出 1 個相對系統(tǒng)和綜合的參考性定義， 挖掘云計算的技術(shù)本質(zhì)和發(fā)展意義，總結(jié)國內(nèi)外最新研究進展，剖析研究過程中的重點和難點，指出未來的發(fā)展趨勢。1 、云計算的內(nèi)涵和本質(zhì)目前關(guān)于云計算的定義已有上百種而維基百科對云計算的定義也在不斷

3、更新，前后版本的差別非常大。據(jù) 2011 年給出的最新定義：云計算是一種能夠?qū)討B(tài)易擴展的虛擬化資源軟件和數(shù)據(jù)通過互聯(lián)網(wǎng)提供給用戶的計算方式，如同電網(wǎng)用電一樣，用戶不需要知道云內(nèi)部的細節(jié)，也不必具有管理那些支持云計算的基礎設施。伯克利云計算白皮書的定義：云計算包括互聯(lián)網(wǎng)上各種服務形式的應用以及數(shù)據(jù)中心中提供這些服務的軟硬件設施。應用服務即Saas而數(shù)據(jù)中心的軟硬件設施即所謂的云。通過,量入為出的方式提供給公眾的云稱為公共云，而不對公眾開放的組織內(nèi)部數(shù)據(jù)中心的云稱為私有云。美國標準化技術(shù)機構(gòu)NIST定義云計算是一種資源利用模式，它能以方便、友好、按需訪問的方式通過網(wǎng)絡訪問可配置的計算機資源池(例

4、如網(wǎng)絡、服務器 存儲、 應用程序和服務)，在這種模式中，可以快速供應并以最小的管理代價提供服務。Sun 公司認為，云的類型有很多，而且有很多不同的應用程序可以使用云來構(gòu)建，由于云計算有助于提高應用程序部署速度，有助于加快創(chuàng)新步伐，因而云計算可能還會初心在我們現(xiàn)在無法想象到的形式。筆者認為：云計算是一種大規(guī)模資源共享模型，它是以虛擬技術(shù)為核心技術(shù)，以規(guī)模經(jīng)濟為驅(qū)動，以Internet 為載體，以用戶為主體，按照用戶需求動態(tài)地提供虛擬化的、可伸縮性的商業(yè)計算模型。云計算是一種服務模式而不單純是一種技術(shù)。在云計算模式下，不同種類的 IT 服務按照用戶的需求規(guī)模和要求動態(tài)的構(gòu)建、運營和維護，用戶一般以

5、即用即付的方式支付其利用資源的費用。網(wǎng)絡中的應用服務通常被稱作SaaS二數(shù)據(jù)中心軟硬件設施即,資源池也就是所謂的云。 “云”是一些可以自我維護和管理的虛擬計算資源，通常是一些大型服務器集群，包括計算服務器、存儲服務和寬帶資源等。總之，云計算是一種方便的使用方式和服務模式，通過互聯(lián)網(wǎng)按需訪問資源池模型(例如網(wǎng)絡、服務器、存儲、應用程序和服務)，可以快速和最少的管理工作為用戶提供服務.云計算是并行計算( parallel computing) 、分布式計算( distributedcomputing) 和網(wǎng) 格計算 ( gridcomputing) 等技術(shù)的發(fā)展.云計算又是虛擬化 ( virtua

6、lization) 、效用計算( utilitycomputing)的商業(yè)計算模型，它由基礎設施即服務、平臺即服務和軟件即服務3 種服務模式,公共云、私有云、社區(qū)云、混合云4 種部署模式。云計算的5 個基本特點為：按需自助式服務、廣泛的網(wǎng)絡訪問、資源池、快速彈性使用、可度量的服務。2、云計算的關(guān)鍵技術(shù)云計算作為一種新的超級計算方式和服務模式，以數(shù)據(jù)為中心，是一種數(shù)據(jù)密集型的超級計算 .它運用了多種計算機技術(shù)，其中以編程模型、數(shù)據(jù)管理、數(shù)據(jù)存儲、虛擬化和云計算平臺管理等技術(shù)最為關(guān)鍵.下面分別介紹云計算的一些關(guān)鍵技術(shù)。1.1 編程模型MapReduce 作為 Google 開發(fā)的Java、 Pyt

7、hon 、 C+編程模型，是一種簡化的分布式編程和高 效的任務調(diào)度模型，應用程序編寫人員只需將精力放在應用程序本身，使云計算環(huán)境下的編程十分簡單 .而關(guān)于集群的處理問題，包括可靠性和可擴展性，則交由平臺來處理MMapReduce 模式的思想是通過“ Map(映射)”和“Reduce(化簡)”這樣2 個簡單的概念來構(gòu)成運算基本單元，先通過Map 程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配(調(diào)度)給大量計算機處理，達到分布式運算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出，即可并行處理海量數(shù)據(jù)。簡單地說，云計算是一種更加靈活、高效、低成本、節(jié)能的信息運作的全新方式 ， 通過其編程模型可以發(fā)現(xiàn)云計算技術(shù)是通

8、過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小 的子程序，再由多部服務器所組成的龐大系統(tǒng)搜索、計算分析之后將處理結(jié)果回傳給用戶 .通過這 項技術(shù),遠程的服務供應商可以在數(shù)秒之內(nèi)，達成處理數(shù)以千萬計甚至億計的信息，達到和“超級電腦”同樣強大性能的網(wǎng)絡服務。1.2 海量數(shù)據(jù)分布存儲技術(shù)云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù)，用冗余存儲的方式保證數(shù)據(jù)的可靠性.云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google 的GFS和Hadoop 團隊開發(fā)的GFS的開源實現(xiàn) HDFSGFS即Google 文件系統(tǒng)(GoogleFileSystem),是個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪

9、問的應用GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和Google 應用特性而設計的.它雖然運行于廉價的普通硬件上，但可以提供容錯功能.它可以給大量的用戶提供總體性能較高的服務.一個GFS集群由1 個主服務器( master)和大量的塊服務器(chunks- erver)構(gòu)成，并被許多客戶(client)訪問 111 .主服務 器存儲文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置 .它還控制系統(tǒng)活動范圍，如塊租約(lease)管 理，孤立塊的垃圾收集，塊服務器間的塊遷移.主服務器定期通過心跳(HeartBeat)消息與每一個塊服務器通信，并收集

10、它們的狀態(tài)信息。1.3 海量數(shù)據(jù)管理技術(shù)海量數(shù)據(jù)管理是指對大規(guī)模數(shù)據(jù)的計算、分析和處理，如各種搜索引擎.以互聯(lián)網(wǎng)為計算平臺的云計算能夠?qū)Ψ植嫉摹⒑Ａ康臄?shù)據(jù)進行有效可靠地處理和分析.因此，數(shù)據(jù)管理技術(shù)必需能夠高效地管理大量的數(shù)據(jù)，通常數(shù)據(jù)規(guī)模達TB 甚至 PB級 . 云計算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google 的 BT (BigTable)數(shù)據(jù)管理技術(shù)，以及Hadoop 團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase和Hive,作為基于Ha- doop 的開源數(shù)據(jù)工具( http: # appengine. google. com),主要用于存儲和處理海量結(jié)構(gòu)化數(shù)據(jù).BT是建立在GFS,Schedule

11、r,LockService和 MapReduce 的一個大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一個巨大的表格，用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。Google 的很多項目使用BT來存儲數(shù)據(jù)，包括網(wǎng)頁查詢，GoogleEarth 和 Google 金融 .這些應用程序?qū)?BT的要求各不相同：數(shù)據(jù)大小(從URL到網(wǎng)頁到衛(wèi)星圖像)不同，反應速度不同(從后端的大批處理到實時數(shù)據(jù)服務)。對于不同的要求，BT都成功地提供了靈活高效的服務。1.4 4 虛擬化技術(shù)虛擬化 (virtualization) 技術(shù)是云計算系統(tǒng)的核心組成部分之是將各種計算及存儲資源充分整合和高效利用

12、的關(guān)鍵技術(shù).云計算的特征主要體現(xiàn)在虛擬化、分布式和動態(tài)可擴展，而虛擬化作為云計算最主要的特點,為云計算環(huán)境搭建起著決定性作用.虛擬化技術(shù)是伴隨著計算機技術(shù)的產(chǎn)生而出現(xiàn)的,作為云計算的核心技術(shù)，扮演著十分重要的角色，提供了全新的數(shù)據(jù)中心部署和管理方式,為數(shù)據(jù)中心管理員帶來了高效和可靠的管理體驗，還可以提高數(shù)據(jù)中心的資源利用率，低功能綠色環(huán)保。通過虛擬化技術(shù)，云計算中每一個應用部署的環(huán)境和物理平臺是沒有關(guān)系的，通過虛擬平臺進行管理、擴展、遷移、備份，種種操作都通過虛擬化層次完成.虛擬化技術(shù)實質(zhì)是實現(xiàn)軟件應用與底層硬件相隔離，把物理資源轉(zhuǎn)變?yōu)檫壿嬁晒芾碣Y源E344.目前云計算中虛擬化技術(shù)主要包括將單

13、個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式.虛擬化技術(shù)根據(jù)對象可分成存儲虛擬化、計算虛擬化、網(wǎng)絡虛擬化等，計算虛擬化又分為系統(tǒng)級虛擬化、應用級 虛擬化和桌面虛擬化。1.5 云計算平臺管理技術(shù)云計算資源規(guī)模龐大，一個系統(tǒng)服務器數(shù)量眾多(可能高達10 萬臺) 、結(jié)構(gòu)不同并且分布在不同物理地點的數(shù)據(jù)中心，同時還運行著成千上萬種應用。如何有效地管理云環(huán)境中的這些服務器，保證整個系統(tǒng)提供不間斷服務必然是一個巨大的挑戰(zhàn).云計算平臺管理系統(tǒng)可以看作是云計算的“指揮中心”通過云計算系統(tǒng)的平臺管理技術(shù)能夠使大量的服務器協(xié)同工作，方便地進行業(yè)務部署和開通，快速發(fā)現(xiàn)和恢復系統(tǒng)故

14、障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營和管理。3 云計算應用現(xiàn)狀云計算平臺是一個強大的“云”網(wǎng)絡，連接了大 量并發(fā)的網(wǎng)絡計算和服務，可利用虛擬化技術(shù)擴展每一個服務器的能力，將各自的資源通過云計算平臺結(jié)合起來，提供超級計算和存儲能力. 下面就當前云計算相關(guān)主要研究團隊和組織的研究進展情況進行對比分析，為云計算相關(guān)研究提供參考.3.1 國際上相關(guān)研究組織目前，國外已經(jīng)有多個云計算的科學研究項目，非常有名是ScientificCloud16 和OpenNebula 項目.產(chǎn)業(yè)界也在投入巨資部署各自的云計算系統(tǒng)， 參與者主要有Google、 Ama-zon、 IBM、 Microsoft

15、 等 .國內(nèi)關(guān)于云計算的研究也已起步 ， 并在計算機系統(tǒng)虛擬化基礎理論與方法研究方面取得了階段性成果.國際上云計算主要研究組織及研發(fā)方向如表1 所示 .團隊組織商業(yè)項目技術(shù)特征核心技術(shù)適用范圍Google App E, n包 g括 inGeoogle搜 索 、GoogleGoogle M、 apGsoogle E、artGhoogle Ad充 -能 力 sen、seGmai等l儲存及運算水平擴平行分散技術(shù)， MapReduce, BigTable, GFSGoog各le種 日 常 互 聯(lián) 網(wǎng) 應 用 及開發(fā)者開發(fā)和發(fā)布各種應用 程序藍 云 ” IBM云 環(huán) 境 管 理 解 決 方 案 （ 企I

16、BM業(yè) 私 有 云 ），IBM LotusLiv（e會 議 服 務 、 務 、 電 子 郵 件 服 務 ），整合 其所有 軟件和網(wǎng)格技術(shù)，分布式存高性能計算（汽車和航天工業(yè) 模辦公協(xié)作月艮硬件服務儲，動態(tài)負載擬計算、生命科學領(lǐng)域染色 體組 建模等）IBMRC（2IB M8大 研 究 機 構(gòu) 共 同 創(chuàng) 建 的 私 有 云）Amazon亞 馬 遜 網(wǎng) 絡 服 務（ 彈 性 計 算 云 EC、簡2 單 存儲 服 務 S3、簡單 數(shù) 據(jù) 庫 服 務 sim- ple、簡DB單 彈 性 虛 擬 平 臺隊 歹 IJ服 務 SQ、彈S 性 MapRe- d服 uc務、內(nèi) e容 推 送 服 務、電 子 商

17、務 服 務 DevPa和y FPS）虛 擬 技 術(shù) Xen各類企業(yè)在其平臺上搭建應用 環(huán) 境 提 供 云 計 算 服 務 t如 在 線 照 片 存 儲 共 享 網(wǎng) 站 SmugM、 ug在 線 視 頻 制 作 網(wǎng) 站 Animoto）MicrosoftAzure平 臺 提 供 Microsoft .N服ET務 、 Microsoft S服Q務L 、 Live 服 務整合其所有軟件及數(shù)據(jù)服務大型應用軟件開發(fā) 技術(shù)應用程序開發(fā)者在云端開發(fā)程 序，且運行在微軟云端的應用程序還是運行在本地的應用程 序都可以使用云計算服務平臺EMC云 存 儲 基 礎 架 構(gòu) EMC Atoms級 （P的 B信 息 管

18、信 息 存 儲 系理 解 決 方 案 ），擬 化Mozy針 對 Mac用 戶 的 在 線 存 儲統(tǒng) 和 虛 Vmware的 虛 擬 化 技 向 各 種 規(guī) 模 的 企 業(yè) 和 機 構(gòu) 提 供 自術(shù)，一流的存儲技術(shù)動化網(wǎng)絡存儲解決方案客 戶 關(guān) 系 管 理 （ CRM包 ）括 Sales Cl、oud SlfServicCe lou、 d CustomC lou、 d CloudP la彈t-form for C、 RMCloud Infrastructure 務 for CRM性可定軟件應用平臺整合技術(shù)為企業(yè)提供客戶關(guān)系 管理（CR）M服 務EC2上 的 Oracle數(shù) 據(jù) 庫Oracle O

19、racleVM, SunxVM軟硬件彈 擬平 臺Oracle的 數(shù) 據(jù) 存 技 術(shù) ， Sun開 源 技 術(shù)提供統(tǒng)一整合的界面來部署在云中任何操作系統(tǒng)上運行的應用 軟 件 ， 操 作 系 統(tǒng) 包 括 Open Sola、risLinu、 x Windows3.2 國內(nèi)相關(guān)研究組織中國移動大云平臺包括數(shù)據(jù)挖掘、海量數(shù)據(jù)存儲和彈性計算等，主要用于中國移動的業(yè)務支撐、信息管理和互聯(lián)網(wǎng)應用；阿里云提供的計算、存儲和網(wǎng)絡服務主要用于提供各種電子商務服務；世紀互聯(lián)的彈性云計算已經(jīng)對外提供服務，支持多個操作系統(tǒng)、數(shù)據(jù)庫和編程環(huán)境； 友友云開發(fā)的數(shù)流平臺（Bitsflow）, 分布式虛擬存儲系統(tǒng)（ DataC

20、ell）,網(wǎng)絡計 算平臺 GAP 和系統(tǒng)監(jiān)控管理平臺（NetVM）主要針對大型企業(yè);華為的云帆計劃主要包括云數(shù)據(jù)中心 和針對電信的IDC云。在平臺的文件系統(tǒng)方面，中國移動，阿里巴巴和世紀互聯(lián)都是基于 Hadoop 文件系統(tǒng)HDFS根據(jù)自,身需求進行一些改進，而友友提出的DataCellFS。4 云計算存在的挑戰(zhàn)與機遇目前，盡管云計算如火如荼的開展著，通過分析知道云計算具有許多優(yōu)點，讓人們看到了 IT 服務將 成為公共服務的曙光，但是我們也要清醒地認識到云計算也不是萬能的靈丹妙藥 ， 它仍存在著一些亟待解決的實際問題,如服務可用性、 數(shù)據(jù)主權(quán)與數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網(wǎng)絡傳輸問題

21、和可伸縮性存儲等.甚至還有_些專家和學者對云計算持懷疑態(tài)度，認為是在炒作概念.為此，需要進一步加強宣傳和應用好云計算產(chǎn)品，為科研生產(chǎn)服務 .本文給出了云計算發(fā)展過程中主要存在的一些挑戰(zhàn)問題與機遇。5 總結(jié)與展望計算作為一項服務功能是人們長久以來的夢想 .隨著微軟吸引人眼球的_句廣告語“ Weareall incloud! ”標志著云計算時代的到來，人們長久以 來的夢想終將變?yōu)楝F(xiàn)實.從云供應商的觀點出發(fā)， 整 合服務器平臺技術(shù)能更好地推進云計算基礎設施架構(gòu)的搭建以及大規(guī)模數(shù)據(jù)中心管理能力的提升，建立合作伙伴的生態(tài)鏈.利用商品化的計算、存儲和網(wǎng)絡低成本建立大型數(shù)據(jù)中心使得以低于許多中等規(guī)模的數(shù)據(jù)中

22、心的價格“即用即付”的銷售資源成為可能，并且可以利用資源在大量用戶間的復用來獲取利潤.從云用戶的觀點出發(fā)，云計算可以令一個初創(chuàng)的軟件公司像初創(chuàng)的芯片廠商擁有為之服務的代工廠 _樣擁有自己的數(shù)據(jù)中心.總之，國內(nèi)外對云計算及其虛擬化關(guān)鍵技術(shù)方面的研究非常活躍，并開發(fā)了一些相關(guān)工具與產(chǎn)品， 云計算作為新一代產(chǎn)業(yè)浪潮的重要驅(qū)動力，將對經(jīng) 濟社會發(fā)展產(chǎn)生深遠的影響。參考文獻1Mell P, Grance T. The NIST definition of cloud computingR . National Institute of Stad ard and Technology, U S Depar

23、tment of Commerce, 20102 SunCorporation.The white paperon cloud computingarchitectureR . 20093 劉鵬.云計算技術(shù)基礎M .2 版 .北京：電子工業(yè)出版社 ,011LIUPeng. Introduction to cloud computing M . 2nd Ed.Beijng! Publishing House of Electronics Industry, 20114Dean J, Ghemawat S. MapReduce: Simplified data processing on larg

24、e clusters J .C ommunications of the ACM,2008,51 (1):1074135 王慶波，金滓，何樂，等.虛擬化與云計算M. 北京：電子工業(yè)出版社,010WANGQingbo, JIN Xing, HE Le, et al. Virtualization and cloud computing M . Beijng: Publishing House of Electronics Industry, 20106VMware virtualization technology EB/OL 2011-0902 . http: / www. vmware. c

25、m/virt ualization/what-s-vir- tualization. html10 Goyal A, Dadizadeh S. A survey on cloud computingR . Technical Report for CS 50 8,200911 王鵬 .云計算的關(guān)鍵技術(shù)與應用實例M .北京：人民郵電出版社,010WANG Peng. Key technology and application examples of cloud computing M . Beijing: Posts &Telecom Pr ess, 201012 陳康 ,鄭緯民.云計算:系統(tǒng)實例與研究現(xiàn)狀J.軟件學報,009,0(5):13374348CHEN Kang, ZHENG Weimin. Cloud computing! System instances and current rese