云計算技術研究

1云計算是一種商業的計算隨著互聯網時代信息和數據的快速增長，各網站對計算機的計算、存儲能力、數據處理能力和其他需求的需求也越來越大。在這種情況下，我們需要不斷增加系統的硬件投資來實現系統的可擴展性。另外,由于傳統并行編程模型應用的局限性,客觀上要求一種容易學習、使用、部署的新的并行編程框架。在這種情況下,為了節省成本和實現系統的可擴展性,云計算應運而生了。云計算并不是一種純技術的概念,而是一種商業計算模式。它將計算任務分布在大量計算單元構成的資源池里,是各種應用系統的用戶能夠根據需要獲取就算能力、存儲空間和各種軟件服務。云計算是并行計算、分布式計算和網格計算的發展,是虛擬化、效用計算、IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS(軟件即服務)等概念混合演進并躍升的結果。2云計算的概念及其特征云計算產生的背景:雖然云計算是IT行業的熱點話題,但它并不是革命性的新發展,而是歷經數十載不斷演進的結果。從上世紀80年代末,開始出現應用大量系統來解決單一的科學問題,這就是網格計算的概念,而這種概念又導致向云計算的發展。到了上世紀90年代,虛擬化的概念已從虛擬服務器擴展到更高層次的抽象,首先是虛擬平臺,而后又是虛擬應用程序。公用計算將集群作為虛擬平臺,采用可計量的業務模型進行計算。2001年,軟件即服務(SaaS)又將虛擬化提升到了應用程序的層次,它所使用的業務模型不是按消耗的資源收費,而是根據向用戶提供的應用程序的價值收費。云計算的概念就是源于網格、公用計算和SaaS的概念發展而產生的,如圖1所示。對于云計算的概念問題眾說紛紜,中國網格計算、云計算專家劉鵬給出的定義:“云計算將計算任務分布在大量計算機構成的資源池上,使各種應用系統能夠根據需要獲取計算力、存儲空間和各種軟件服務”。在IBM的技術白皮書中的定義:“云計算描述一種系統平臺或者一類的應用程序。云計算平臺可以按需進行動態地部署、配置、重新配置以及撤銷...”。雖然對于云計算的定義各有不同,但都能體現以下特點:1.動態配置:云計算可以按需分配給用戶他們所需的資源;2.可擴展性:云本身就是可動態擴展的資源模式,以滿足不同規模層次的用戶;3.方便快捷:大大降低了軟硬件的購置成本;4.虛擬化:云計算通過虛擬化技術把各個層次的功能封裝成為抽象實體,對用戶提供各層次的云服務。云計算的基本原理是:通過使計算分布在大量的分布式計算機上,而非本地計算機或遠程服務器中,企業數據中心的運行將更與互聯網相似。這使得企業能夠將資源切換到需要的應用上,根據需求訪問計算機和存儲系統。這是一種革命性的舉措,它意味著計算能力也可以作為一種商品進行流通,就像煤氣、水電一樣,取用方便,費用低廉。最大的不同在于,它是通過互聯網進行傳輸的。在未來,只需要一臺筆記本或者一部手機,就可以通過網絡服務來實現我們需要的一切,甚至包括超級計算這樣的任務。3云計算的核心技術云計算是一種以數據為中心的密集型超級計算模型。在工作模式、數據存儲、數據管理、編程模式等方面具有其自身獨特的技術。3.1資源存儲及調度云計算是虛擬化技術的最高境界,虛擬化技術是云計算的底層結構。虛擬技術可以擴大硬件的容量,簡化軟件的重新配置過程。CPU的虛擬化技術可以單CPU模擬多CPU并行,允許一個平臺同時運行多個操作系統,并且應用程序都可以在相互獨立的空間內運行而互不影響,從而顯著提高計算機的工作效率。云計算把各個層次的功能封裝成為抽象實體,對用戶提供各層次的云服務,這些服務通過虛擬化技術實現。用戶使用各種終端在任意位置都可以享受到相應的云服務,而不必關心云端究竟是怎樣計算怎樣存儲的。通過虛擬化技術可實現軟件應用與底層硬件相隔離,它包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據對象可分成存儲虛擬化、計算虛擬化、網絡虛擬化等。隨著虛擬化技術的應用,對虛擬資源的管理是研究的熱點之一。有關專家提出一種方法將VM提供模型集成到現有的資源管理框架中,采用兩級調度的方法將對VM的管理集成到批調度器中,向用戶提供最大努力的調度服務,但目前不支持虛擬資源的預定服務。傳統的調度器對短期租賃請求調度時,要完成嚴格的預定資源服務租賃是很困難的。提出使用虛擬機的無縫掛起和恢復計算的能力來解決這個問題。對于可用性要求不太嚴格的批量計算任務,調度器先掛起當前計算任務,然后去完成具有嚴格可用性要求的作業,如預定資源的作業。當前的云計算系統如ScientificCloud、AmazonEC2等一般是以虛擬機的形式來滿足用戶的計算資源需求,但用戶需要根據自己的要求將這些虛擬機手動配置成一個工作集群。針對這種情況,通過對虛擬集群所需上下文環境的詳細分析,如虛擬機的IP地址、安全信息等,提出了一種在多個虛擬機之間自動、快速部署上下文環境的機制(one-clickvirtualclusters)。另外,虛擬專用網絡VPN的發展為用戶在訪問計算云的資源時提供了一個可以定制的網絡環境。目前對于虛擬資源管理的研究,在滿足用戶對虛擬資源的QoS需求及服務等級協議(servicelevelagreement,SLA)方面還有待進一步研究。3.2androidfs簡介為了保證高可用性、高可靠性和經濟性,云計算采用分布式存儲的方式來存儲數據,采用冗余存儲的方式來存儲數據。另外,云計算系統需要同時滿足大量用戶的需求,并行的為大量用戶提供服務。因此,云計算的數據存儲技術必須具有高吞吐率和高傳輸率的特點。云計算的數據存儲技術主要有Google的非開源的文件系統GFS(GoogleFileSystem)和Hadoop開發團隊開發的HDFS(HadoopDistributedFileSystem)。GFS是Google公司開發的專屬分布式文件系統,為了在大量廉價硬件上提供有效可靠的數據訪問而設計。GFS針對Google的核心數據存儲和使用需求進行優化,用于保存搜索引擎所產生的大量數據。Google的Internet搜索計算借鑒函數式編程模式,函數式操作不會修改原始數據而總是產生新的計算結果數據。因而其應用特點是產生大量的巨型文件,通常以讀為主,可以追加但很少重寫,具有非常高的吞吐率。HDFS的架構建立在大量普通配置的計算機組成的集群上。集群中的節點通常都運行GNU/Linux操作系統同時必須支持Java,因為HDFS是用Java實現的。HDFS采用了主從(Master/Slave)架構,一個集群有一個Master和多個Slave,前者稱為名字節點(NameNode),后者稱為數據節點(DataNode)。理論上一臺計算機可以運行多個DataNode進程、一個NameNode進程(這個進程在整個集群中是唯一的),但在實際情況中往往是一臺計算機運行一個DataNode或NameNode。一個文件被分割成若干Block存儲在一組DataNode上。DataNode負責打開、關閉和重命名文件及目錄,同時建立Block與DataNode之間的映射。DataNode負責響應客戶的讀/寫需求,同時在NameNode的指揮下實現Block的建立、刪除以及復制。現有的HDFS架構使用Java的Map界面,不利于任務的分解和并行處理,因此HDFS僅在數據存儲上實現分布式,數據處理依然是集中式的。3.3云計算系統的數據管理技術云計算需要對分散的、海量的數據進行處理、分析,因此,數據管理技術必須能夠高效地管理大量的數據,即對海量數據的存儲、讀取后進行大量的分析,數據的讀操作頻率要遠大于數據的更新頻率,采用了數據庫領域中列存儲的數據管理模式,將表按列劃分后存儲的讀優化數據管理。云計算系統中的數據管理技術主要是Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase。BigTable是Goosle構建在GFS及Chubby(一種分布式鎖服務)之上的一種壓縮、高效的專屬數據庫系統,是一種結構化的分布式存儲系統。BT是一個大型的分布式數據庫,與傳統的關系數據庫不同,它把所有數據都作為對象來處理,形成巨大的表格,用來分布存儲大規模結構化數據。這種數據庫是一個稀疏的分布式多維度有序映射表,具有支持行關鍵字、列關鍵字、以及時間戳3個維度的索引。允許客戶端動態地控制數據的表現形式、存儲格式和存儲位置,滿足應用程序對讀寫局部化的具體要求。Hbase,它實現了一個類似BigTable的分布式數據庫,用于支持數據密集型分布式應用,可以在上千個的節點上運行,支持PB級數據量。3.4map與rune為了使用戶能更輕松地享受云計算帶來的服務,能利用該編程模型編寫簡單的程序來實現特定的目的,云計算采用類似Map/Reduce的編程模式。Map/Reduce通過“Map(映射)”和“Reduce(化簡)”這樣兩個簡單的概念來參加運算,用戶只需要提供自己的Map函數以及Reduce函數就可以在集群上進行大規模的分布式數據處理。MapReduce則是Google提出的一個軟件框架,以支持在大規模集群上的大規模數據集(大于lTB)的并行計算。這是真正涉及云計算的計算模型。MapReduce架構設計是受到函數式程序設計中的兩個常用函數映射(Map)和化簡(Reduce)的啟發,用來開發Google搜索結果分析時大量計算的并行化處理,比如文獻詞頻的計算等。在函數式程序的設計中,Map和Reduce都是構建高階函數的工具。MapReduce計算模型對于有高性能要求的應用以及并行計算領域的需求非常適合。當需要對大量數據做同樣計算的時候,就可以把數據進行劃分,然后分配到不同的機器上來分別作計算。Map/Reduce的工作原理:通過將輸入數據自動切片而將映射調用分布在多臺機器上,進而再對中間結果的鍵值空間進行劃分而將化簡調用分不到多臺機器上。將文件切分成M片,然后啟動集群上的多個程序拷貝。一份特殊的拷貝是主節點,而其它的則為從節點。主節點將“映射”或“化簡”的任務分配給空閑的從節點。被賦予映射任務的從節點讀入相應輸入數據片內容,分析其鍵/值對并將其傳遞給用戶定義的映射函數。映射函數產生的中間結果鍵/值對在內存中緩存。化簡從節點迭代處理這些有序的中間數據,針對每個中間鍵值它將對應的一組中間值傳給用戶的化簡函數。化簡函數的輸出被追加到該化簡模塊。當所有映射和化簡任務完成后,主節點則會通知用戶程序。此時,用戶程序中的MapReduce調用返回到用戶代碼。完成后MapReduce執行的輸出結果就在R個輸出文件中。用戶可以將其合并,也可以作為下一次MapReduce調用或其它分布式應用的輸入。4跨云操作的束縛和4:云計算的關鍵沒有統一的云端標準:現有的云計算系統的部署相對分散,各自內部能夠實現VM的自動分配、管理和容錯等,但云計算系統之間的交互還沒有統一的標準。關于云計算系統的標準化工作還需要更進一步的研究。安全問題:這里說的安全不是質疑云計算的安全,從技術上考慮它是安全的,但是這無法打消人們的疑慮。如何保證即使是信息碎片都不外泄?如何保證云的管理者不會濫用自己的權力?如何保證不會有任何人在未經你許可時就任意翻看你的資料?對于某些用戶來說,信息就等同于他的全部財富,如果泄漏出去,甚至會變的一無所有。象這樣一些問題都需要云計算的提供者拿出強有力的證據并通過長時間的努力才能解決。跨云操作的束縛:在云計算系統的管理方面,云系統之間的互操作是必須要考慮的一個問題。當一個云系統需要使用另外一個云系統的計算資源時,要能夠提供跨云的管理策略,從而使得云系統之間能夠自動交互。同時為了保證SLA,系統必須能夠進行SLA的監測,當有服務失敗時,自動地進行資源的重新分配。在基礎設施層次上,云計算系統要能夠進行服務的動態遷移,目前的虛擬機只支持共享存儲的遷移,如何將虛擬機遷移到沒有共享存儲的其他物理主機上也是云計算系統面臨的挑戰之一。海量數據的挖掘技術:云計算面對的是TB乃至PB級的海量數據,如何從數據中獲取有效的信息,這將是決定云計算應用成敗的關鍵。推廣問題:一旦進入云計算時代,那么所有的硬件廠商和操作系統企業將何去何從?新事物的出現必將伴隨舊事物的阻撓。另外,云計算自身的穩定性也影響到人們對它的印象Google和Amazon都出現過宕機導致無法提供服務,這都會讓人們心生疑慮,遲緩人們對云的接受速度。總之,云的推廣還面臨著巨大的阻力。5微云計算平臺云計算的快速發展更多地依賴于大企業來推動,主要公司有Google,IBM,Amazon等。Google的云計算平臺:Google針對內部網絡數據規模超大的特點,提出了基于分布式并行集群方式的基礎架構,利用軟件來處理集群中經常發生的節點失效問題。云計算基礎架構模式組成:Google建立在集群之上的文件系統GFS、Map/Reduce編程模式、分布式的鎖Chubby以及大規模分布式數據庫BT。IBM“藍云”計算平臺:“藍云”基于IBMAlmaden研究中心的云基礎架構,采用了Xen和PowerVM虛擬化軟件,Linux操作系統映像以及Hadoop軟件的開源實現,還有Amazon的A-mazon網絡服務(AWS)等。Amazon推出的包括EC2在內的公共云計算服務AWS。Amazon是最早實現商業化云計算的公司。同時,Amazon還為獨立軟件開發人員以及開發商提供云計算服務平臺。Amazon的云計算名為AmazonWebService,目前主要由4塊核心服務組成:1)簡單存儲服務(Si