1、2009年第5期福建電腦基于虛擬化技術的Rocks高性能集群的建立與應用周鐵成(浙江水利水電專科學校網絡中心浙江杭州310018【摘要】:集群是目前高性能計算機系統主要的解決方案。隨著集群規模的擴大,也出現了不易安裝與管理、故障率高、缺乏方便的并行程序開發調試環境等問題。本文在集群安裝軟件包Rocks的基礎上,結合Xen虛擬化技術構建了一個高性能虛擬集群,從而簡化了集群的組建與管理,并提高了系統可靠性與容錯性能及并行程序開發效率。【關鍵詞】:高性能集群;虛擬化技術;Rocks0、引言在現有的高性能計算機體系結構中,集群因其擁有極強的靈活性和可擴展性,同時在建造成本上更具優勢,已逐漸占主導地位。

2、集群是一組相互獨立、通過高速網絡互聯的計算機,并以單一系統的模式加以管理12。以往,面對大規模的集群,軟件的安裝、維護與監控都很困難,Rocks集群軟件整合了高性能計算集群的安裝、管理,使普通用戶也能建立和管理集群。高性能計算隨著發展也面臨著不少問題,如1高性能計算應用日益多樣化造成體系結構的異構化,在一個高性能計算系統中會出現不同類型CPU,給建立統一的編程模型帶來困難。2高性能計算程序與運算環境的規模相關,不同規模環境的運行效果相差很大,如通信的開銷。小規模下開發的程序在大規模環境下有可能無法運行,并行程序的規模移植要花費大量時間,并行程序開發效率不高。3高性能計算應用對軟件環境的復雜需求

3、,因對不同應用作了不同的優化配置,不同應用的切換運行也需要管理員切換相應的環境。虛擬化技術是解決這些問題很好的途徑。在Rocks的基礎上,結合Xen虛擬化技術來構建高性能虛擬集群,即可以快速地部署與簡便管理大規模的集群,又可以應用虛擬化技術來解決高性能計算發展遇到的問題。1、Rocks與Xen的功能介紹1.1RocksRocks是一組用來創建和管理高性能計算集群的工具包,基于CentOS Linux,包含了用于高性能計算的許多開源工具軟件,如作業調度SGE、集群監控ganglia等,Rocks的特點是軟件包以稱為Roll的形式組織,如HPC Roll、SGE Roll等等3,Roll除了Roc

4、ks已提供的外,也可以用戶自已創建Roll。這樣用戶安裝時除了基本的軟件包外通過加入不同的Roll,來定制自已的集群。Rocks集群通過Red Hat kickstart來進行大規模的節點自動安裝,kickstart腳本文件描述了集群節點安裝所需的軟件及軟件配置。Rocks通過Kickstart圖結構來生成計算節點自動安裝所需的kickstart腳本文件,Kickstart圖由結點及邊組成,結點和邊使用XML來描述。圖中的結點代表單一的功能模塊和對應的kickstart腳本片斷,Rocks現在有將近200種結點可以選擇。邊來連接結點,在圖中穿過結點生成完整的kickstart腳本文件。Rock

5、s采用這種方式可以靈活地生成kickstart腳本文件,適應不同類型集群結點的安裝。節點的地址、類型信息、集群配置信息都存儲在MySQL數據庫中,Rocks生成kickstart腳本文件時,也會讀取數據庫中的相關信息。1.2Xen虛擬化技術虛擬化技術使得一臺物理機可以同時運行多個不同操作系統的虛擬機,虛擬機共享物理機的資源。虛擬化技術在服務器領域內應用越來越廣泛,可以提高資源利用率,降低建設與運行成本,簡化管理,并實現數據快速恢復等等。目前,虛擬化技術在高性能計算領域的應用還不多,主要原因是,高性能計算對性能有苛刻的要求,虛擬化會帶來些性能的損失。隨著以Xen為代表的半虛擬化技術的發展,虛擬機

6、性能得到了很大的提升,加州大學的研究人員經過測試證明Xen應用于高性能計算,并不會導致嚴重的額外系統開銷4。虛擬化技術與高性能計算結合會越來越緊密,虛擬化技術為高性能計算領域的諸多困難提供了新的解決方法。Xen是由劍橋大學開發的開源系統級虛擬化軟件,對CPU、內存以及I/O設備的虛擬都采用了半虛擬化技術,Hypervisor(虛擬機管理器直接運行在硬件平臺上,使用硬件接口,完成資源虛擬化和虛擬機管理,客戶操作系統運行在Hypervisor之上,使用Hypervisor提供的指令集和設備接口,使客戶操作系統能獲得接近直接在裸機上運行的性能,但Xen需要少量修改客戶端操作系統內核與Hypervis

7、or協同工作。2、基于Xen虛擬機的Rocks集群的安裝Rocks把集群的節點分為兩類:前端節點與計算節點。前端節點是外界訪問集群的入口及管理節點,運行集群的各種服務(NFS,NIS,DHCP,NTP,MySQL,用戶通過登錄前端節點進行遞交作業,編譯程序代碼等等。前端節點須有兩塊網卡,一塊與外界通訊,一塊與計算節點通訊,組成集群內部私有網絡。計算節點負責計算任務的運行。Rocks集群結構如圖1所示。圖1Rocks系統結構基于Xen虛擬機的Rocks集群,有兩種類型,一是前端節點仍然運行在物理機上,而計算節點運行在虛擬機上,這樣在一臺物理機上可以安裝多個計算節點,與原來的物理集群相比,計算節點

8、數量更靈活。第二種類型是前端節點與計算機節點都運行在Xen虛擬機上,構成虛擬集群,一個物理集群可以分解為多個虛擬集群,運行不同的計算任務。安裝基于Xen虛擬機的Rocks集群,我們需下載Rocks相應的安裝包,包括Kernel/Boot Roll、Core Roll、OS Roll-disk1、OS Roll-disk2,其中Core Roll包含Area51(系統安全相關的工具、HPC(高性能計算及測試軟件、Ganglia(集群監控軟件、SGE (作業調度軟件、Java(Java SDK及Xen(Xen虛擬化軟件。我們以前端節點在物理機上,計算節點在虛擬機上的集群為例,安裝步驟如下:安裝前端

9、節點:1用Kernel/Boot光盤引導服務器,出現選擇安裝前端節點與計算節點界面時,輸入build,進行前端節點的安裝;2在Roll選擇界面,依次選定所需的功能包,Xen必須選擇,以使Rocks增加虛擬化支持;3填寫集群相關信息,如集群名、域名等 ;1112009年第5期福建電腦4設置前端節點內外網卡的IP地址、網關、域名服務器等;5磁盤分區設置后,開始安裝系統。安裝計算節點:計算節點運行在Xen虛擬機上,安裝虛擬節點的物理節點需加入Xen虛擬化支持,這樣的物理節點稱為VM Container。1在前端節點終端上輸入insert-ethers命令,命令界面如圖2所示,選擇VM Contain

10、er。前端節點啟動偵測程序,等待子節點發送DHCP請求。圖2insert-ethers命令界面2用Kernel/Boot光盤引導啟動物理節點服務器,物理節點服務器向前端節點發出DHCP請求,請求IP地址與自動安裝所需的kickstart文件URL。前端節點收到DHCP請求后,分配IP 地址和主機名(默認格式為vm-container-0-x給物理節點,并將相關信息寫入數據庫,同時發送kickstart URL。3物理節點根據kickstart腳本文件,從前端節點獲取相應的安裝文件,自動安裝。4物理節點安裝完后,回到前端節點終端,通過Rocks相關命令來添加、安裝虛擬計算節點。5添加一個虛擬計算

11、節點:rocks add host vm vm-container-0-x membership="Compute",執行后,將虛擬計算節點的信息寫入數據庫,并分配MAC地址給虛擬節點。6安裝虛擬計算節點:rocks start host vm compute-0-1-0 install=yes,這樣,主機名為"compute-0-1-0"虛擬計算節點開始安裝,用戶可以執行rocks-console compute-0-1-0命令來監控安裝過程。根據物理節點的硬件資源,按以上的方法添加任意的虛擬計算節點5。3、Rocks虛擬集群的管理圖3Virtual

12、Machine Manager界面Rocks集群引入虛擬節點后,須對虛擬節點進行有效管理,如調整虛擬機的硬件資源,監控虛擬機資源情況等等。Rocks自帶的Red Hat Virtual Machine Manager(VMM提供了虛擬機管理圖形化視圖。在前端節點運行VMM后,再連接到各個VM Container,統一管理集群所有的虛擬節點。VMM界面如圖3所示。Rocks對整個集群的管理監控通過Ganglia實現,Ganglia是一個分布式的監控工具,實現集群節點的資源監控。Ganglia提供Web界面可以看到每個節點的狀態,包括CPU、磁盤利用率,以及節點是否在線等等。結合Ganglia,在

13、虛擬集群中,可以快速進行負載均衡,可以將負載較重物理機上的虛擬節點遷移到負載較輕的物理機上。4、Rocks虛擬集群的應用4.1系統容錯MPI是Rocks集群最通用的編程環境,但其運行環境經常會因為節點的故障而出現錯誤,傳統的容錯是采取響應策略從錯誤中恢復過來,通常依賴于檢查點的保存與恢復機制6。在Rocks集群引入Xen虛擬化后,可以提高容錯性能。虛擬計算節點運行在Xen的虛擬機管理器上,當虛擬機管理器監測到一個虛擬計算節點出現故障時,可以重啟虛擬計算節點或者新建一個新的虛擬計算節點代替,這樣,故障就被自動修復。4.2構建虛擬開發環境高性能計算程序和運算環境的規模相關,在大規模環境中的運行效果

14、和小規模的運行效果可能相差很大,并行程序的規模移植要花費大量的時間。在Rocks虛擬集群中,一個物理節點上可以構建大量的虛擬計算節點,就能為大規模的高性能計算提供虛擬環境,還能為MPI編程環境定制專門的配置。這大大提高了高性能計算程序的開發效率。4.3快速部署系統軟件不同的高性能計算應用可能需要配置不同的操作系統與系統軟件,在物理集群中,都需要一一部署,完成部署后還需要重啟整個系統。而在Rocks虛擬集群中,可以將操作系統、高性能計算應用和系統軟件打包成Virtual Appliance(虛擬機映像,將新的Virtual Appliance通過網絡部署到節點上,然后重啟節點,就完成了高性能計算

15、應用及相關系統軟件的快速部署。5、結束語本文利用Rocks與Xen虛擬化技術構建的高性能虛擬集群,即方便了用戶的使用與管理,又在系統容錯、高性能應用環境切換、并行程序開發效率等方面優于物理集群。隨著虛擬化技術在高性能計算領域研究與應用的不斷深入,虛擬化技術與高性能計算將結合得越來越緊密。參考文獻:1.王鵬,呂爽,聶治,等.并行計算應用及實戰M.北京:電子工業出版社,2007.2.車靜光.微機集群組建、優化和管理M.北京:機械工業出版社,2004.3.Papadopoulos P M,Katz M J,Bruno Greg.NPACI Rocks:Tools and Techniques for

16、 Easily Dep-loying Manageable LinuxClustersC/Proc of the Cluster2001:IEEE International Conferecnce on Cluster Computing, 2001.4.Youseff L,Wolski R,Gorda B,et al.Paravirtu-alization for HPC SystemsC/Proc of the Workshop on XEN in HPC Cluster and Grid C-omput-ing Environments,2006.5.UCSD.Xen Roll:Users Guide