1、1 1/35/35第9章 機群計算機張晨曦張晨曦 劉依劉依www.GotoS2 2/35/359.1 機群的基本概念和結構9.2 機群的特點9.3 機群的分類9.4 典型機群系統簡介3 3/35/35目前流行的高性能并行計算機系統結構通常可以分成5類：并行向量處理機（PVP）對稱多處理機（SMP）大規模并行處理機（MPP）分布共享存儲多處理機（DSM）機群（Cluster）q優勢：優勢：低廉的價格、極強的靈活性和可擴縮性低廉的價格、極強的靈活性和可擴縮性q成為近年來發展勢頭最為強勁的系統結構成為近年來發展勢頭最為強勁的系統結構4 4/35/35全球全球Top500Top500中機群計算機的數量

2、和比例中機群計算機的數量和比例時間時間 1997.6 1997.6 1997.11 1997.11 1998.6 1998.6 1998.11 1998.11 1999.6 1999.6 1999.11 1999.11 2000.6 2000.6 2000.11 2000.11 數量數量 1 11 11 12 26 67 711112828比例比例 0.2% 0.2% 0.2% 0.2% 0.2% 0.2% 0.4% 0.4% 1.2% 1.2% 1.4% 1.4% 2.2% 2.2% 5.6% 5.6% 時間時間2001.6 2001.6 2001.11 2001.11 2002.6 200

3、2.6 2002.11 2002.11 2003.6 2003.6 2003.11 2003.11 2004.6 2004.6 2004.11 2004.11 數量數量3232434381819393149149208208289289294294比例比例6.4% 6.4% 8.6% 8.6% 16.2% 16.2% 18.6% 18.6% 29.8% 29.8% 41.6% 41.6% 57.8% 57.8% 58.8% 58.8% 時間時間2005.6 2005.6 2005.11 2005.11 2006.6 2006.6 2006.11 2006.11 數量數量304304361361

4、364364361361比例比例60.8% 60.8% 72.2% 72.2% 72.8% 72.8% 72.2% 72.2% 5 5/35/351. 機群一種價格低廉、易于構建、可擴縮性極強的并行計算機系統。由多臺同構或異構的獨立計算機通過高性能網絡或局域網互連在一起，協同完成特定的并行計算任務。從用戶的角度來看，機群就是一個單一、集中的計算資源。9.1.1 機群的基本概念和結構9.1 機群的基本概念和結構6 6/35/359.1 機群的基本概念和結構一個簡單PC機群的邏輯結構q4 4臺臺PCPC機通過交換機連接在一起。機通過交換機連接在一起。qNICNIC表示網絡接口，表示網絡接口，PCI

5、PCI表示表示I/OI/O總線?？偩€。q這是一種無共享的結構，大多數機群都采用這種結構。這是一種無共享的結構，大多數機群都采用這種結構。q如果將下圖中的交換機換為共享磁盤，則可以得到如果將下圖中的交換機換為共享磁盤，則可以得到共享共享磁盤的機群系統結構磁盤的機群系統結構。 7 7/35/359.1 機群的基本概念和結構一個包含一個包含4 4個結點的簡單個結點的簡單PCPC機群機群8 8/35/359.1 機群的基本概念和結構1. 構成機群的每臺計算機都被稱為一個結點。每個結點都是一個完整的系統，擁有本地磁盤和操作系統，可以作為一個單獨的計算資源供用戶使用。除了PC機外，機群的結點還可以是工作站

6、，甚至是規模較大的對稱多處理機。2. 機群的各個結點一般通過商品化網絡連接在一起。3. 網絡接口與結點的I/O總線以松散耦合的方式相連。 9 9/35/359.1 機群的基本概念和結構1. 機群操作系統：在各結點的操作系統之上建立一層操作系統來管理整個機群。2. 機群操作系統的功能 提供硬件管理、資源共享以及網絡通信 實現單一系統映象qSingle System ImageSingle System Image，SSISSIq一項重要功能一項重要功能q機群的一個重要特征機群的一個重要特征9.1.2 機群的軟件模型1010/35/359.1 機群的基本概念和結構1. SSI包含四重含義單一系統單

7、一控制q邏輯上，最終用戶或系統用戶使用的服務都來自機群邏輯上，最終用戶或系統用戶使用的服務都來自機群中唯一的位置。中唯一的位置。q系統管理員通過一個唯一的控制點配置機群的所有軟、系統管理員通過一個唯一的控制點配置機群的所有軟、硬件組件。硬件組件。對稱性：用戶可以從任一個結點上獲得機群服務。位置透明：用戶不必了解真正提供服務的物理設備的具體位置。 1111/35/359.1 機群的基本概念和結構1. 簡單機群系統中的SSI至少應該提供以下三種服務：單一登錄q即用戶可以通過機群中的任何一個結點登錄，而且即用戶可以通過機群中的任何一個結點登錄，而且在整個作業執行過程中只需登錄一次，不必因作業在整個作

8、業執行過程中只需登錄一次，不必因作業被分派到其他結點上執行而重新登錄。被分派到其他結點上執行而重新登錄。單一文件系統q在機群系統中，有一些對整個機群所有結點而言都在機群系統中，有一些對整個機群所有結點而言都相同的軟件，它們沒有必要在每一個結點上重復安相同的軟件，它們沒有必要在每一個結點上重復安裝。另外執行并行作業時要求每個結點都可以訪問裝。另外執行并行作業時要求每個結點都可以訪問到可執行文件，即這些軟件和可執行文件在整個機到可執行文件，即這些軟件和可執行文件在整個機群系統中應該只有一個唯一的副本。群系統中應該只有一個唯一的副本。1212/35/359.1 機群的基本概念和結構單一作業管理系統q

9、用戶可以透明地從任一結點提交作業，作業可以以用戶可以透明地從任一結點提交作業，作業可以以批處理、交互或并行的方式被調度執行。批處理、交互或并行的方式被調度執行。qPBSPBS、LSFLSF、CondorCondor和和JOSSJOSS都是目前比較具有代表性都是目前比較具有代表性的作業管理系統。的作業管理系統。 1. 并行編程模型以及相關的并行編程環境 比較流行的并行編程工具： MPI、PVM、OpenMP、HPF 6. 機群系統的軟件框架 1313/35/359.1 機群的基本概念和結構機群系統的軟件框架機群系統的軟件框架1414/35/351. 機群系統的優點系統開發周期短 q結點采用商品化

10、的結點采用商品化的PCPC機、工作站，通過商用網絡連接。機、工作站，通過商用網絡連接。q系統開發的重點系統開發的重點：通信子系統和并行編程環境：通信子系統和并行編程環境可靠性高 每個結點都是獨立的每個結點都是獨立的PCPC機或工作站機或工作站 可擴縮性強 q機群的計算能力隨著結點數量的增加而增大機群的計算能力隨著結點數量的增加而增大q機群結構靈活（結點之間以松耦合方式連接）機群結構靈活（結點之間以松耦合方式連接）q機群系統的硬件容易擴充和替換，可以靈活配置。機群系統的硬件容易擴充和替換，可以靈活配置。 9.2 機群的特點1515/35/359.2 機群的特點性能價格比高 用戶編程方便1. 機群

11、的迅猛發展還得益于微處理器技術、網絡技術和并行程序設計技術的進步。微處理器技術的進步使得微處理器的性能不斷提高，價格不斷下降 。機群系統更容易融和到已有的網絡系統中，而且隨著網絡技術的進步和高性能通信協議的引入，機群結點間的通信帶寬進一步提高，通信延遲進一步縮短，逐步緩解了由于結點松散耦合引起的機群系統通信瓶頸問題。 1616/35/359.2 機群的特點隨著PVM、MPI、HPF、OpenMP等并行編程模型的應用與成熟，使得在機群系統上開發并行應用更加方便。 1. 機群的不足之處 由于機群由多臺完整的計算機組成，它的維護相當于要同時去管理多個計算機系統，因此維護工作量較大，維護費用也較高。

12、1717/35/351. 根據組成機群的各個結點和網絡是否相同，分為： 同構、異構2. 根據結點是PC還是工作站，分為： PC機群、工作站機群 3. 以機群系統的使用目的為依據，分為： 高可用性機群、負載均衡機群以及高性能機群 （最常用的分類方法（最常用的分類方法 ）9.3 機群的分類1818/35/359.3 機群的分類1. 高可用性機群 主要目的：當系統中某些結點出現故障的情況下，仍能繼續對外提供服務。 采用冗余機制q當系統中某個結點由于軟、硬件故障而失效時，該結當系統中某個結點由于軟、硬件故障而失效時，該結點上的任務將在最短的時間內被遷移到機群內另一個點上的任務將在最短的時間內被遷移到機

13、群內另一個具有相同功能與結構的結點上繼續執行。具有相同功能與結構的結點上繼續執行。q對于用戶而言，系統可以一直為其提供服務。對于用戶而言，系統可以一直為其提供服務。適用于Web服務器、醫學監測儀、銀行POS系統等要求持續提供服務的應用。 1919/35/359.3 機群的分類1. 負載均衡機群主要目的：提供與結點個數成正比的負載能力要求：機群能夠根據系統中各個結點的負載情況實時地進行任務分配。專門設置了一個重要的監控結點，負責監控其余每個工作結點的負載和狀態，并根據監控結果將任務分派到不同的結點上。適合大規模網絡應用 如如WebWeb服務器或服務器或FTPFTP服務器、大工作量的串行或服務器、

14、大工作量的串行或批處理作業（如數據分析）批處理作業（如數據分析）2020/35/359.3 機群的分類負載均衡機群適用于提供靜態數據的服務；而高可用性機群既適用于提供靜態數據的服務，又適用于提供動態數據的服務。 1. 高性能計算機群主要目的：降低高性能計算的成本它通過高速的商用互連網絡，將數十臺乃至上千臺PC機或工作站連接在一起，可以提供接近甚至超過傳統并行計算機系統的計算能力，但其價格卻僅是具有相同計算能力的傳統并行計算機系統的幾十分之一。 2121/35/359.3 機群的分類1. 按照構建方式將機群分為：（一種比較常用的分類方法）（一種比較常用的分類方法）專用機群q吞吐率較高，響應時間較

15、短。吞吐率較高，響應時間較短。q專用機群的結點往往是同構的，一般采用集中控制，專用機群的結點往往是同構的，一般采用集中控制，由一個（或一組）管理員統一管理，而且用戶一般需由一個（或一組）管理員統一管理，而且用戶一般需要通過一臺終端機來訪問它。要通過一臺終端機來訪問它。 企業機群q各結點之間一般通過標準的各結點之間一般通過標準的LANLAN或或WANWAN互連互連q通信開銷較大、延遲較長通信開銷較大、延遲較長q企業機群的各個結點一般是異構的企業機群的各個結點一般是異構的 2222/35/35美國加州大學Berkeley分校開發 具有很多優點：采用商用千兆以太網和主動消息通信協議支持有效的通信。通

16、過用戶級整合機群軟件GLUNIX提供單一系統映象、資源管理和可用性，開發了一種新的無服務器網絡文件系統xFS，以支持可擴縮性和單一文件層次的高可用性。 9.4 典型機群系統簡介9.4.1 Berkeley NOW2323/35/359.4 典型機群系統簡介1. 主動消息 實現低開銷通信的一種異步通信機制基本思想q在消息頭部控制信息中攜帶一個用戶級子例程（稱作在消息頭部控制信息中攜帶一個用戶級子例程（稱作消息處理程序）的地址。消息處理程序）的地址。q當消息頭到達目的結點時，調用消息處理程序通過網當消息頭到達目的結點時，調用消息處理程序通過網絡獲取剩下的數據，并把它們集成到正在進行的計算絡獲取剩下

17、的數據，并把它們集成到正在進行的計算中。中。q主動消息相當高效和靈活，以至于各種系統都逐漸地主動消息相當高效和靈活，以至于各種系統都逐漸地用它作為基本的通信機制。用它作為基本的通信機制。 2424/35/359.4 典型機群系統簡介1. GLUNIX 運行在工作站標準UNIX上的一個軟件層，屬于自包含軟件。主要思想q機群操作系統應由底層和高層組成。機群操作系統應由底層和高層組成。q其中底層是執行在核模式下的結點商用操作系統，高其中底層是執行在核模式下的結點商用操作系統，高層是能提供機群所需的一些功能的用戶級操作系統。層是能提供機群所需的一些功能的用戶級操作系統。q特別地，這一軟件層能夠提供機群

18、內結點的單一系統特別地，這一軟件層能夠提供機群內結點的單一系統映象，使得所有的處理器、存儲器、網絡容量和磁盤映象，使得所有的處理器、存儲器、網絡容量和磁盤帶寬均可以被分配給串行和并行應用。帶寬均可以被分配給串行和并行應用。 2525/35/359.4 典型機群系統簡介1. 無服務器文件系統xFS一個無服務器的分布式文件系統。將文件服務的功能分布到機群的所有結點上，以提供低延遲高帶寬的文件系統服務功能。主要采用廉價冗余磁盤陣列、協同文件緩存和分布式管理等技術。 2626/35/359.4 典型機群系統簡介1. 目標 1G Flops的計算處理能力和10 GB的存儲容量價格不能過高2. 一個具有1

19、6個結點的機群（Thomas SterlingThomas Sterling與與Don BeckerDon Becker二人構建）二人構建）硬件：Intel的DX4處理器以及10 Mbps的以太網軟件：基于Linux系統以及其他一些GNU軟件 9.4.2 Beowulf2727/35/359.4 典型機群系統簡介將這個系統命名為Beowulfq這種基于這種基于COTSCOTS（Commodity Off The ShelfCommodity Off The Shelf）思想的）思想的技術也迅速由技術也迅速由NASANASA傳播到其他科研機構。傳播到其他科研機構。q這類機群被稱為這類機群被稱為B

20、eowulfBeowulf機群機群。 （Beowulf Class Cluster ComputersBeowulf Class Cluster Computers）1. Beowulf并不是一套具體的軟件包或是一種新的網絡拓撲結構，它只是一種思想。 在達到既定目標的前提下，把注意力集中在獲取更高的性能價格比上。 2828/35/359.4 典型機群系統簡介1. 使用低成本、小配置（28個處理器）的SMP來構建機群系統逐漸成為主流。這種結構的系統被統稱為CLUMPs （CLUster of MultiProcessorsCLUster of MultiProcessors）由于SMP結點內部與

21、SMP結點之間通信能力往往不一致，CLUMPs一般使用專門的通信協議和通信算法。 9.4.3 LAMP2929/35/359.4 典型機群系統簡介1. LAMP（Local Area MultiProcessor）由NEC實驗室構建，基于Pentium Pro PC機、SMP機群共有16個結點 每個結點包含兩個每個結點包含兩個Pentium Pro 200Pentium Pro 200 MHzMHz的的CPUCPU以以及及256256 MBMB內存。內存。操作系統使用了支持SMP的Linux 2.0.34內核版本，提供MPICH 1.1.0并行程序開發環境。同一個SMP結點內的兩個CPU之間采

22、用基于共享存儲器的消息傳遞機制進行通信，而結點間通信則通過Myrinet完成。3030/35/359.4 典型機群系統簡介1. 深藍：采用30個RS/6000工作站（帶有專門設計的480片國際象棋芯片）的IBM SP2機群 2. 異步的MIMD，具有分布式存儲器系統結構。9.4.4 IBM SP23131/35/359.4 典型機群系統簡介結點：一臺RS/6000工作站，帶有自己的存儲器和本地磁盤。結點中采用的處理器：一臺6流出的超標量處理機 每個時鐘周期可以執行每個時鐘周期可以執行6 6條指令，包括條指令，包括2 2條讀數寫條讀數寫數指令，數指令，2 2條浮點乘或加指令，條浮點乘或加指令，1 1條變址增量指令和條變址增量指令和1 1條條分支指令。分支指令。每個結點配有一套完整的AIX操作系統（IBM的UNIX）。結點間的互連網絡接口是松散