高性能計算系統方案設計第1章 需求分析1.1 高性能計算的和大規模數據處理的應用高性能計算作為一種先進的科研手段，在國內的應用發展很快，得到了普遍的重視，近年來國家投入逐年加大。高性能計算的應用條件已經成熟，表現在：u 價格相對低廉的高性能機群系統為高性能計算應用提供了物質基礎；u 高性能計算應用的技術門檻逐漸降低；u 國家鼓勵相關單位做高性能計算的研究，相關投入不斷加大；u 很多高校的科研人員使用高性能計算手段，取得了很好的成果。1.1.1 計算機架構由于各學科高性能計算應用軟件種類繁多，各種軟件的應用特點也各不相同，對計算資源的需求存在差別，方案的設計需要充分考慮到實際應用的特點。作為高性能計算基礎設施的核心，現代高性能計算機的發展從20世紀70年代的向量計算機開始，也已經有了30年的發展歷程。先后出現了向量機、多處理器并行向量機、MPP大規模并行處理機、SMP對稱多處理機、DSM分布式共享存儲計算機、Constellation星群系統、Cluster集群系統、混和系統等多種主體的架構，并分別在不同的時期占據著應用的主流。開放的Cluster集群系統具有較多的優勢，已經占據了目前高性能計算機的主流位置，在TOP500中占據了約80%的份額，在中小規模的高性能計算系統中更是占據統治地位。1.1.2 軟件的并行特點按照應用程序是否為并行程序，可以分為如下幾類：u 串行程序程序運行中只有一個進程或線程。串行程序不能利用高性能計算機多個處理器的并行特點，但可以同時運行程序的多個任務或算例。u 共享內存并行程序程序運行中可以有多個進程或多個線程，可以使用多個處理器進行并行計算。但這種并行程序不能在分布式內存的機群系統上運行。u 消息傳遞并行程序消息傳遞式并行程序可以在所有架構的計算機上運行，可以同時使用數目很多的處理器，以加速程序的運行。在高性能集群系統上，各種程序都可以運行，可以使用集群系統的一個CPU，一個節點或多個節點。1.1.3 互連網絡高性能計算系統的互連網絡包括計算網絡，數據IO網絡，管理監控網絡等。對于并行程序來說，進程之間的通信量也有著顯著差別。對于進程間通信量較小的程序來說，使用高性價比的千兆以太網就可以滿足需求。對于通信密集型的并行程序，多個進程之間數據交換頻繁，對互連網絡的性能要求很高，要求具有較高的帶寬和很低的延遲，千兆以太網就不能很好滿足要求，需要使用高速網絡，如Infiniband，其單向帶寬達到20Gb，延遲小于2微秒。 從2010 TOP500 排行榜中我們可以看到，千兆以太網和Infiniband網成為高性能計算機網絡互聯的主流，尤其從性能份額上來說，Infiniband網更是占據了絕大部分的份額，所以在國際主流的較大系統中，Infiniband計算網逐漸成為主流。高性能網絡的基本性能如下我們可以看到，對于千兆以太網，帶寬達到112MB/s，延時非常高，達到47.57us。而使用萬兆以太網，雖然帶寬和延時均有顯著提高，但是與Infiniband網相比，還是有較大差距。萬兆以太網使用TCP/IP協議，帶寬達到770MB，延時約為12us，使用Iwarp的RDMA協議，性能有一定提升，帶寬達到1046MB/s,延時達到7.68us。對于Infiniband網，DDR和QDR的帶寬有較大差距，但是延時比較接近，分別為1.6us 和1.3us。值得注意的是，QDR的IP over IB的性能有了大幅的提升。1.1.4 操作系統高性能計算的操作系統由最初的Unix操作系統為主，目前隨著集群架構的逐漸廣泛和Linux操作系統的逐漸成熟，Linux操作系統逐漸成為高性能計算機的主流，占到80%以上的市場份額。為了使得集群系統有較好的兼容性，可以配置多種操作系統，如Linux（Redhat,Suse）,Windows HPC server等.第2章 系統方案設計2.1 方案總體設計2.1.1 系統配置表序號名稱技術規格單位數量1硬件部分1.1計算子系統刀片平臺TC4600標準19英寸5U機架式刀片機箱、可以支持14個計算刀片；1*管理模塊，集成遠程KVM和遠程虛擬媒體；2*千兆網絡交換模塊，提供6個RJ45千兆接口；4*冗余熱插拔散熱模塊；4*2000W電源（3+1冗余熱拔插）；臺5計算刀片CB60-G15帶FDR計算刀片2*IntelXeonE5-2660 八核處器(2.2GHz)；8*8GBDDR31333MHz；1*300G 2.5寸10000轉SAS硬盤；1*56GbInfiniband接口；2*1000M以太網接口； 片63管理/登錄節點曙光I620r-G102U機架式；2IntelXeonE5-2660 八核處器(2.2GHz)；84GBDDR31333MHz；1300G 2.5寸10000轉SAS硬盤；156GbInfiniband接口；21000M以太網接口； 1*冗余電源；1*超薄DVD-RW；1*上架導軌；臺21.2存儲子系統存儲系統曙光DS600-G10雙控FC3U ,16盤位,雙控制器，4個8Gb/s FC+8個1Gb ISCSI主機通道,雙鋰電池，2*2GB Cache；冗余電源；含4個SFP（8Gb）；Cache容量可升級為2*16GB；600G 15000轉 6Gb SAS硬盤*16塊套11.3網絡子系統計算網絡IB 交換機FDR Infiniband交換機，36 端口臺2Infiniband線纜MX MC2207310-005 56GB QSFP FDR 5M IB光纜根65管理網絡千兆交換機 48端口交換機，10/100/1000baseT銅接口臺2防火墻集群安全模塊TLFW-1000T 龍芯防火墻標配6個千兆電口，1U機架。并發連接數120萬，吞吐量1G，支持SSL VPN隧道數300配合Nikey智能密鑰*10：曙光精心打造的USB Key解決方案，內置8位國產安全芯片，自主開發COS。硬件實現數字簽名，私鑰永不出Key。臺11.4機柜子系統機柜系統曙光天潮標準機柜標配2個PDU、雙側門，無電源箱，無監控液晶觸摸一體機個3曙光天潮標準電源箱380V無監控電源箱個1監控系統曙光智能機柜監控系統支持四臺機柜溫濕度遠程監控套1曙光集群監控中心監控液晶觸摸一體機，含LCD、觸摸屏、監控主機各1套，安裝在機柜前面板門上套1控制臺曙光集群控制臺1U手動伸縮控制臺(曙光17”液晶顯示器、鼠標、鍵盤、8口切換器等)套1視頻切換系統SKVMSKVM IV Over IP（包含鍵盤鼠標）臺1CIMKVM節點控制模塊個72軟件部分操作系統LinuxSuSELinux企業版套1集群管理系統曙光GridView 2.5GridView HPC版，支持系統部署、系統監控、集群管理、數據報表、統一告警、作業調度。basic portal,包含serial 和 mpi，支持互動作業，作業故障自動切換重啟，文件傳輸，查看修改文件操作。套65Gridview ClusQuota 集群配額系統，可支持用戶機時配額管理，充值計費管理，用戶信用管理等功能。（可選）套1應用門戶系統曙光Gridview Clusportal 系統包含Fluent軟件作業調度套1應用開發環境編譯器GNU編譯器，支持C/C+Fortran77/90Intel 編譯器，支持C/C+ Fortran套1數學庫MKL，BLAS、LAPACK、ScaLAPACK、FFTW套1MPI并行環境OpenMPI（支持Infiniband和以太網的MPI環境）套1MPICH2（支持千兆以太網的MPI環境）套12.1.2 系統拓撲圖2.1.3 系統方案說明u 計算系統CPU整體峰值性能達到17.7萬億次，可以擴展到500萬億次；u 主要產品都采用了冗余設計（電源、風扇等），存儲系統采用冗余設計，系統的可靠性有較高保證；u 系統功耗（不含空調制冷系統）不超過為,150千瓦，電費可按此核算；u 曙光公司將為用戶提供完善的服務，包括安裝調試、系統優化、用戶培訓等，這些都不單獨收費，用戶不必考慮這些方面的費用；u 曙光公司提供5年免費上門服務，極大降低了用戶的運行維護費用；u 曙光公司是領先的專業高性能機算機及方案提供商，擁有較多的成功案例，包括百萬億次超級機算機的成功案例，產品的可靠性和穩定性得到了充分驗證。2.1.4 需求相應分析l 先進性本系統中，我們使用的刀片集群架構，為目前高性能發展的先進趨勢。使用的最新一代Intel E5-2600處理器，為目前性能最高的X86處理器。使用的FDR網絡，也為目前最為先進的網絡技術。同時，系統中使用的并行文件系統、自動功耗管理系統和HPC應用WEB potal，均代表著HPC的先進的發展方向。l 高可靠、高可用需求系統采用刀片服務器，冗余電源，雙控制器存儲系統、高級別RAID系統，以及關鍵節點的HA雙機，同時，高效管理監控系統也是保證系統高可靠、高可用的保證。l 適合用戶應用軟件需求用戶應用軟件眾多，用戶眾多，對計算需求大，系統共配置101TFLOPS的計算能力。針對部分應用對節點間網絡需求高，配置了高帶寬，低延時的FDR Infiniband網。帶寬達到56Gbps，延時小于1us。同時，海量計算時的IO并發讀寫量巨大，對存儲的容量和性能需求驚人，系統配置了并行存儲系統，能夠實現所有存儲的統一地址和并發讀寫。l 易使用需求系統配置了HPC WEB Portal，可以有效降低用戶使用難度。同時，針對系統和應用的專業培訓，也能提高使用人員的使用水平。針對應用軟件的安裝調試也大大降低了用戶的使用難度。l 可擴展性需求集群的架構可以保證計算系統的良好擴展，同時，并行存儲的架構也實現對存儲系統的擴展。l 易管理維護需求配置高效管理系統，支持監控、告警、管理、報表等多項功能，解決管理員的后顧之憂，同時，對管理員的培訓和對系統的運維支持，也能有效提高系統的管理水平。l 節能環保需求配置了刀片系統和高效節能系統，支持空載節點的自動待機，能夠有效降低能耗，幫助用戶節省運維成本。2.2 計算系統2.2.1 刀片集群系統共配置63個雙路8核刀片服務器，主頻2.2Ghz，雙精度峰值接近17萬億次。目前，開放的集群(Cluster)系統具有較多的優勢，已經占據了目前高性能計算機的主流位置，在TOP500中占據了80%以上的份額，在中小規模的高性能計算系統中更是占據統治地位。刀片式集群系統在計算密度、功耗散熱、運營成本、維護成本、可靠性等方面，都明顯優于其它系統，且為系統的擴容升級提供了良好的基礎，刀片系統的優勢主要體現在以下幾個方面。n 計算密度更高提高計算密度是刀片服務器發展的主要動力之一。對于大規模并行計算機來說，提高計算密度尤其重要，刀片式集群系統有效提高了計算密度。n 機房要求降低大規模高性能計算機將對機房空間提出較高的要求，并且要為系統的擴容升級留下空間。刀片式集群系統實現了較高的計算密度，并且有效降低了系統功耗，對系統空調等散熱系統的要求也相對降低。n 功耗散熱降低刀片服務器的功耗部件較少。刀片柜中的電源將由多個刀片共享，所以會使用高效率電源，減小了系統功耗，同時產生的熱量減少，減少了冷卻系統的耗電量。節能的設計體現在曙光刀片服務器的各個層面：1）根據實時功耗確定工作電源個數，使電源工作在最佳效率曲線上。2）修改計算刀片操作系統內核，實現節能3）多計算刀片任務調整調度n 布線簡單在機架式服務器構成的集群系統中，系統布線是一個很大的問題。系統的線纜可能包括高性能計算網絡（Infiniband，以太網等）、數據網絡、管理網絡、監控網絡、電源網絡、KVM網絡等，這些線纜需要連接到每一個計算單元。尤其是在高密度、計算單元數目又比較多的情況下，系統布線是令設計人員頭疼的問題。刀片式集群系統可以大大減少系統布線的數量。多個刀片服務器可以共用冗余電源，內置的交換機將高速網絡（Infiniband等）、數據網絡、管理網絡、KVM網絡集成在一起，只需要對刀片柜進行布線，刀片柜內部的計算刀片通過背板連接，無需布線。根據計算，使用刀片式集群，可以節省85%以上的系統布線。n 可靠性提高曙光刀片服務器采用無源背板進行系統互連，與傳統的線纜連接方式相比，把可靠性提高到了一個數量級以上。刀片系統采取模塊化、冗余、熱插拔設計，進一步提高了系統的可靠性。n 管理方便曙光刀片服務器管理監控高度集成：通過統一的監控界面，監控所有刀片資源，包括機箱電源、風扇、計算刀片、背板、交換機。管理系統整合目前兩大監控技術，即IPMI以及KVM (Over IP)，真正實現監視控制一體化。同時，為實現方便快捷的刀片服務器管理，通過優化的管理軟硬件設計，改善可管理性，增強部署和可服務性，這些將降低總的所有權成本。2.2.2 Intel E5-2600處理器性能優勢2012年3月，Intel Xeon 處理器E5-2600發布，E5-2600處理器相比上代雙路服務器Xeon5600系列處理器在處理器架構上進行了重大調整，從而帶來最高達到77%的性能提升。E5-2600相比上代5600處理器，在處理器核心數、流水線長度、內存帶寬等多個方面都對做出了重大提升，所以導致了性能的巨大飛躍。對于最能衡量高性能計算處理能力的spec cpu2006 fp性能，相比上一代處理器，最多高達77%的性能提升。對于眾多高性能計算應用，相比上代處理器，基本都超過50%以上的性能提升。通過調整流水線的長度和增加CPU核心數，相比上代處理器，linpack性能最多超過100%的性能提升。2.2.3 GPGPU計算節點系統共配置4臺GPGPU節點，該GPGPU節點配置4塊NVDIA C2075 GPU卡，共提供單精度峰值16TFLOPS，雙精度峰值8TFLOPS。GPGPU計算是指利用圖形卡來進行一般意義上的計算，而不是傳統意義上的圖形繪制。時至今日，GPU已發展成為一種高度并行化、多線程、多核的處理器，具有杰出的計算功率和極高的存儲器帶寬，如圖所示。CPU 和GPU的每秒浮點運算次數和存儲器帶寬CPU 和GPU之間浮點功能之所以存在這樣的差異，原因就在于GPU專為計算密集型、高度并行化的計算而設計，上圖顯示的正是這種情況，因而，GPU的設計能使更多晶體管用于數據處理，而非數據緩存和流控制，如圖所示。GPU中的更多晶體管用于數據處理目前，已經有非常多的高性能應用完成了在GPU系統上的移植。2.3 網絡系統本方案的網絡系統的設計從性能和可靠兩個原則出發，采用2套網絡。網絡配置都考慮了擴展余量，以便系統擴充。網絡方案設計充分考慮到了計算節點、存儲節點、網絡交換機的性能參數，在保證了系統穩定的前提下，使每臺設備都能得到最大限度的利用。2.3.1 千兆管理網絡配置1臺高端千兆交換機，配合刀片機箱的管理模塊，連成千兆管理網絡。該交換機1U高，48個千兆端口，實現系統中所有節點的聯通。千兆管理網絡用于系統管理控制、系統監控、作業的遞交、作業監控管理等方面的數據通訊。2.3.2 Infiniband高速網系統配置2臺36端口 Infiniband FDR交換機，共同組成56GbpsFDR全線速網絡。單向56Gb的FDR Infiniband 網絡相比，相比上代單向40Gb的QDR Infiniband 網絡，性能得到了非常大的提升。這得益于三方面：1 FDR 網絡傳輸性能的提高，傳輸性能從QDR 的40Gb增加到FDR的56Gb。2 FDR 網絡編碼效率的提升，編碼效率從QDR 的 8/10 提高到 FDR 的 64/66。3 PCI-E 3.0 編碼效率的提升，編碼效率從 PCI-E 2.0的 8/10 提高到 PCI-E 3.0的 128/130。綜合起來，QDR網絡由于編碼效率的影響，帶寬僅能達到Bandwidth(QDR)=40Gbps*0.8*0.8/8=3.2GBps而FDR的帶寬可達到Bandwidth(QDR)=56Gbps*(64/66)*(128/130)/8=6.6GBps實際達到一倍以上的性能提升對于網絡密集型的高性能應用，FDR網絡帶來的性能提升也是非常明顯，如下圖所示的分子動力學應用NAMD，網絡設備升級成FDR后，性能和擴展性都得到大幅提升。2.4 存儲系統2.4.1 高性能集群存儲的需求特點高性能計算集群在多個節點進行大規模并行計算的同時，需要進行大量文件及數據訪問，對于系統的存儲性能也提出非常高的要求，系統對存儲要求主要歸結為以下幾點。n 全局文件的統一印象；高性能集群相比其它應用而言，一個顯著的特點為保證參與計算的所有節點具有統一的文件印象，也就是說，在任何一個節點、對某一個文件的讀寫、修改都會在其它節點生效，實現這一個功能，往往需要通過網絡文件系統來實現，較為傳統的為nfs系統，當前，由于集群規模的增大和訪問性能的要求逐漸提高，并行文件系統在中大規模的高性能集群中使用越來越廣泛。n 全局文件的高速訪問；對于某些規模較大集群，或者某些高IO應用集群，由于對存儲的訪問量很大，對共享存儲的訪問性能也提出了較高要求。通常，我們需要通過提高磁盤陣列的性能、存儲介質的性能、磁盤陣列訪問接口的性能和IO節點的網絡性能來提高存儲的訪問性能。對于更高IO需求的系統，可以通過并行存儲系統來實現海量文件的并發讀寫。n 存儲系統的大容量；由于高性能集群的規模巨大、數據處理能力驚人，高性能集群集中存儲的容量也往往非常驚人，動輒達到數十TB，在某些對海量存儲需求的系統中，存儲往往達到上百TB，甚至PB量級。n 存儲系統的高可靠性；高性能集群承擔著重要的科研任務，用戶的數據具有極高的價值，同時，存儲為全局系統，一旦出現故障，將導致整個系統的不可用。所以在存儲系統中，無論IO節點、存儲交換機、還是存儲磁盤陣列，存儲介質，每個環節都要盡可能的保證高可靠性和高可用性。可以通過冗余電源、高級別raid、雙機熱備、數據備份等各種手段保證存儲系統的高可靠性。2.4.2 Parastor200并行存儲系統系統配置曙光Parastor200并行存儲系統，裸容量達到192TB，可用容量96T。曙光parastor200并行存儲系統采用多副本、全冗余技術，支持單一存儲命名空間、支持容量海量擴展，性能線性擴展，能夠滿足高性能計算中心海量文件并發讀寫需求。n Parastor200并行存儲技術特點1. 集群化并行存儲架構，數據分布存儲，并發讀寫2. 容量、性能線性增長，資源配額和性能質量保證，統一調度分配存儲空間3. 全局目錄、單一系統映像，虛擬存儲池，精簡配置4. 資產生命周期管理、帶寬分配管理、記賬計費，存儲空間租賃與管理5. 多企業、個人用戶，多訪問協議：CTDB、CIFS、FTP、RESP、SOAP6. 多副本、全冗余架構，保證系統的可靠性與可用性n Parastor200 系統組成1. 管理控制器 - 提供命令行和圖形界面兩種接口 - 內嵌并行存儲管理系統，對軟硬件進行一體化監控管理 2. 索引控制器 - 管理存儲系統中所有元數據和命名空間 - 支持多副本，Active-Active運行方式3. 數據控制器 - 提供數據存儲空間，48TB裸容量 - 支持多副本容錯，自動處理磁盤失效4. 應用服務器 - 向上應用提供數據訪問接口 - 支持多種Linux內核n Parastor 200體系架構n Parastor200 統一管理界面2.4.3 DBstor 備份系統系統配置DBstor 備份系統 20TB，保證系統關鍵數據的安全。DBstor 支持重復數據刪除的SmartDisk技術，能有效備份數據的同時，大大節省存儲空間。曙光DBstor 備份系統具有如下特點：1) 為關鍵數據提供高速、基于備份時間點的恢復DBstor利用全線速的雙千兆數據傳輸鏈路、高速磁盤控制器組并行接收/發送應用服務器的備份/恢復數據，保障數據備份/恢復的高效；在備份時，DBstor鎖定應用服務器特定時間點的數據影像，并對影像做數據一致性對比校驗，保證備份集的絕對可用性，從而最終保證DBstor基于時間點恢復的可靠性2) 高速、高效、大容量的虛擬磁帶庫（VTL）功能DBstor采用獨特的磁盤介質管理方式，在文件系統之上創建虛擬磁帶庫（VTL），保證備份數據在邏輯上保持連續，避免頻繁磁盤尋道帶來的時間損耗，最大限度的利用磁盤組的并行讀寫能力，從而提高備份與恢復速度；為充分利用DBstor的硬件性能，用戶可以根據實際情況定義虛擬磁帶庫的控制器數據、槽位、容量等，為支持更多客戶端并行的備份提供策略保障；DBstor支持10TB和20TB兩種VTL備份容量、滿足絕大部分關鍵數據備份場合的空間需求3) SmartDisk技術與重復數據刪除技術的有機結合DBstor支持VTL的同時，提供另外一種性價比更高的介質管理技術SmartDisk，SmartDisk不等同于文件系統的磁盤管理技術,SmartDisk以網絡服務的形式為DBstor提供磁盤存儲空間，并帶有高效的去重功能，可以實現高達數倍的存儲空間壓縮比；這樣既發揮磁盤存儲的高性能和高可用，又充分利用了存儲空間，可以大大節省客戶的投資4) 備份策略的自動化管理備份自動化：用戶可以根據自身的實際情況，定義自動執行的備份策略和日程表，備份策略一旦制定，就可以按照規定動作在無人職守的情況化，自動完成備份任務；5) 報表生成自動化每天的備份任務執行情況，DBstor會自動形成報表，詳細描述所有備份任務的招待情況，系統管理員可以選擇合適的方式進行通知，比如經由Windows信使, SNMP，自動發送至管理人員的郵箱等6) 全面的Vmware集成主機的虛擬化使用日益廣泛，DBstor對典型的虛擬化環境Vmware提供了全方位的支持，用戶既可以通過DBstor對應的client調用VCB來對虛擬機進行備份，也可以直接在虛擬機上對應用數據進行備份，給虛擬機的備份提供靈活的選擇7) 配置管理易用性統一用戶圖形管理界面； 數據庫備份不需要編輯腳本，純圖形操作；在做設備檢測時，會自動發現和配置存儲設備，并集中管理所有業務服務器進行全自動備份8) 完善的介質控制功能當備份數據過期時，備份介質會自動回收以釋放存儲空間；對全備份及增量備份會自動合并，以產生新的全備份，并可以按照策略對數據格式轉換和加密9) 獨特的備份管理方式可以根據備份任務多少靈活配置驅動器數及磁帶數，DBstor支持自動數據庫數據導出并自動進行備份；對備份介質和其中內容進行自動分組管理；根據需要對所備份的數據進行自動恢復，且可以實現對不同時間的備份內容有選擇的進行恢復10) 多應用及異構操作系統支持DBstor支持多種操作系統客戶端，對操作系統可以做到一鍵式的備份與恢復，支持Windows，linux，AIX等多平臺客戶端；對常見的數據庫，如ORACLE，SYBASE，SQL SERVER等可實現在線的數據庫備份，配合日志的備份，可以將數據庫恢復到最新時間點11) 優異的硬件性能高性能的處理器和緩存以及RAID控制器，對于光纖SAN網絡，單臺服務器的備份效率可以達到200GB/小時；數據庫RAC在線備份效率可以達到200GB/小時2.5 管理調度系統2.5.1 管理/登陸節點系統配置2臺曙光天闊I620R-G雙路服務器，作為管理/登陸節點，實現雙機互備。管理節點主要用于運行集群管理軟件，Infiniband opensm服務，作業調度服務、時間同步服務器等系統級服務進程，管理節點對性能要求不高，但對可靠性要求很高。登錄節點主要用于用戶程序編譯、算例準備，文件上傳下載，作業提交控制等用戶交互作業。登錄節點的負載根據用戶的數量和操作有較大變化。由于登錄節點可能存在用戶的非法操作而導致系統宕機，所以只要預算允許的前提下，登錄節點和管理節點分開的方案能提高整個系統的可靠性。2.5.2 KVM系統KVM系統用于視頻切換，可以通過一套視頻輸出設備（顯示器，鍵盤，鼠標）實現對集群中所有的節點的視頻切換和鍵盤鼠標輸入操作。曙光SKVM over IP（Super Key Video Mouse）系統是大型機群管理、部署、維護和監控不可或缺的設備，與傳統的集線器式的8口或16口的KVM切換器相比，基于CIM/USTS的曙光SKVM系統有著不可替代的優點。SKVM采用普通網線傳輸，采用菊花鏈式連接，由CIM和USTS組成，每個USTS可以擴展999個節點，由于采用了信號轉換技術管理員可以在300m外進行KVM信號的切換，極大的方便了管理員的工作，并且在這距離上無需專門的傳輸線，采用普通的網線即可。為實現機群設備的監控管理，曙光SKVM系統, 可從單一控制臺(鍵盤/屏幕/鼠標)操作管理多臺服務器。單個USTS使用獨創的通信技術, 控制多達999臺服務器, 不需傳統的KVM切換器及難以管理的電纜線，支持所有服務器管理高挑戰性的需求。2.5.3 GridView集群管理調度系統構建一套大規模高性能集群系統涉及到三個層面的內容：最底層的是硬件平臺，它是完成任務的最基礎設施；其次是OS平臺，包括節點機的操作系統以及集群操作系統；最后是應用環境平臺，包括并行開發環境以及編譯環境。高效率的集群系統需要幾個層面的緊密耦合、協調工作。曙光TC4000的注重效率的設計思路貫穿到每一個細節，在每個層面上都做到性能最優。尤其是OS平臺以及應用環境平臺。曙光GridView大型機監控管理系統繼承曙光DCMM2、DCAS等監控管理產品的主要功能和技術特色，并增加多項優秀功能開發而成的機群監控管理系統產品。GridView提供統一的集中式監控平臺，具備可擴展性、集成性、可靠性和易用性，提供對各種商用、自己研發的管理工具的集成接口，從而滿足同時對各不同廠家大型機的環境、硬件、軟件等各方面進行監控的需求。集群監控功能列表狀態監測n 對服務器、網絡設備、存儲設備等各種設備的運行狀態進行實時監測；圖 1.1 系統整體實時統計信息n 對各種應用程序的運行狀態進行監測；n 對運行大型機的機房環境及設備運行環境進行實時監測；圖 1.2實時狀態監測拓撲顯示n 支持機柜方式的物理拓撲方式，按設備實際位置和相應尺寸顯示，使管理員對整個系統一目了然；圖 1.3物理機柜視圖告警管理n 實時告警圖形顯示及列表查詢；n 歷史告警列表查詢及統計分析；圖 1.4告警查詢n 通過多級告警分析，定位最終告警原因；圖 1.5告警分析報表分析Gridview有豐富的報表功能，這在很多同類的監控產品中是不多見的。n 支持小時報、日報、月報、年報等多個時間段的報表生成；n 關聯報表，可以把多個設備的指標在一個報表中生成并進行多設備對比分析；也可以把一個設備的多個指標在一個報表中生成，從而進行多指標之間的關聯分析；n 報表可以導出成Pdf和Exel文件，方便用戶查看。圖 1.6報表接口規范n 采用標準接口，易于多套異構系統的整合和統一監控；集群管理功能列表n 管理授權 負責管理過程的授權控制，只有將管理節點的公鑰部署到被管理節點，才能執行各種集群管理操作。n 用戶管理 負責管理集群系統中的用戶與組群，允許集群系統管理員查看集群系統中用戶與組的配置，并且可以完成對集群系統的用戶和組的增加，刪除，修改等功能。n 進程管理 顯示集群中運行的進程信息，在選定的節點組上運行特定進程，以及殺死特定進程，保存當前運行的進程信息等。n 服務管理 顯示集群中運行的服務信息，在選定的節點組上啟動、停止、禁用指定的系統服務n 文件管理 集群由少到幾個節點多到上百個節點組成，而管理集群中的文件則變成相當復雜的任務。DCMS的集群文件瀏覽器Spreader是用于集群文件管理的工具，界面風格猶如微機Windows下Explorer，操作方便、直觀。n 網絡配置 支持集群網絡管理中最常見的幾種工作：維護系統hosts表，以及設置網絡設備的IP地址。n 并行終端 可在多節點并發執行命令，并提供SSH終端對直接登陸至被管理節點執行各種操作。n 關機管理 快速的對選定節點或整個集群進行關機/重啟/開進操作。集群用戶和組管理集群用戶組管理器（User and Group Manager）是管理集群系統中的用戶與組群的一個工具，負責完成集群系統的用戶和組的管理工作，集群系統管理員可以通過它查看集群系統中用戶與組的配置，以及完成對集群系統中的用戶和組的增加，刪除，修改等操作。圖2.1集群用戶管理界面組成進程管理n 顯示所選服務節點上的進程信息，包括進程名，運行參數，進程依賴關系，CPU使用率，運行時間，虛擬內存大小等重要參數，并且支持中文信息的顯示。n 終止若干個節點上（可以是運行Linux或Windows 2000 系列操作系統的節點）的某個進程。對于運行Linux操作系統的節點，還可以向進程發送特定的信號，包括Terminate, Hangup, Interrupt等常見的信號。 圖 2.2進程列表集群系統hosts表hosts表最初的作用是提供從域名到IP地址的轉換，其作用類似現在的DNS系統。它出現于internet發展的初期，當時連到internet上的機器并不多，每臺機器都維護一個hosts文件以提供域名到IP地址的轉換。隨著internet的發展，聯網機器的數目增多，域名IP的變化也越來越頻繁，每臺聯網機器都維護一個hosts數據表的做法越來越不實際，于是就出現了DNS系統。雖然在功能上DNS已經完全取代了hosts表，但hosts表仍然被廣泛的使用，因為它提供一種方便的名稱到IP的轉換。如讀者對hosts表的歷史信息感興趣可參考RFC952。Linux及Unix系統和Windows系統都提供hosts表功能，雖然在單機上手工直接修改系統的hosts表并不麻煩，但是在集群環境中，特別是大型集群或異構集群，逐一修改維護集群中所有節點的hosts表是一件很繁重的工作。使用DCMS集群管理系統的hosts表管理模塊可以很輕松的維護管理整個集群的hosts表。圖 2.3 Hosts表管理IP管理IP管理模塊提供設置修改節點網絡設備IP地址及其它參數的功能， IP管理模塊的大部分功能都同時支持Linux（Unix）系統及Windows系統。通過IP管理模塊，系統管理員能夠很方便的修改集群系統中各個Linux節點的IP地址信息。圖 2.4 IP管理集群文件瀏覽器集群由少到幾個節點多到上百個節點組成，而瀏覽集群中的文件則變成相當復雜的任務。集群文件瀏覽器是用于集群文件瀏覽的工具，它可在集群內完成文件目錄的瀏覽，新建，修改文件目錄名，刪除以及編輯文本文件等功能。集群并行命令集群并行命令終端可同時對多個被管理節點執行相同的命令，并整理各節點執行結果返回至客戶端，方便管理員對多個節點的并發管理，另外本系統還整合了通過SSH來登錄被管理節點的客戶端工具，管理員可直接登錄至被管理節點，執行各種操作。系統部署 集群系統的安裝主要是指在各個結點上安裝操作系統、文件系統、并行程序運行庫、作業管理軟件和系統管理軟件等。它是集群系統投入應用的前提，所以集群系統的安裝是一件非常重要的任務。系統主要功能特色：n 采用P2P技術對多節點同時快速部署，極大提高工作效率；n 支持樣板機模式，針對不同的節點分發不同的系統鏡像，在一個機群內支持部署多種不同的系統軟件；n 采用B/S架構，安裝后節點信息直接存儲在管理系統的數據庫中，方便管理配置。n 安裝過程中很少需要手動干預，唯一的干預是在部署的初始階段根據提示為節點輸入節點名稱。n 安裝完成的系統最終的ip地址和主機名為用戶安裝時指定，能自動適應更大硬盤，各節點的軟硬件配置不必完全相同。n 支持多種Linux系統,如Redhat Linux, Turbo Linux, Debian GNU/Linux，SUSE等.n 同時支持64位和32位cpu和操作系統圖3.1 集群部署2.5.4 Gridview Clusportal 應用門戶模塊 高性能集群用戶的煩惱1 作業腳本很難寫，Linux命令很難學。 大部分的使用計算機的用戶均習慣windows的封閉提問操作和圖形界面的操作，對于基于Linux命令行操作和基于命令行操作的作業調度系統，往往難以習慣，導致用戶常常感覺自己無法適應高性能計算作業的工作模式，需要長時間的培訓和摸索才能逐漸掌握這一過程。2為什么我的作業等了3天了，還在排隊，別人的作業都算了好幾回了？ 由于用戶往往無法正確的了解現有系統資源，自己可訪問的權限和資源；而基于命令行的作業調度系統開放式操作又常常讓用戶無法準確的去根據自己可訪問的資源去申請資源，導致用戶在申請資源時常常申請錯誤，這樣用戶的作業就長時間處于排隊狀態了。3為什么我的作業等了2天才開始算，可是只用10幾秒就錯誤退出了？ 由于命令行操作的開放式操作，導致用戶往往在撰寫作業腳本或者算例文件時，很容易出現一些細微的錯誤，導致很不容易排到開始計算，往往一開始就錯誤退出了。 Clusportal 主要功能n 錯誤檢查功能p 對所有的申請的資源會設置最大值，并檢查配額，隊列設置，用戶設置等資源限制p 對應用的輸入文件進行檢查p 自動轉化輸入文件UNIX格式n 功能齊全，與其它產品無縫融合p 支持文件上傳下載p 可視化作業p 文件格式轉化p 自動checkpoint/restart.文件上傳下載功能可視化互動作業 n 通用性高、操作簡單p 一個portal頁面開放接口眾多，達到30個，可以滿足用戶的各種作業需求。p 默認值設置合理，90%的作業，用戶只需修改5個以內的選項。p Portal種類多，超過30個，幾乎包含所有高性能應用，同時可定制。p 具有2個基礎版portal，可以適用于所有串行程序，多線程程序、MPI程序。p 根據用戶輸入記憶，提高工作效率n 性能更高p 開啟了進程綁定、共享內存通信等運行優化選項，提高作業運行效率。n Clusportal 主要種類p basic（基礎） portal包含serial 和 mpi，支持互動作業，作業故障自動切換重啟，文件傳輸，查看修改文件操作。p CAE portal包含Ansys，Fluent，Abiqus，CFX，Nastran，Fecko，James，Comsol共7個Portal。p Qchem（量子化學） Portal包含vasp，Gaussian，siesta，CPMD，abinit，PWSCF共5個Portal。p MD（分子動力學） Portal包含Namd，Gromacs，lammps，charmm，amber共5個portal。p BIO（生命科學）Portal包含mpiblast，dock共2個portal.2.5.5 Gridview Clusquota 集群配額模塊產品概述Sugon ClusQuota 1.2.0 集群計費業務系統，可實現計算資源的量化計費和用戶配額制，對各種計算資源(CPU、內存、商業軟件License等)進行有效的統籌、分析和調度。Sugon ClusQuota 1.2.0 通過預充值和實時計費方式，集群管理員可及時掌握用戶對計算資源的使用情況，并為外部計費和內部核算提供有力保證。產品特色 靈活的用戶配額制度傳統高性能集群的資源的分配方式比較粗放，用戶缺乏合理的引導、約束機制，導致計算資源的分配不均衡。ClusQuota 1.2.0采用統一的量化手段描述資源的數量，在高性能集群中引入配額策略，對用戶的可用資源進行預分配和實時計費，并可靈活控制用戶配額的有效期限，精確地記錄和控制用戶資源使用量，從而實現精細粒度的資源記賬和配額統籌。 直觀的資源配額查詢ClusQuota 1.2.0的“余額查詢”功能為集群用戶提供了直觀的配額信息，包括每個用戶當前可用的機時配額，以及目前由于正運行的作業而凍結的配額數量。ClusQuota 1.2.0可實現先充值、后使用(機時)的功能，在用戶提交作業時即從計費系統中做預授權，作業結束后根據實際使用情況結算，有效避免超額占用機時。 完善的賬號管理功能ClusQuota 1.2.0可以將多套集群都納入進來作為一個整體管理，提供全局統一的用戶配額策略。ClusQuota 1.2.0提供完善的計費賬號管理功能，可根據需要，自由設定每個計費賬號所對應的集群用戶，以及相應可訪問的集群資源。ClusQuota 1.2.0既可以實現一個集群用戶對應一個計費賬號，專項專用，也可以實現多個集群用戶共同使用一個計費賬號，適于多個研究組共享計算資源。 詳盡的作業統計功能ClusQuota 1.2.0提供了詳細的作業統計列表，包括每個作業的用戶、所屬集群、所屬隊列、節點類型、并行規模、實際消費機時等信息。集群管理員根據作業記錄，可以對計算資源的使用情況實現全局的、綜合的、動態的、精細粒度的統計，并通過分析找出影響系統性能的資源瓶頸。 詳細的充值明細記錄ClusQuota 1.2.0針對每個計費賬號提供了詳細的充值明細記錄，任何一次充值操作均有據可查，方便集群管理員隨時核對記錄。 詳細的支出明細記錄ClusQuota 1.2.0針對每個計費賬號提供了詳細的支出明細記錄，每一次作業計費均記錄在案，為配額計費和內部核算提供有力保證。ClusQuota 1.2.0使集群管理員對系統的整體運行狀態一目了然，能夠實時動態地跟蹤、反映用戶對高性能計算機資源的使用情況，并能及時實施資源使用控制策略。 靈活多樣的自定義費率ClusQuota 1.2.0可靈活設置費率，針對不同的計算資源(節點、隊列、CPU速度等)實現區別計費。 2.6 集群基礎軟件環境2.6.1 編譯環境 GNU C/C+、GNU Fortran編譯器GNU CC（GNU Compiler Collection）是一個編譯器套件，是GNU推出的功能強大、性能優越的多平臺編譯器，是GNU的代表作品之一。gcc是可以在多種硬件平臺上編譯出可執行程序的超級編譯器，其執行效率與一般的編譯器相比平均效率要高20%30%。它不僅能夠編譯C、Objective C和C+程序，而且還能編譯Fortran、Pascal等語言寫的程序。單就編譯器而言，它是目前公認編譯最快、效率最高的編譯器。 Intel編譯器Intel 編譯器(Intel Compiler)是由美國Intel公司開發，包括C/C+編譯器和Fortran編譯器適用于 Linux、Microsoft Windows 和 Mac OS X 操作系統。 Intel 編譯器的C語言編譯器為icc,C+編譯器為icpc,Fortran編譯器為ifort,支持Fortran 77,Fortran90/95標準.Intel 編譯器支持 IA-32、Intel 64、Itanium 2、Intel Atom 處理器和某些非 Intel 的兼容處理器（例如某些 AMD 處理器）,開發人員應當檢查系統需求。適用于 IA-32 和 Intel 64 的 Intel C+ 編譯器的主要特點是自動向量化器，它能夠生成 SSE、SSE2 和 SSE3 的 SIMD 指令及其適用于 Intel 無線 MMX 和 MMX 2 的嵌入式變種。 Intel 編譯器 進一步支持 OpenMP 3.0 和適用于對稱多處理的自動并行化。借助于 Cluster OpenMP 的附加能力，編譯器還可為分布存儲多處理根據 OpenMP 指示自動生成消息傳遞接口調用。 Intel 編譯器可以對程序進行眾多編譯優化,最大限度地利用Intel處理器及其它一些處理器的優化指令,使得程序性能獲得巨大的性能提升,隨著處理器的不斷更新，Intel編譯器也不斷的加入一些新的優化指令，目前Intel編譯器的最新版本為12. PGI編譯器PGI 編譯器(PGI Compiler)是由波蘭PGI公司開發，包括C/C+編譯器和Fortran編譯器適用于 Linux和Microsoft Windows。 PGI 編譯器的C語言編譯器為pgcc,C+編譯器為pgCC,Fortran77編譯器為pgf77,Fortran90編譯器為pgf90.PGI 編譯器支持 AMD處理器和Intel處理器,可程序可以進行各種級別的編譯器優化，包括內聯函數、循環展開、向量化以及SSE2、SSE3等指令優化。 PGI 編譯器 進一步支持 OpenMP 3.0 和適用于對稱多處理的自動并行化，支持按照OPENMP標準編寫的程序的編譯，滿足單節點內程序的并行移植。PGI編譯器能夠有效簡化GPGPU程序的開發難度，其特有的accelerate模塊能夠使得GPGPU的程序的編寫類似于OPENMP，大大簡化GPGPU程序的移植難度。 圖