公共大數據國家重點實驗室(貴州大學)上海交通大學清華大學北京大學中國科學技術大學中科院科白皮書以高性能計算系統綜合評價指標作為評估系統性能的新方法，牽引建設存算平衡、以數據為中心的系統，以達到三個主要目標：以實際需求牽引系統設計，以行業經驗為指導系統選型，以提高系統實際使用能效為首要目標。白皮書將以綜合評價指標為載體，介紹高性能計算系統設計方法，提升高性能計算系統設計選型的平衡性。白皮書從算力(包括科學計算與AI計算性能)、存力(存儲性能)、運力(網絡性能)和效率(系統能效與平衡性)六個維度選取指標，給出了綜合性能的評測方法，和高性能計算系統的典型應用場景、典型系統配置，最后提出了建立評測社區推廣評測體系的愿景，展望了標準演進的規劃。白皮書內容將隨著技術演化與社區成員反饋而逐步迭代，這是系統性能評價指標發布的首個版本。1高性能計算的發展趨勢021高性能計算的發展趨勢02CONTENTS2集群綜合性能評價方法的演進051.1.存儲系統的重要性愈發凸顯031.2.系統綜合性能更突出1.1.存儲系統的重要性愈發凸顯031.2.系統綜合性能更突出042.2.以性能評價牽引建設存算比合理的計算系統052.3.以性能評價牽引使用多協議互通的存儲系統0634.1.六個維度度量高性能計算系統124.1.1.科學計算性能維度4.1.六個維度度量高性能計算系統124.1.1.科學計算性能維度123.2.性能評價的標準規范104.1.2.AI計算性能維度124.1.3.存儲性能維度124.1.4.網絡性能維度134.1.5.系統能效維度134.1.6.系統平衡性維度134.2.綜合評價計算方法164.3.指標權重與平衡性范圍的設計初稿165性能評價方法的應用195.1.典型算力下的集群設計示例195.1.1超大型集群設計示例205.1.2大型集群設計示例215.1.3中型集群設計示例225.2.典型場景下的集群特性分析235.2.1.“IO密集型”超算系統：以面向基因測序的集群為例235.2.2.“IO密集+計算密集型”超算系統：以面向氣象預報的集群為例245.2.3.“AI密集型”超算系統：以面向自動駕駛的集群為例256高性能計算系統性能評價規范的展望2711高性能計算的發展趨勢黨的十九屆四中全會首次將數據作為生產要素參與分配，數據的作用受到國家高度重視，2022年1月，國務院《“十四五”數字經濟發展規劃》中要求“以數據為關鍵要素，加強數字基礎設施建設”，數據資源匯聚、共享、流通、應用的需求快速增加，對存儲、計算、網絡、安全等的要求也越來越高，以數據為中心的新型數字基礎設施將有力支撐經濟社會數字化發展。2021年5月，國家發展改革委會同中央網信辦、工業和信息化部、國家能源局聯合發布《全國一體化大數據中心協同創新體系算力樞紐實施方案》，提出構建數據中心、云計算、大數據一體化的新型算力網絡體系，布局建設全國一體化算力網絡國家樞紐節點，以滿足數據資源存儲、計算和應用需求的大幅提升。在需求和政策雙重牽引下，全國各地區大力推進數字基礎設施建設的發展，包括計算、存儲和網絡在內的基礎設施和技術均被高度重視，2022年7月，工業和信息化部主辦的中國算力大會上發布了中國綜合算力指數，從算力、存力、運力、環境四個維度綜合評價新型基礎設施和新型數據中心的發展水平。高性能計算是重要的數字基礎設施、國之重器，是高算力、高存力、高運力的代表。2020年以來，十四五信息化規劃和新基建驅動我國高性能計算建設進入高速增長期，多地地方政府和企事業單位都在積極建設高性能計算中心和部署新一代高性能計算系統，將其作為推動經濟社會快速發展的關鍵措施。隨著數據價值的不斷提升以及大數據、人工智能等新興數字產業的興起，高性能計算正在由“大計算”的HPC加速邁向“大計算”+“大數據”的HPDA(高性能數據分析)，并呈現5大趨勢特點。多元應用驅動多元算力。CPU處理器和GPU、FPGA、xPU等專用處理器相結合構建高性能計算的異構算AI計算發展迅猛。AI計算成為高性能計算算力發展最為迅猛的類型之一，且逐步呈現計算芯片DSA化、計算網絡多平面化等特征。成為與傳統高性能計算越來越有區分的領域，這種變化與特征在大模型時代表現的更異構多態復合歸一，資源集約推動架構融合化。一方面，根據應用的需求，構建不同性能和功能的計算和存儲環境，通過靈活組織異構計算體系結構，實現計算、存儲資源比例的靈活調整和性能功耗的平衡。另一方面，圍繞應用負載特征開展體系結構軟硬件協同設計，提升資源的使用效率與性能。高速互聯，更寬更快推動全光化。當前高性能計算互聯網絡主要有Infiniband、Slingshot和RoCE等，隨著技術積累和產業需求升溫，光子集成技術已從功能器件研究向規模化集成芯片演進，光交換技術趨于成熟，全光交換成為發展趨勢。按需彈性極簡運維，加速應用容器化。容器可以為高性能計算工作負載提供動力，并為大規模計算工作負載啟用若干功能框架，能夠提前封裝高性能計算運行環境，易獲取、易操作、易利用，在科研人員中普及化使用高性能計算。以數據為中心，數據密集型超算快速發展。進入大數據時代后，數據的規模不斷增長。隨著HPDA的發展，高性能計算系統的業務負載需考慮HPC、大數據和AI的混合疊加，對于數據的存儲和處理能力提出了更高要求。高性能計算系統需要從數據密集型角度進行設計，支持應用驅動的科學計算工作流，推動負載從計算科學發現向數據科學發現轉變。總結以上趨勢，不難看出，當前計算性能已不再是評價高性能計算集群的唯一標準，集群的綜合性能日益受到重視，尤其是與數據息息相關的存儲系統。021.1.存儲系統的重要性愈發凸顯傳統的高性能計算行業以算力作為核心生產力，如今，業界普遍意識到，當數據存力不足或者效率低下時，數據就無法高效流動、按需使用，也就無法充分挖掘其價值，小則影響算力作用的充分發揮，大則關乎整個高性能計算產業的發展。存儲性能是繼計算性能之后，各行各業數字化能力建設的一種進階，在數字經濟發展中至關重要。存儲與計算性能高度融合，方能真正形成新的核心生產力，能夠在各種業務場景中讓效率指數級增加，讓生產力獲得前所未有的解放。平衡存算比是當前超算集群融合存儲與計算性能的主要方法之一。目前，芯片不斷朝著高性能、低成本、高集成的方向發展，但隨著單芯片集成的晶體管數量增多，高耗能等問題隨之出現，導致芯片性能難以持續提升，無法大規模提升算力。多芯片堆疊封裝為芯片突破性能瓶頸提供了可能，平衡存算比可有效縮短數據搬運路徑，降低搬運功耗，實現芯片級算力與IO的平衡。從設備內視角來看，CPU、總線速度、主內存帶寬及容量的發展速度不一，尤其是在處理海量數據過程中，內存與存儲的空間和帶寬成為制約性能增長的主要瓶頸，如果存儲設備能平衡CPU和IO性能，將在很大程度上釋放算力潛力。此外，隨著數據量的增加，數據處理和存儲的效率也需要及時跟進。在多樣化的HPC場景中，日均產生的數據量可達PB級，需要超大的容量方能完成歸檔。除此之外，在海量數據處理過程中，數據可能需要經過多種格式的轉換，比如自動駕駛和石油勘探這兩個高性能計算應用較為普遍的領域，只有將NFS格式的數據轉換成HDFS格式后，系統才能進行有效處理。海量的數據轉換需要耗費大量的時間，其中還會損壞部分數據，而且產生的數據冗余也占用了寶貴的存儲空間。因此，存儲設備實現多協議互訪可有效提升數據結構多樣化的處理效率。03系統綜合性能更突出慮的重要因素，綠色節能也成為衡量高性能計算平臺綜合性能的重要尺度，TOP500和Green500排名榜單均加E不超過20MW。誠然，硬件工藝的更新換代對能040522集群綜合性能評價方法的演進設計高效工作的高性能計算集群系統，需要在目標場景指引下，平衡處理器、網絡和存儲等組件的選型，合理搭配。高性能計算集群的綜合性能評測方法能夠發揮“標尺”作用，對衡量設計的有效性產生著重。2.1.性能評價方法的演進趨勢現有的性能評價規范專注細分領域，存在重計算、輕存儲、評測指標分散、缺少應用場景和缺少綜合的性能評價規范等缺點。這些評測規范通常過分強調被測系統某一個方面的能力，容易造成偏科。例如，在設計系統時若以浮點計算能力為唯一考量目標，以此為指導設計出的高性能計算系統，難以全面滿足高算力、高存力、高運力、高能效的新型基礎設施要求。此外，現有評價方法對新場景的關注還不夠。隨著NVMe全閃存儲介質、基于糾刪碼的存儲冗余機制、多協議互通存儲系統、新一代異構加速處理器的面市，誕生了諸如BurstBuffer閃存緩沖文件系統、超高密度存儲系統、多功能一體化存儲系統、面向超大模型訓練的人工智能專用系統等新的集群應用場景。如何為這些場景分類，如何評價設計系統與這些場景的適用程度，是新的性能評價方法需要解決的問題。06NFSCIFSMPIPOSIXSNFSCIFSMPIPOSIXS3容易被忽視的問題。論文《Ananalysisofsystembalanceandarchitecturaltrendsbasedontop500supercomputers》總結今年Top500超算集bHDFHDFSIndexLayerPersistenceLayer評測領域基礎計算性能圖計算性能評測領域基礎計算性能圖計算性能33高性能計算性能評價現狀3.1.性能評價基準測試程序當前，業內研究人員發布了數十個具有不同側重面的高性能計算集群性能基準測試程序，按照評價的領域，可以分為基礎計算性能、圖計算性能、AI計算性能、存儲網絡性能、設備能效等等。各個主要領域中相對知名的基準測試程序如下表所示：知名基準測試程知名基準測試程序TOPTOP500、HPCG、PARSEC、SPECCPU、SPECHPC、SPECACCELGraphGraph50007評測領域評測領域AI計算性能存儲與網絡性能設備能效知名基準測試程知名基準測試程序HPCAI500、MLPerf、AIPerf、AISBenchIO500、OSUMicrobenchmarksHPCChallengeGreen500其中，被廣泛使用的包括Linpack(求解線性方程組性能)、HPCG(求解共軛梯度性能)、IO500(存儲性能)、Graph500(圖計算性能)、AI500(AI計算性能)等，但是均專注于各個細分的評測領域，缺少對集群的綜合性能評測，且多數沒有形成系統性的評價規范。始于1993年的TOP500榜單是目前最為熟知的高性能計算性能評價規范，由國際組織“TOP500”編制，每半年發布一次，TOP500排名基于Linpack基準測試衡量線性方程計算的速度和效率，最新版HPL2.0規范從2008年一直用到現在，不過隨著越來越多的應用程序采用微分方程等復雜計算方式，Linpack性能與實際計算效率間的差距將越來越大。因此田納西大學教授JackDongarra提出了HPCG (高度共軛梯度基準測試)標準，與Linpack關注線性方程的計算性能不同，HPCG使用更復雜的微分方程計算方式。Linpack更考驗超算的處理器理論性能，而HPCG更看重實際性能，對內存系統、網絡延遲要求也更高。除了TOP500以外，多個評測榜單試圖從不同方向對超算集群的性能展開評價：面向圖計算性能的Graph500標準于2010年發布，采用GTEPS基準測試評價，更加適用于在數據密集型應用場景中的評測；BenchCouncil的AI500測試標準，基于增量迭代的方法學和智能科學計算應用場景，目前包含3個典型科學數據集，14個負載的不同軟件棧實現；IO500是衡量高性能計算存儲性能的常用評價標準，于2017年11月發布，該標準涵蓋帶寬和元數據兩項基準測試。同時，業界還存在多個商用或非商用的評測基準套件，例如側重計算性能的SPEC系列和PERSEC、側重AI應用性能的MLPerf、側重存儲與網絡性能的OSUMicrobenchmarks和HPCChallenge等。以下是SPECHPC與HPCChallenge兩個被廣泛應用的基準測試套件的測試內容：SPECHPC包含9個測試，涵蓋了宇宙學、天氣學、高能物理學等多個方向的科學計算問題，側重于科學計算性能的測試。SPECHPC的評分規則相對簡單，使用了基準集群的運行時間與被測集群的運行時間的比值作為集群的評分。08評測領域科學計算性能基準測評測領域科學計算性能基準測試HPL：測量求解線性方程組的浮點執行率DGEMM：測量雙精度實矩陣-矩陣乘法的浮點執行率FFT：測量雙精度復數一維離散傅里葉變換(DFT)的浮點執行率PTRANS(并行矩陣轉置)：來自多處理器內存的大型數據數組的傳輸速率，測試網絡總通信容量RandomAccess：測量內存的整數隨機更新率STREAM：測量可持續內存帶寬和簡單矢量內核的相應計算速率通信延遲：測量將8字節消息從一個節點發送到另一個節點所需的時間通信帶寬：測量傳輸大小為2,000,000字節消息所需的時間基準測基準測試LBMD2Q37：計算流體動力學SOMAOffersMonte-CarloAcceleration：物理/聚合物系統Tealeaf：物理學/高能物理學Cloverleaf：物理學/高能物理學Minisweep：核工程-輻射傳輸POT3D：太陽物理學SPH-EXA：天體物理學和宇宙學HPGMG-FV：宇宙學、天體物理學、燃燒miniWeather：天氣HPCChallenge包含了8個測試，分別屬于科學計算性能、存儲性能與網絡性能三個評測領域。然而，該，僅對于各個測試分別輸出了性能的數值。評測評測領域計算性能存儲性能093.2.性能評價的標準規范現有的高性能計算性能評價規范非常碎片化。國內外標準化組織尚未發布針對高性能計算集群綜合性能評價的國家或行業標準，現有標準集中于數據中心和存儲，缺少集群性能相關的國標、行標、ISO標。相關要有如下幾項：發布時發布時間數據中心存儲能效測評規范分布式塊存儲總體技術要求計算存儲分離架構的分布式存儲測試方法服務器應用場景性能測試方法高性能計算通用計算CPU性能測試評價技術要求分布式塊存儲總體技術要求計算存儲分離架構的分布式存儲測試方法信息技術人工智能服務器系統性能測試規范PerformanceBenchmarkingforArtificialIntelligenceServerSystemsT/CESA1214-2022T/CESA1215-2022T/CESA1213-2022T/CESA1169-2021T/CCSA263-2019T/CCSA325-2021YD/T4030-2022GCC7003-2020標準名稱IEEEP29372020/11/26019/12/23標準號2022/4/82022/92022/72022/72022/7型2021/9地標地標地標標其中，《數據中心存儲能效測評規范》規定了數據中心存儲設備的能效測試方法與能效等級評價方法，對測試環境、測試方法、能效指標、加分項均做出了規范；《分布式塊存儲總體技術要求》針對分布式塊存儲解決方案提出功能、性能、可靠性等方面的要求；《計算存儲分離架構的分布式存儲測試方法》規定了計算存儲分離架構的分布式存儲方案的功能、性能、兼容性、擴展性、可靠性、安全性、運維、硬件和網絡測試方法；《服務器應用場景性能測試方法高性能計算》通過制定標準化的評估方法，對比評估綠色計算產品與傳統架構產品在該場景所關注指標、特性上的差異化優勢，展示了以ARM架構為代表的綠色計算服務器在高性能計算應用場景的性能表現。44高性能計算性能指標和評價規范標具有科學性和可解釋性，我們充分調研了Top500各大超級計算集群的性能指標，相應數據集的鏈接為214+提升建議214+提升建議浮點計算性能存儲帶寬浮點計算性能(Flops)存儲帶寬(GB/s)網絡延遲(微秒)......19項基礎指標19項指標權重分析集群特點，給出特定場景下的提升建議分析集群特點，給出特定場景下的提升建議度共19項基礎指標為19項指標設計維度內權重維度的性能評分334.1.六個維度度量高性能計算系統4.1.1.科學計算性能維度2個指標，用于衡量高性能計算集群以雙精度浮點處理典型科學計算內核的性能。HPL雙精度浮點計算性能：系統按雙精度使用高斯消元法求解稠密線性方程組時的計算速度，單位：FLOPS。HPCG雙精度浮點計算性能：系統使用雙精度共軛梯度法求解稀疏線性方程組時的浮點運算速度，單位：FLOPS。4.1.2.AI計算性能維度本維度共包含以下2個指標，用于衡量AI計算集群以典型業務負載表現為衡量方式的性能,2個指標使用的模型分別為MLPerf基準程序中的ResNet-50和MaskR-CNN模型。圖像推理任務的計算性能：系統使用ResNet-50模型在圖像推理任務的性能，單位：VFLOPS。測試數據集使用ImageNet，遍歷周期(Epochs)設定為90，性能度量單位VFLOPS計算方法如下：FLOPS*(實測準確度/目標準確度)^5，其中，FLOPS是推理過程中的浮點運算速度，實測準確度是測試過程實際達到的Top1準確度；目標準確度是測試標準預定義的最佳模型質量Top1，設定為0.763。圖像訓練任務的計算性能：系統使用MaskR-CNN模型在COCO數據集上的圖像訓練任務中的訓練速度，單位：圖片/秒。質量要求為每AP0.377Box和0.339Mask，性能度量單位為完成質量要求的訓練所花費4.1.3.存儲性能維度本維度共包含以下5個指標，參考了在IO500等榜單中被廣泛使用的測試基準，同時擴展了存儲新能力 (多協議互通)的測試，衡量高性能計算集群存儲系統的性能特征。文件系統單客戶端單流帶寬：文件系統在單客戶端單流測試條件下能達到的帶寬，單位GB/s。文件系統單客戶端多流帶寬：文件系統在單客戶端多流測試條件下能達到的帶寬，單位GB/s。文件系統聚合帶寬：文件系統在多客戶端多流測試條件下能達到的聚合帶寬，單位GB/s，按照文件系統可文件系統聚合IO操作速率：文件系統在多客戶端多流測試條件下能達到的IO操作速率，單位：IOPS，按多協議平均訪問效率：分別以HDFS、對象、NFS三種協議訪問文件系統上的同一份數據時，與使用POSIX標準文件訪問協議的速率比值，取三項比值的平均數，不支持的協議比值為0，單位為百分比。4.1.4.網絡性能維度本維度共包含以下3個指標，以描述高性能計算集群的網絡性能。隨著集群規模的擴大、精度要求的提高、模型趨于復雜,以及數據中心、云計算、異地超算等分布式基礎設施的概念提出，集群對IO通信性能的需集群性能的一個不可或缺的維度，與存力一同保障了算力的高效率運行。點對點通信帶寬：系統中任意兩個節點間的雙向通信帶寬，單位Gbps。點對點通信延遲：系統中任意兩個節點間的通信往返延遲，單位微秒。寬與所有節點注入帶寬的比值，單位為比值。4.1.5.系統能效維度本維度包含2個指標，用于評價高性能計算集群的能源利用效率。隨著高性能計算集群算力突破E級大關，核心挑戰。提升算力與存力的能源利用效率勢在必行。單位功耗支持浮點計算能力：系統的HPL浮點計算性能計算子系統能耗的比值，計算單位功耗下的浮點計算能力，單位FLOPS/W。單位功耗的可得存儲容量：系統的可得存儲容量與存儲子系統額定功率的比值，計算單位功耗下的可得存儲容量，單位TB/W。4.1.6.系統平衡性維度5個指標，用于評價高性能計算系統的容量層級。。BurstBuffer與內容容量比：BurstBuffer容量與內存容量的比值，單位為比值。長久存儲與BurstBuffer容量比：并行文件系統容量與BurstBuffer容量的比值，單位為比值。內存與BurstBuffer的帶寬比：內存帶寬與BurstBurffer帶寬的比值，單位為比值。BurstBuffer與文件系統的帶寬比：BurstBuffer帶寬與并行文件系統帶寬的比值，單位為比值。匹配度=(1)V上匹配度=(1)上限下限VV+VV上限下限表高性能計算性能指標匯總表度位備注系統使用雙精度高斯消度位備注系統使用雙精度高斯消元法求解稠密線性方程組時的浮點運算速度。標能PFLOPS科學計算性能HPCG雙精度浮點計算HPCG雙精度浮點計算實際測試值TFLOPS度法求解稀疏線性方程組時的浮點運算速度。圖像推理任務的計算性能VFLOPS圖像推理任務的計算性能VFLOPSAI計算性能模型在圖像推理任務的性能。測試數據集使用ImageNet，遍歷周期 (Epochs)設定為VFLOPS計算方法如下：FLOPS*(實測準圖像訓練任務的計算性能圖像訓練任務的計算性能模型在COCO數據集上的圖像訓練任務中的訓文件系統單客戶端單流文件系統單客戶端單流GB/s流測試條件下能達到的文件系統單客戶端多流文件系統單客戶端多流GB/s流測試條件下能達到的存儲性能GB/GB/s流測試條件下能達到的文件系統聚合IO操作文件系統聚合IO操作速率IOPS流測試條件下能達到的度存儲性能系統平系統平衡性數值說數值說明單位功耗的浮點計算性能單位功耗的可得存儲容量內存容量(GB)與處理器標備注備注時，與使用POSIX標準系系統中任意兩個節點間的MPI消息通信雙向寬系系統中任意兩個節點間的MPI消息通信往返延遲。計算網絡性能時，該指標取延遲數值數。系系統網絡的對分帶寬與所有節點注入帶寬的比值。系系統的浮點計算實測性能與計算子系統能耗的系系統的可得存儲容量與存儲子系統額定功耗的比值。評評分時如下公式轉換為“匹配度”再代入綜合位GbpsGFLOPS/W數值說數值說明評分時如下公式轉換為“匹配度”再代入綜合系統平衡性備注度位標4.2.綜合評價計算方法本評價規范使用幾何平均數計算每個維度的性能評分，為每個被測集群評出科學計算性能、AI計算性能、存儲性能、網絡性能、系統能效和系統平衡性六個維度的評分。維度的性能評分按照公式(2)計算。系數，建議該常數值為100。考慮到不同計算集群的算力規模，使用公式(2)對各個維度進行評分之前，需要參考表2中的HPL實測性能對集群進行劃檔分類，然后再進行評分。對高性能計算集群的評價，最終會輸出兩個結果：(1)評測數據詳表：該表詳細記錄各指標性能的數值；(2)性能雷達圖：以多維度雷達圖來顯示集群系統在不同維度的性能評分。4.3.指標權重與平衡性范圍的設計初稿我們根據經驗初步設計了如下的指標權重，主要考慮是：在計算性能維度，以HPL為代表的稠密矩陣計算方法應用最廣泛，權重最高。存儲性能維度的五個指標重要性相當，均分1.0權重。網絡性能維度中，點對點帶寬最重要因此權重最高。系統能效方面，單位功耗浮點性能比可用存儲容量重要，因此權重更高。系統平衡性方面，五個指標重要性相當，均分1.0權重。綜合評價方法的使用者可以針對具體測試場景，按需設置權重。度科學計算性能科學計算性能AI計算性能存儲性能系統能效系統平衡性表指標權重標HPLHPL精度浮點計算性能HPCG雙精度浮點計算性能GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值BurstBuffer的比值rstBuffer重0.20.2我們調研了歷年Top500超算集群，在現有集群建設經驗基礎上，初步整理了各層級存儲系統容量、帶寬的配比范圍。按照集群實測峰值計算能力，我們將集群劃分為三檔規模，分別是：性能大于30PFLOPS的超大型集群，性能10-30PFLOPS的大型集群，和1-10PFLOPS的小型集群。不同規模的集群具有不同的設計考量，因此在平衡性上有范圍差異。后續將補充其他評估方法，不斷完善建議值范圍。標內存容量(GB)與處理器核心數的比值BurstBuffer容量與內存容量的比值并行文件系統存儲容量與BurstBuffer容量的比值內存帶寬與BurstBuffer帶寬的比值BurstBuffer帶寬與并行文件系統帶寬的比值按按實測峰值計算能力分類>30>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS建建議值范圍2~84~62~520~4010~302~201500~50001000~3000800~20004~82~655性能評價方法的應用擇其他組件的性能。2)分析典型場景下的集群特性，將集群劃分為“計算密集”、“IO密集”、“計算+IO密5.1.典型算力下的集群設計示例我們調研TOP500超算集群的相關性能，基于集群實測性能，將集群劃分為三檔：30PFLOPS以上、10-30PFLOPS、1-10PFLOPS，分別對應超大型計算集群、大型計算集群和中型計算集群。在2022年Top500值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統聚合帶寬(單位：GB/s)148.647578475782725.75AI計算性能AI計算性能307000000035942400(*)825003571825003571826000000文件系統聚合IO操作速率(單位：IOPS260000000.860.86200點對點網絡帶寬(單位：Gbps)2000.567040.567041.0221.02214.719單位功耗的浮點計算性能(單位：GFLOPS/W14.719系0.02480.02481(+)0.68(+)0.89(+)0.95(+1(+)0.68(+)0.89(+)0.95(+)1(+)BurstBuffer存容量的比值系統平衡性90系統平衡性90存與BurstBuffer的帶寬比值BurstBuffer統帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結果為估計值20型集群設計示例“Hawk”超級計算機坐落于德國斯圖加特大學，該型超級計算機主要服務于在能源、氣候、尖端學術、工業和健康等領域的研究，在發電廠的優化、區域和全球氣候模型的相互作用、流行病和遷徙的探索、車輛和飛機的空氣動力學改進以及噪音排放的測定等領域均發揮著重要的作用。使用上文所述的評分方法，“Hawk”超級計算各維度的指標和各維度的評分結果如下所示，不同維度內的各指標所占權重見附錄表格。部分性能指標結果難以獲得，我們通過推測得出。度科學計算性能AI計算性能存儲性能系統能效系統平衡性標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統聚合帶寬(單位：GB/s)文件系統聚合IO操作速率(單位：IOPS)點對點網絡帶寬(單位：Gbps)單位功耗的浮點計算性能(單位：GFLOPS/W)GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值存與BurstBuffer的帶寬比值BurstBuffer統帶寬的比值值19.336047334.65240329(*)26743581297600(*)9(*)11(*)1760(*)18190000(*)0.82(*)2006710.81(*)4.95350.00641(+)0.53(+)1(+)1(+)(*)0.9(+)(*)分304060.680注：(+)表示匹配后的值，(*)表示該項指標結果為估計值中型集群設計示例“Wilkes-3”坐落于英國劍橋大學，是世界上第一臺云原生超級計算機，該超算中心為英國的科學研究提供了主要的計算資源,在天體物理學、材料模擬、核聚變發電和臨床醫學研究具有重要的應用。使用上文所述的評分方法，“Wilkes-3”超級計算各維度的指標和各維度的評分結果如下所示，不同維度內的各指標所占權重見附錄表格。部分性能指標結果難以獲得，我們通過推測得出。值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統聚合帶寬(單位：GB/s)文件系統聚合IO操作速率(單位：IOPS)點對點網絡帶寬(單位：Gbps)2.29728科學計算性能72841.22(*)408981(*)45039380AI計算性45039380496000(*)10(*)15(*)存儲性能30389存儲性能3038913240000(*)0.87(*)2006910.59(*)6910.91(*)0.91(*)29.7單位功耗的浮點計算性能(單位：GFLOPS/W29.7146系1460.016(*)1(+0.016(*)1(+)1(+)(*)1(+)(*)0.93(+)(*)1(+)(*)GB值BurstBuffer存容量的比值系統平衡性99系統平衡性99存與BurstBuffer的帶寬比值BurstBuffer統帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結果為估計值221-數據收集6-數據分發/歸檔1-數據收集6-數據分發/歸檔5.2.典型場景下的集群特性分析為探索可有效評估高性能計算集群系統的性能指標，本文充分調研了幾個典型的高性能計算應用場景，其中包括基因測序、氣象預報、油氣勘探、自動駕駛和新材料設計領域，研究不同場景下的應用特性和典型，分析不同應用場景下的超算集群需要擁有的性能特點。主控主機 (部署SGE/PBS主控主機2-基因轉換3-基因拼接4-基因比對52-基因轉換3-基因拼接4-基因比對5-基因注釋主機1執行主機N (集群部署)BAMBAM/SAM文件FASTQ文件FASTQ文件XXX格式VCF文件圖:基因測序業務流基因測序的業務流程主要包括：文庫制備(樣本上機+數據下機)、生信分析(測序分析+報告解讀)、分析后解讀(報告交付+歸檔分發)。其中生信分析階段包含文件格式轉換、解壓縮、基因拼接、比對、排序、去重、變對環節CPU行量為6TB/40h，滿負荷下一年能產生1PB左右數據，加之生物信息分析過程一般會產生原始數據量5倍左右的中足1PFLOPS，但每核心配備的內存數超過10GB，且采用了低延遲Infiniband網絡，文件系統聚合吞吐能力達到23表某基因測序集群對對應評測方法的關鍵指標HPL性能：0.58PFLOPS每核心內存數：10.6GB節點間網絡延遲：0.64微秒聚合吞吐能力：324GB/s量8748核心93312GB100GHDRInfiniband100PBCPU儲硬件數值氣象預報通過采集各種觀測手段獲得的數據作為初始場，在一定的初值和邊值條件下，利用高性能集群的算力，求解描述天氣演變過程的流體力學和熱力學的方程組，從而預測未來一定時段的大氣運動狀態和天氣現象。主要包括氣象觀測數據采集、數據預處理、模式計算以及后處理。其中，模式計算對高性能集群系統的計算、網絡和IO都有很高的要求，屬于典型的“IO密集+計算密集型”HPC應用。數值氣象預報應用軟件的運行時長通常和預報區域大小，網格數量、分辨率大小、設計算法及HPC集群性能等因素有關。通常而言，預報區域越大，網格數越多、分辨率越精細以及設計算法越復雜對HPC的性能和規模有著更高的要求。一方面，現有的數值氣象模式都采用MPI方式實現并行計算，適合在多個高性能服務器上并行執行；另一方面，數值氣象預報模式本質上是基于流體力學和熱力學等設計的，網格數量的多少一定程度上決定著模式執行的并行度，所以數值氣象模式是計算密集型的應用。因此，跟計算集群的浮點計算能力