面向AI前 AI業務發展趨 AI大模型對網絡的需 DPU硬件卸 4.5自動化關鍵技 人工智能是數字經濟的核心驅動力，AI大模型是人工智能的新引擎。AI大模型指通過近年來ChatGPT等生成式人工智能（AIGC）的突飛猛進，全球范圍內的經濟價值預計將達到數萬億美AI20252000億元。這一巨大的潛力不僅吸引著業內領軍企業競相推出萬億、10萬億參數量級別的大模GPU以GPT3.5為例，其訓練過程依賴于微軟專門建AI超算系統1V100GPU組3640PF-days。在這種情況下，尋求提供極致高性AI業務發展的歷程出發，深入研究大模型對網絡能力的需求，分析當前AI大模型的智能計算中心網絡發展提供有益的參考和啟示。人工智能（AI）是一種使計算機和機器能夠表現出智能和類似人類思維的能力的技術自從20世紀50年代，人工智能的研究開始以來，AI已經走了一個漫長的歷程，經歷了許1-1符號主義與專家系統（1956年-1980年），AI領域的創始人之一約翰·麥1956年提出了“人工智能”這一術語后，AI的符號推理階段就正式開始了。符號推理階段的主聯接主義與機器學習（1980年-2012年），AI開始了一些深度學習和神經網絡方面的深度學習（2012年-2017年），2050年代，人們開始嘗試模擬人腦的神經網絡，等問題，經歷了長時間的2012年，Hinton等人提出了深度學習中一種新的神經網絡結構--卷積神經網絡ImageNet圖像識別競賽中獲得了顯著的成果。卷積神經網Need》，Transformer模型引入了一種新的機制——注意力機制（Attention），用于學習不同位置的詞匯之間的關聯關系，從而更好地表征大型語言文本中的語義和詞法關系。在Transformer中，可以使用多頭注意力機制來學習輸入序列中不同的信息，并根據這些信息Transformer架構由多個堆疊的自注意力層和前饋神經網絡層組成，這種設計使得它在賴關系Transformer可以處理極長的文度消失或爆炸問題。同時，Transformer架構具有并行計算的能力，可以同時處理輸入序列的不同部分。這樣可以更快地訓練和推理大型深度神經網絡，尤其是在使用分布式計算GPU并行計算的情況下。由于它的特殊結構和設計，Transformer架構適合構造大型神經網絡，由此開啟了深度學習大模型時代。大模型也被稱為基礎模型（FoundationModel），其通常定義為：參數規模較大（億級）并Transformer結構，在大規模無標注語料進行自監督訓練后，可以賦BERTGPT是兩種最知名的基Transformers的自然語言處理模型。雖然都是基于TransformersGPT只使用Transformer的解碼器部分BERT使用了雙Transformer的編碼器部分；GPT是從左到右建模文本，確保下一個預測是來自上下文的正BERT201810月，Google團隊發布BERT模型。20197月，華盛頓大學研究團隊在長的訓練時間，并且修改了模Mask機制，取得了更好的效果。20202月，Google2018年，OpenAI團隊發布GPT-1，它使用Transformer架構，采用了無監督學習碼器層12Transformer解碼器層，參數數量達到1.5億個。2020年，OpenAI團隊提ChatGPT是OpenAI202211月底上線的一款具有跨時代意義的大規模智能語OpenAI實驗室開GPT-3.5GPT-4系列大型語言模型，并采用了監用于生成從給定的提示列表所需的輸出。標注者們會SFT模型輸出結果進行打分，這樣ChatGPT生成輸出時的ChatGPT展現的語言能力令人印象深刻，由于大模型巨大的參數量，需要分布式計算、GPU/CPU等異構技術及多種并行模式等方式進行訓練與推理。而智算中心CPU、GPU、內存等池化異構算力資源，語音識別和自然語言處理等領域。AIAI產品已在部ChatGPTAI進一步對產業賦能。涌現出了人工智能即服務（AIaaS）和模型即服務(MaaS)。IT行業的一個關鍵詞。AIaaS為企業和機構提供了AIaaS的應用領域也不斷拓展AI讓傳統的企業也能夠通過數字化的方式創管理和發現消費者需求等。隨AIaaS市場的規模不斷擴張,越來越多的企業也紛紛開辟模型即服務(MaaS)是基于云端提供預先訓練好的機器學習模型，無需自己從頭構建和維護模型。換句話說，MaaS是為那些需要支持應用程序或工作流程的開發人員、數據科學家和企業提供預先構建好的模型的方式MaaSL0層的基礎大模型，再結合行業數據訓L1層的行業模型，用戶通API或模型壓縮的方式獲L2層的垂直MaaS提供商通常提供經過大量數據集訓練和優化的模型，以支持特定的用例，例如圖型所需資源或專業知識的組織的門檻。此外，MaaS提供商通常通過提供按需付費的定價模型，使擴展變得更加容易。一些MaaS提供商包括AmazonSageMaker、MicrosoftAzureMachineLearningModelArts等。2017《促（2018-2020年》20177月國務院全新公布了政策性文件《新一代人工智能發展規劃》，文件中明確20208月，國家五大部門聯合發布了新一代人工智能的建設指引文件《國家新一代2023年的兩會報告中，ChatGPT（大模型）的人工智能詞匯多次被提及，并且模型的效果越來越好Scalinglaw規律，且當模型的參數規模超過數百億后，AI大模型的語言理解能力、邏輯推理能力以及問題分析能力迅速提升。同時，隨著模進行訓練的下一輪迭代或計算。AI大模型的大規模訓練集群中，如何設計高效的GPU有效計算時間占比（GPU計算時間/整體訓練時間）AI分布式訓練集群的效率提升至關重要。以下將從規模、帶寬、時延、穩定性及網絡部署角度AI大模型對AI應用計算量呈幾何級數增長，算法模型向巨量化發展，人工智能模型參數在過去十年增長了十萬倍AI超大模型的參數目前已經達到了千億~萬億的級別。訓練這樣的可是，僅僅有了大量GPU，仍然無法訓練出有效的大模型。合適的并行方式才是提升GPU組成的集群。表面上看，這和云數據中心當前已經達到數萬服務器的互聯規模相比，還處于下風。但實際上，幾千節點GPU互聯，比數萬服務器的互聯更具有挑戰，因為網絡能力和計算能力需要高度匹配。云數據中心使用CPU計算，網絡需求一般在網絡拓撲選擇，是傳統FatTree結構更好，還是可以參考高性能計算的Torus，Dragonfly數據量將達到GB級別，因此機GPU間的通信帶寬及方式對于流完成時間十分重要。存數據的多次拷貝操作。從機GPU通信角度看，流水線并行、數據并行及張量并行模式互聯，PCIe總線的通信帶寬決定網卡單端口帶寬能否完全發PCIe3.0總線（16laneGPU有效計算時間占比13%，當網絡丟包率達1%時，GPU有效計算時間占比將5%AI大模型智算中心能夠充分釋放算力的集合通信過程一般可以拆解成多個節點間并行P2P通信，例N個節點間RingAllReduce2*(N-1)次的數據通信子流程，每個子流程中所有節點均完P2P通信（并行執行）才可結束這個子流程。當網絡出現波動時P2P的流完AI大模型的訓練效率。Transformer誕生以后，開啟了大模型快速演進的序章。過5年時間，模型61M，增長540B，翻1萬倍！集群算力決定AI模型訓練速度的快慢V100訓練GTP-3335年，10000V10012天左右時間。智能無損網絡的構建往RDMA協議及擁塞控制機制，但與之相伴隨的是一系列些許不符合預期的問題。據統計，超過90%的高性能網絡故障是由配置錯誤導致的問題，根據前面的分析可知，AI大模型對網絡的需求主要體現在規模、帶寬、穩定性、時延/AI大模型分布式機器學習場景的10K級別以上，且要求在規模組網環可以勝任CLOS架構下避免擁塞并維持穩定的時延、抖動以及吞吐性能保障卻是少數大象流、同步效應等），傳統數據中心所采用的負載均衡技術（通常ECMP或者AIAI集群的規模。。RDMA技術可以大幅提升通信節點之間的數據訪問性能并降低CPUAI/HPC議中通常采用可靠面向連接的傳輸方式，RDMA網卡需要為每一個連接維護大量的協議狀QP部署的主要因素控制DCQCN算法，該算10K+節點AI大模型網絡中存在明顯的性能不3點： 15+ECN/PFC水線、QoS網絡中，流控調參工作往往需要專業人士持續投入數周的時間其高昂的精調成本和經AI大模型網絡中顯然不具備可復制性。 PFCPFC作為擁塞控制失效場景下的限。首先，在高度冗余的網絡拓撲中（CLOS網絡）PFC協議容易出PFC協議僅支持接口隊列級流控，這種粗顆粒度的PFC以及報文排隊現象的發生，這對當前擁塞控制算法的能力提出了更高的要 ECN、PFC等AI大模型網絡規模化建設和運維的需求，AI智能水線能力的建設和積累。在帶寬需求方面，一AI大模型對網絡的互聯帶寬有明確的要求，另一方面需要在標的劣化。有測試數據表明，在不產生擁塞的情況下，ECMP流級負載均衡導致約分布式高性能應用的特征是多對一通信Incast流量模型，對于以太網的設備，IncastDCQCNRDMA網絡應用最廣泛的擁塞控制算法，也是典型的被動擁塞控制算遍采用單100GE/200GE的高性能網卡，高端網卡已400G接口，對于網絡接入層800G交換機，這對交換機設備容量的需求提出了挑戰。AI集群規模達到一定量級后，如何保障集群系統的穩定性，是除了性能外必須面對GPU故障只影響集群算力的千分之幾，網絡故障會影響數十GPU的連通性，只有網絡穩定才能維持系統算力的完整性。GPU或服務器容易被隔離，網絡作為集群共享AI大模型場景下，網絡故障收斂時間越長，算力損失越大，性能敏感業務體驗也越件的增加（典型云數據中心交換機的硬件故障率通常0.15左右）。當鏈路故障發生時，其故障收斂性能仍然在幾十毫秒以上，其收斂時長AIRTT時延。網復，對于丟包、時延不敏感的業務流量而言已經足夠。在傳統的無損網絡中，ECN/PFC等粗顆粒度端網協同機制也可AI高性能網絡中，業務對丟包、動以及吞吐性能下降則是必然的結果。由此可見AI網絡穩定AI大模型應用對端到端通信時延和抖動性能提出了較高的要求，通常要求平均時延需us10us及以下。對比當前的網絡能力，存在如下差距：節點端到端通信時延（通常都在幾十甚至上ms）中的占比較小，而由擁塞導致的排隊時AI業務低時延的基本需求。AI場景中常用的集合通信具有明顯的流同步效應，這種同步效應要求網絡不僅要做到的同時，應JCT指標可以獲40%的性能增益。由此可見，對時延抖動的有效控制當前機內節點間通信通PCIE、NVLink、UPI、CXL等高速互聯總線技術為主，機SDN已經誕生10年時間，相關的自動化技術也相對成熟。但SDN自動化主IP可達的隧道，自動化管理能力簡單、高效。AI大模型訓練場景下，當大規AI網絡或者對安全隔離有獨特的需求時，網絡建網絡是一個封閉的專用網絡。基于訓練效率考慮，一種典型的網絡架Underlay直接承載AI訓練任務，不Overlay平面。同時為了充分利用設備轉發能力，設備組間AI大模型協同的新型拓撲優化時延和成本方案。同時在組建大規模網絡過程需要強大的擁網絡設備應從提升自身能力出發，聯合端網協同機制，為應AI大模型對智算中心網基于RC的通訊是為每一對需要通訊的QP建立、維護一組連接，此方式導致連接數fat-tree組網存在充分的等價路徑前提下，任意一個單點故障僅影響部分RoCE傳輸的性能。AWS已經將多路徑技術應用到其自研的協SRD中，其在流量收斂性能上得到了顯著的優化。QP建立、維護一組連接，導致了連接數的規模巨大，進而限制了組網規模。針對該問SRDMellanoxDC技術分別為這兩種方案的代表。gobackN往選擇性重傳演進。gobackN重傳是一種簡單的重傳方式，所以在早期芯鏈路故障的情況下才會發生丟包）gobackN重傳不失為一種合理的選擇。RoCEPFC風暴整網流量驟停的擔憂，同時半導體工藝的提升在幫助網卡硬件芯片中能實現更為復雜的協議，RoCE的重傳方式將會逐漸gobackN的全量重傳演進到選擇性重傳。DMADMADMA機制或者擁塞控制機制被提出的時候，RDMA智能網卡能夠及時通過可編程能力更新對應的25.6Tbps25.6Tbps容量200G400G。25.6Tbps容量芯片的成熟穩定部署，200G/400G光模塊放量速度加快，生態拉齊，價格已經平坦化。同時，51.2Tbps容量51.2Tbps400G接口的密度，16K32K典型配置下，減少設備數量，并提供未來更大規模的可能性。38432KCPU的部署。模擬常用高性能計算通信庫的典型流量模型（NCCLbroadcast，reduce，all-reduce等典型操作）的能M:N通信場景，流量大小，持續時間，突發設置，RoCE測試儀表（RDMA協議狀態），同樣在指定測試端口數jobRDMA操作（ibread/writeqp數量以及消以精準測試網絡中的帶寬占用情況，報文時延，job的完成時延等信息。當前智算中心網絡通常采用LOS算場景下低時延和低成本訴求，業界針對該問題開展了多樣的架構研究和新拓撲的設計。直連拓撲在超大規模組網場景下，因為網絡直徑短，具備低成本、端到端通信跳數少64口盒式交換Dragonfly最大組網規27w節點，43CLOS全盒組網。以構10萬個節點超大規模集群為例，傳統CLOS架構需4CLOS組網，端到端通信最大需要跨7跳交換機。使用Dragonfly直連拓撲組網，端到端交換機轉發跳數最少3跳，交換機臺數下40%。同時，通過自適應路由技術實時感知網絡流量負當前主流擁塞控制算法的優化思路仍然在端側實現，需要至少1個T的響應時長，同時針對網絡中存在的多擁塞點問題，仍然需要多個周期才能收斂。因此需要一種新型的端網配合的擁塞控制算法，越來越多的無損網絡設計者意識到，網絡遙測信息對擁塞控制帶寬，最終避免擁塞提高帶寬利用率的效果，保障大規模分布式AI任務的高效完成。網絡帶寬的增長主要依賴網卡/交換機轉發芯片的發展，遵10G->25G->100G->200G->400G->800G的路線。近幾年隨著摩爾定律的逐步失效，芯片演隨著聚合算力的規模不斷增長、計算復雜度的增加，集合通信中數據交互的次數也會有明顯的增長，隨之網絡通信效率對AI應用完成時間的制約作用也越來越明顯。以目前較流行的集合通信操作MPIringall-reduce為例，需要2(N-1)次的數據交互才能完成，其中N為參與的節點數量。深度學習同樣需要調用AllReduce操作進行梯度聚合，且每個節點的傳輸數據量是深度學習模型尺寸的2(N-1)/N倍。當N值較大時，傳輸量接近原始模型尺寸的2倍，相當于額外增添了網絡帶寬的負擔。近年來，隨著可編程交換機的興起和部署，可通過在網計算壓縮數據流量，實現計算傳輸效率的提升，該方式成為一個有效提升分布式系統的方法。在集合通信原語中，Reduce和AllReduce含有計算的語義，因此可以使用在網計算進行加速，減少數據交互次數和入網數據量。組播是分布式計算系統中最常使用的通信模式之一。由于數據被重復發送，應用層組播任務完成時間大于數據量與通信帶寬之比。交換機可完成組播報文的復制分發，以網絡層組播替代應用層組播，避免相同數據的重復發送，實現組播任務完成時間逼近理論最優值（即數據量與帶寬之比）的效果，相比于應用層組播任務完成時間減少約50%。現有基于流的負載分擔技術為：網絡設備接收到一條流進行轉發時，此流經過計算確定一個轉發路徑，若不發生網絡路徑的變化，此流所有的報文都將持續在確定的徑上轉AI/ML的應用中，GPU或其他類AI/ML計算單元之間有著非常簡單的通訊關分擔不均衡，而且這種不均衡一旦引發網絡丟包，就會對整體AI/ML的任務完成時間帶來顯著的負面影響。因此業界越來越重SpineLeaf點之間鏈路的負載均衡算法優在鏈路負載均衡的優化算已經成熟部署的案例有動態負載平衡(DLB)DLB是DLBflowlet顆粒度的調度，和基于流的負載均衡完美兼容。近期新興的感知路由（Cognitiverouting）已經普遍被行業認為是負載均衡算法的最佳徑選擇，并支DLB方式動態平衡流量負載。迭代GLB功能允許上游交換機避開下游擁塞熱點并選擇更好的端到端路徑。GLB保留了DLB的所有優質屬性，例如當鏈同時，另一個路徑也開始逐漸萌芽和發展——基于信元交換實現均衡負載分擔。信元送的調度信令選擇空閑的鏈路進行轉發；到的目的后，信元被重新拼裝成報文發出設備。在這樣的機制下，不同于包轉發（一個固定的流僅能利用單個路徑兩個交換機之間的元交換本身并不是一項嶄新的技術。在目前廣泛應用的框式設備中，線卡芯片與網板芯片之間的流量交換普遍都采用了信元交換的技術，以實現機框內無阻塞交換。現在業界已經DDC網絡架構--在整個網絡設備之間采用信元交換。DDC網絡架構證實了此項技術確實可以有效解決鏈路負載均衡的難題。將此項技術進一步擴展，應用到整個網絡上，會是AI/ML等專有網絡未來解決負載均衡問題的方向之一。Serdes技術推動數據中心進400G，800G的時代，端口功耗成為了業界普遍關注的熱點。低功400G/800G互聯解決方案相繼推出，引起業界廣泛關注，也被普遍認AI和機器學習等智算數據中心的關鍵技術。CPO速數據增長和高帶寬應用至關重要。共封裝光學(CPO)是把交換ASIC和光／電引擎（光收發器）共同封裝在同一基板上，光引擎盡量靠ASIC，以最大程度地減少高速電通道損耗和阻抗不連續性，從而可以使用速度更快、功耗更低的片I／O驅動器。通過使用CPO不僅可以實現聯網，還可以實現GPU到GPU的互連、資源池和內存的分解。其可以滿足AI/ML訓練集群的需求，且具備高帶寬和基數連接、最低的每比在400G、800G時代，除了可插拔光模塊和PO解決方案外，在今年3月OC，inearDirectDriv（可插拔400G/800G光模塊成為了研究熱點。該光模塊方案最大的優勢在于光模塊可以省掉DSP芯片，極大程度降低在模塊層面的信號處理的功耗和延遲。服務AI和機器學習等GPU服務器在提供出色算力的基礎上服務器功耗也會相應的增加。400G/800G的高速互聯使得光模塊以及網絡設備的功耗也會相應的增長。無論CPO還是線性直驅可插拔模塊可能都是未來智算中心的互聯解決方案，通過從互連AI大模型下的智算中心網絡作為業務流量的調度中樞，其穩定性決定著AI集群AI大模型網絡通常要求網絡實ms級的故障恢復時間。故障快速感知作為故障恢復的前提，其感知性能通常在數十us級以下。當前大部分基于報文探測保活機制的感知技術僅能保障50ms級的故障感知性能。因此通過設備硬件提供更高性能的故障感知能力光、FEC錯包統計等）提供快速的故障感知及預測的功能，實現為上層系ms級在以性能為導向的大規模網絡中，面向各種網絡故障場景下的自愈能力是保障業務可其主要宗旨是最大限度降低業務性能的影響，核心技術在于提升各類網絡故障事件響應的以最快的速度實現流量轉發路徑的切換保護；在設備層面，通過利用節點級保護技術，實現流量的快速重路由；在網絡層面，借助自動化和智能化的手段對常見的網絡級故障開展根因分析和問題關聯，通過快速響應預案的積累形成網絡自動止血的能力，確保網絡故障恢復指標在可預期的范圍內。為了滿足AI大模型對超低時延的需求，智算中心網絡需要從集合通訊與網絡拓撲協AI訓練系統實現數據并并行以及混合并行的的NVIDIA公司開源的NCCLPCIe,NVLink，EthernetInfiniband網絡上實現較高帶寬、低延遲GPU通信。集合通信的性能和網絡拓撲密切相關。NCCL能夠針對拓撲特GPU特征進行定制優化，具有比傳統集合通信MPI更高的性能。比PXN方法將不同服務器上位于相同位置的網卡，都歸屬于同ToRswitch；不同位置的網卡，歸屬于ToRswitch。該方式下host上相同位置GPU仍然走機間網絡通信，一跳可達；不host上不GPU，則先通過機內網絡轉發到對應GPU代理上，然后通過GPU代理走機間網絡來完成通信。該方法可以有效地減少host集合通信過程的網絡跳數，從而提在當GPU的算力能力下，100Gbps或更大的數據量才能夠充分發揮GPU的算力。在這樣的發展趨勢下RDMAGPUDirectRDMADPUGPU通信的過程中可繞過主機內存，直接實現GPU內存的讀寫能力。而且，DPU上全硬件實現RDMA能夠支持單流G以上的數據收發能力進而GPU算力聚合且最大GPU集群算力。GPUDirectRDMA技術已經成為當前算力資源總線級互聯高性GPUDirectGPUDirectStorageGDS。GDSGPU從Storage獲取數據的延時和效率問題，可實現GPUStorage的直接訪問GPU使用GDS訪問遠端存儲時，通過網卡NVMe-oF的卸載和加速就變得異常重要。NVMe-oF的實現是在NVMe操作上進行了網絡部分的封裝。NVMe實現的各種隊列操作，包括MQ，SQ，CQ等，可以清晰的通過硬件邏輯實現。同時，根據NVMe-oF所支持的網絡協議，進一步判斷哪種協議適合硬件卸載，或者其使用硬件卸載方式付出的代價最小RDMA的支持，再疊加NVMe的實現邏輯，網卡可以完整實NVMeoverRDMA的硬件卸載，進而GDSNVMe-oF卸載及加速方案。靜態轉發時延主要是由轉發芯片引轉發芯片主要PHY/MAC包處（PP）包處理（P）模塊：為了降低包處理模塊的時延，可通過簡化業務部署的方式，如關AL功能AL時）VAN（AC表IB）4.5AI大模型場景下網絡的特殊性，AI網絡需要實現多維度自動化能力的支持，包AI大模型網絡典型的特征是規模較大，且必須支撐業務集群的按需擴容。然而，網絡中涉及擁塞控制RDMA無損等復雜特性的配置且配置工作涵蓋網卡和網絡交換機。AI網絡特殊性和復雜性，通過充分識別并AI場景網絡特征及變更特點，從而設計符AI場景的網絡模型，支撐自動化能力，盡力實現“即插即用式開局”。等開展一系列自動化測試和驗收的活動。通過自動化測試建立驗收基準，而非依靠人工驗，是確AI集群高品質交付的基對于一些突發的網絡故障或者性能事件，利用轉發芯片的原生能力，對網絡的狀態、數據進行高性能可視化監控。例如通過呈現網絡的擁塞狀態、負載不均狀態等，為自動化調度調優提供數據支持，可實現端到端可視化、自動化運維等，實現故障的快速定位和一鍵修復的能力。在AI網絡中，業務需求的變化、新技術的引入、網絡故障的修復、網絡配置的優化隨著ChatGPT、Copil