2023年8月中國移動提出“算力網絡”新理念2023.32023.32022.72022.122022.72022.12022.62022.12021.112021.82021.112021.8“算網一體”是中國移動算力網絡發展的深化算力網絡的發展經過三個階段的發展，逐漸深化起步階段：泛在協同發展階段：融合統一跨越階段：一體內生一站服務：一站開通算網服務協同運營：云網運營雙入口拉通協同編排一體服務：多層次智簡無感服務一站服務：一站開通算網服務協同運營：云網運營雙入口拉通協同編排一體服務：多層次智簡無感服務智慧內生運營服務編排管理智能編排編排管理基礎設施網隨算動算網融合算網一體20252025 3算網一體架構及總體設計算網一體通過“聯合感知”“混合控制”“極致互聯”構建面向智能化時代的數架構關鍵技術聯合感知聯合感知混合控制混合控制網絡信息拓撲信息擁塞狀態SLA網絡信息拓撲信息擁塞狀態SLA指標CPU利用率異構算力算力規模前提集中式控制任務分解與調配節點1節點2分布式控制節點3消費側節點4支撐作用極致互聯極致互聯CSP4CSP1CSP4CSP1 CSP CSP3CSP2算力路由在網計算廣域RDMA算網數字孿生4分布式系統面臨通信開銷瓶頸問題模型訓練時長分布[1]分布式訓練管道中模型訓練時間分解[1]不同模型在進行分布式訓練時，各階段的時間分布不同?采用8個workers和8個PSs的網絡訓練AlexNet模型，網絡通信時間占比可高達80%以上?面向AI場景的網絡優化需要更細粒度的通信算子優化方案需要盡可能壓縮通信的時延占比，同時結合不同類型的通信過程優化分布式系統通信性能[1]ParameterHub:aRack-ScaleParameterServerforDistributedDeepNeuralNetworkTraining，htps://doi/10.1145/3267809.32678405問題主要來源發送接收發送接收網絡負載嚴重不均衡發送接收發送接收發送↓發送交換機接收發送發送發送↓發送交換機接收發送發送通信模式不匹配交換機交換機③①②接收接收接收發送發送通過網絡與分布式應用各通信階段緊耦合的設計方式優化分布式處理是重要發展方向6在網計算有望攻克分布式系統通信瓶頸問題性能躍升主要優勢處理模式性能躍升主要優勢單次聚合時延流量壓縮單次聚合時延在網計算設備在網聚合，數據在網計算設備在網聚合，數據消冗與求和縮短傳輸路徑與傳統軟件實現聚合操作相比，縮短傳輸路徑與傳統軟件實現聚合操作相比，IBSHARP方案性能提升近5倍單次同步時延網內處理單次同步時延網內處理，實現Sub-RTT通信線速處理線速處理與傳統軟件實現消息同步與傳統軟件實現消息同步相比，IBSHARP方案性能提升近9倍交換機Tbps處理能力7在網計算發展現狀產業與學術進展中國移動CFITI試驗網創新驗證架構AlexNetVGG架構AlexNetVGG19VGG16VGG11ResNet152ResNet101ResNet50在網組播在網聚合SIGCOMM22IPDPS04在網聚合在網聚合COMHPC16COMHPC16ASPLOS23NSDI21在網計算發展挑戰在網計算發展面臨應用場景豎井式、協議實現封閉化、以及編程范式豎井式封閉化編程不友好豎井式封閉化編程不友好在網計算NACA在網計算NACANetworkAssistedComputingAcceleration邏輯物理統一通信原語統一邏輯物理統一編程范式統一NACA以編程范式統一NACA以提升在網計算通用性為目標，重構應用處理模式，構建全新的在網計算通信庫，圍繞拓撲映射、編程范式、計算實現、資源管理形成”四個統一”，實現網絡輔助計算加速，提升分布式系統算能算效網內資源統一在網計算NACA技術架構編程范式統一分布式應用分布式應用 通信原語統一編排管理在網計算通信庫編排管理在網計算通信庫高性能互聯高性能互聯網內資源統一網內資源統一異構網元異構網元核心特征1：邏輯物理統一邏輯拓撲邏輯拓撲在網計算相較傳統計算與邏輯拓撲映射更親和統一.——邏輯鏈路 物理鏈路傳統計算在網計算物理拓撲核心特征2：通信原語統一參數向量聚合（數據類型：數值）大數據處理鍵值聚合（數據類型：鍵值對）參數向量聚合（數據類型：數值）大數據處理鍵值聚合（數據類型：鍵值對）123579456調用相同的聚合算子在網計算通信庫廣播 同步聚合散播……在網計算通信庫廣播聚合算子物理實現統一聚合算子物理實現統一核心特征3：編程范式統一軟件軟件框架分布式應用應用開發統一在網計算編程框架運言Lyra領域專用語言Micro-C領域專用語言網絡設備開發 應用1應用2多種在網計算程序統一編譯 前端編譯中間轉譯及中間轉譯及程序綜合異構在網計算網元轉譯至異構在網計算網元網絡設備1網絡設備2網絡設備1網絡設備2核心特征4：網內資源統一在網計算節點在網計算節點 CPUGPU DDRDDRDDRDDRDDRDDR在網計算節點 CPUDDRDDRDDRDDRDDRDDR在網計算節點 CPUGPU 在網計算節點 CPUGPU 高性能互聯協議（RDMA、CXL等...）高性能互聯協議關鍵技術1：計算語義映射主機傳統網絡設備在網計算設備主機傳輸層Message傳輸層Message兩種封裝機制①自定義協議棧優勢：設計靈活、高效劣勢：開發復雜度高，技術封閉②基于現有協議棧（如RDMA）優勢：兼容性高，可復用現有成熟加速技術劣勢：方案不靈活，傳輸效率相對較低關鍵技術2：計算正確性保障問題：丟包、重復包影響計算正確性發送端接收端接收端聚合時發生丟包發送端 聚合時收到重復數據包方案：方案：依靠擁塞控制和可靠性傳輸降低丟包?利用bitmap高效記錄已收到和已處理包的序號；?基于現有可靠性傳輸協議如Go-Back-N、選擇性重傳等，針 ?優化網絡負載均衡方案，避免負載不均導致的擁堵；?基于現有PFC、ECN、DCQCN等流量控制機制針對在網計算進行改進關鍵技術3：計算程序網內編排在網計算多級編譯編排部署架構實現程序、元素、執構造IR塊，解耦硬件、拓撲和指令依賴動態規劃算法，實現程序段高效放置程序段構造IR塊，解耦硬件、拓撲和指令依賴動態規劃算法，實現程序段高效放置程序段DAG表示法，合并DAG指令除冗異構適配程序段連接和加載方案在網計算程序2硬件、拓撲、指令、能力多級依賴多任務共享設備，程序段集成困難分布式分段部署，編譯加載難異構設備多、組合多、指令冗余題INC程序1在網計算程序1INC程序1在網計算程序1INC程序2IR程序1IR程序2INC程序M......INC設備1指令塊4指令塊1指令塊2指令塊3可執行文件2多級編譯編排部署INC程序2IR程序1IR程序2INC程序M......INC設備1指令塊4指令塊1指令塊2指令塊3可執行文件2多級編譯編排部署INC設備2......可執行文件1......可執行文件1INC設備N可編程交換機可編程可編程交換機可編程交換機網卡關鍵技術4：網內資源池化問問題方案計算、傳輸周期交替，內存利用率待提高設備內存虛擬化多租戶、多實例、細粒度、動態分配............網絡設備...網絡設備..................