多主體數據中心算力-電力跨域協同優化丁肇豪新能源電力系統全國重點實驗室華北電力大學研究背景1研究背景122關鍵挑戰和創新點模型方案算例分析模型方案算例分析結論與展望34455研究背景華北電力大學>數字經濟時代的到來，數據中心已經成為支撐社會經濟發展的重要新型基礎設施，其能耗巨大，且占比持續增長。>特別是以ChatGPT為代表的生成式人工智能的興起，引發了數據中心能耗的新一輪飆升。10全國數據中心用電量(億千瓦時)數據中心用電量占比%3200ChatGPT模型訓練能耗(MWh)0全國數據中心在用機架數(萬架)06億干瓦時電力。第3頁共23頁華北電力大學華北電力大學>數據中心處理的計算任務類型多樣，在線任務和離線任務具有不同計算特性，在時空多維度展現出靈活性。需要實時響應，時間延遲敏感，但多為輕量級計算，可以在不同地理位置數據中心間轉移。■時間靈活性——離線任務處理時間長，對數據和資源依賴性強，異地轉移難度大，可在滿足服務水平協議(SLA)前提下適當推遲執行。大語言模型訓練機器學習大語言模型訓練機器學習完成時間離線離線任務任務到達時間時間轉移截止時間華北電力大學華北電力大學>CloudOrchestration技術的發展為不同主體云運營商的開展合作提供了技術基礎，使得多云數據中心能夠實現在跨域市場信號(電力側、算力側)的引導下，協同調度任務并異地執行。從而可以改變數據中心能耗，降低整體運營成本，實現數據中心間資源的余缺互濟，釋放更大程度的靈活性。-DOckerSwarm華北電力大學關鍵挑戰1:大規模計算任務調度華北電力大學>大規模計算任務調度：準確、高效的任務調度是多云協同優化的基礎。然而，計算任務具有大規模、高并發和復雜依賴關系等特性，使得數據中心任務調度面臨強隨機、非線性和NP-hard問題。計算任務執行拓撲關系計算任務執行拓撲關系計算資源占用嵌套約束異構任務-異質資源匹配計算資源占用嵌套約束華北電力大學華北電力大學>多云隱私安全保護：集中式協同調度需要所有數據中心都具有可見性和可控性。然而，分屬不同主體的數據中心間存在潛在的商業競爭關系，對核心數據、調度策略等關鍵操作信息具有嚴格的隱私保護要求。部分/加密/匿名信息共享反推商業機密個關鍵挑戰3:多主體個性化決策ECE2024華北電力大學多主體個性化決策：數據驅動是支撐數據中心大規模任務調度的有效方法。然而，不同主體的調度決策、任務到達模式等信息差異顯著,使得數據集呈現非獨立同分布特性，導致最終個體決策偏離最優解。園數據中心1且企業p0獨立同分布更新數據中心2數據中心3數據中心2watgwatg銀行政府AlibabaCloud非獨立同分布更新偏離非獨立同分布數據學習易偏離最優點創新點華北電力大學創新點華北電力大學>為了解決上述挑戰，我們提出了一種考慮隱私約束和主體異質特性的聯邦強化學習方法，實現了在跨地域市場信號驅動下，多云數據中心的電-算協同優化。挑戰1■提出適配大規模任務到達的調度模型，能夠為每個云數據中心高效分配本地計算資源，協同傳輸任務。并通過融合挑戰1挑戰2挑戰2■提出基于分散式聯邦強化學習調度框架，實現在協同優化任務調度過程的同時，保護云數據中心關鍵操作隱私。挑戰3■挑戰3異質信息融入聯邦學習的框架中，實現考慮多云數據中心不同特征的優化決策。模型框架模型框架>將每個云數據中心運營商(CSP)視為一個智能體，基于任務信息與跨域電價信號，進行任務轉移與資源分配靈活性。上傳任務信息任務信息迭代多云任務遷移決策資源迭代多云任務遷移決策電價信號回傳本地資源分配決策個性化本地更新華北電力大學-狀態：每個CSP的狀態包括計算任務信息、計算資源特征、電價信息、時間四個部分，記作s,,=[sm,s”,s°,t]其中，計算任務信息包括可轉移性、依賴關系拓撲、資源占用三種屬性。口可轉移性1表示可以轉移，0表示不可轉移口依賴關系拓撲(DAG)口資源占用每個任務的資源占用量:[req,req:]每個任務的當前完成率：[fin!,…,fin:"]在任務調度過程需要考慮計算任務的底層執行邏輯，通常被表示為有向無環拓撲結構(DAG),具有高度非線性特征。①①7DAG示意圖任務需要按照一定順序執行，前序任務未被執行的情況下，無法執行后續任務。華北電力大學華北電力大學-動作：包括多云數據中心間任務轉移動作(離散)和本地計算資源分配動作(連續)。首先決定任務的執行地點，進而為在本地處理的任務分配計算資源，并確保分配資源的總和不超過可用資源的上限。NZ?Z?圖神經網絡特征提取特征提取轉移到CSP2轉移到CSP3華北電力大學-獎勵：獎勵r定義為任務調度過程中的收益和負成本之和。R,是任務調度期間的累計折扣獎勵。CSP的目標是使獎勵函數最大化，定義如下：獎勵函數r,=r"+r+r""+r①完成任務收益fin=100%:完成計算任務后獲得的收益。運行時能耗成本，分為運行和空載成本。③任務轉移成本r"=-Σcost:任務轉移時的交換機和傳輸帶寬成本。④超出截止時間懲罰:如果任務未在SLA約定截止時間前完成，則相應CSP受到違約處罰。從時間步t到調度周期T結束的累計折扣獎勵可以計算為R,=r+yr,?+…+y'"r,其中y∈[0,1]是衡量當前收益和未來收益重要性的因子，Y越大代表智能體的目光越長遠。-狀態轉移：CSP作出決定后，動作立即開始執行，不得改變或中斷。隨后，CSP的計算資源狀態會根據動作變化到特定的狀態。因此，轉移函數是一個確定性映射，其轉移概率為1。分布式聯邦強化學習框架ECE2024華北電力大學強化學習(FRL)方法。■步驟一：本地更新與訓練參數傳遞e鄰近數據中心鄰近數據中心θθr參數傳遞鄰近數據中心◎每個云數據中心各自執行調度策略并獨立收集軌跡，并利用策略梯度下降法對每個云數據中心局部損失函數分散更新■步驟二：局部參數聚合更新從鄰近數據中心收集參數，并通過聯邦強化學習框架與鄰近數據中心的參數進行聚合更新聚合loss:■步驟三：聚合模型參數θagg回傳將聚合模型參數θagg回傳給云數據中心，引導其繼續進行分散執行，并不斷更新局部模型，直至收斂。個性化損失函數重構華北電力大學>通過重構云數據中心的局部損失函數，實現對決策網絡參數權重的修改，平衡了本地異質特征和全局聚合特征間的更新權重，進一步改變優化更新方向，實現了異構環境感知的主體個性化決策。■原局部損失函數：主體1理論最優下降方向本地更新由于異質環境特征導致數據Non-IID,使得聚合參數下降方向與本地更新實際下降方向■重構后局部損失函數：H(0'+)=C0+)二D(O'+,)平衡本地異質特征和全局聚合特征間的更新權重輸入狀態特征值當該狀態維度當該狀態維度異質性低時，趨近于聚合參數當該狀態維度異質性高時，增強該特征影響主體1理論最優下降方向實際下降方向偏差減小本地更新原下降方向重構后的損失函數對下降方向進行修改，更貼近于個體決策最優方向。華北電力大學華北電力大學第16頁共23頁>我們進一步證明了基于重構損失函數的算法收斂性，證明如下：其中P?=Ek[DC(0'+)-DC(0)]>算例中我們設置了3個分布不同主體的數據中心在市場信號引導下跨地域協同調度的場景，細節如下：任務到達數量美元兆瓦時任務到達數量美元兆瓦時電價電價L000CSP1、CSP2和CSP3的任務到達情況和電價分布任務信息來自阿里巴巴數據集心3的計算任務到達時間較為平均。服務器數量計算資源數量50000個運行能耗系數空閑能耗系數華北電力大學華北電力大學>我們驗證了所提方法在跨域電價信號引導下多主體數據中心協同調度的有效性，提出的協同調度機制可將任務轉移至電價低且資源充足的區域進行執行，降低了運行成本，實現了更大程度的靈活性釋放。計算能計算能耗(pu)電價(美元兆瓦時)在0:00-7:00時，云數據中心1電價明顯低于2和3,數據中心2和3將部分任務轉移到數據中心1執行，以降低整體能耗成本。口任務轉移決策可以考慮到目標數據中心計算資源使用狀況數據中心在進行任務轉移決策時考慮了其他數據中心可用的計算資源情況，例如：在9:00-15:00間，由于其他數據中心此時資源利用率也較高，數據中心1只轉移一小部分任務給其他數據中心。CSP1、CSP2和CSP3計算能耗的變化第18頁共23頁跨域信號引導的協同任務調度■任務轉移決策可以充分利用任務靈活性：■本地資源分配過程，任務執行依賴關系得到保障：■5資源利用率■數據中心3本地執行任務5計算任務數量3口轉移更多離截止時間近的任務去往數據中心1,因為這部分任務時間靈活性有限，需盡快利用數據中心1的低電價以節約成本。口根據任務執行各個環節的資源分配情況分析，所提方法在資源分配時只分配給當前可執行任務，保證了任務執行約束。華北電力大學考慮隱私約束的協同調度華北電力大學>為了進一步比較和評估所提協同調度方法的有效性，我們將所提方法與集中調度方法、完全分散調度方法進行比較。所提方法在保證優化效果的同時，提高了收斂速度。■集中調度方法：集中調度方法需要掌握全局信息，無法實現多云隱私保護。■完全分散調度方法：完全分散調度方法不允許多云數據中心之間進行任務轉移，無法利用空間靈活性。DDL違反率下降總成本降低所提方法一集中調度方法DDL違反率下降總成本降低0505口所提出的方法比完全分散調度方法總成本降低18.6%,口所提出的方法比集中式調度方法收斂速度提高了30.3%。DDL違反率降低30.8%。第20頁共23頁異質主體個性化決策>考慮了任務到達模式、調度決策、區域電價等異質信息，分析了異質環境特征對多云主體調度決策的影響，實現了不同云數據中心主體的個性化調度決策，進一步降低了運行成本，實現了資源的優化配置。電價低，成本可用資源多CSP1成本ppu時間u))能耗0能耗0時間執行同質化的決策，產生近似的能耗分布。口口口L違反率能耗成本遷移成本