多主體數(shù)據(jù)中心算力-電力跨域協(xié)同優(yōu)化丁肇豪新能源電力系統(tǒng)全國重點實驗室華北電力大學華北電力大學華北電力大學1研究背景2關(guān)鍵挑戰(zhàn)和創(chuàng)新點3模型方案4算例分析5結(jié)論與展望研究背景華北電力大學研究背景華北電力大學>數(shù)字經(jīng)濟時代的到來，數(shù)據(jù)中心已經(jīng)成為支撐社會經(jīng)濟發(fā)展的重要新型基礎(chǔ)設(shè)施，其能耗巨大，且占比持續(xù)增長。>特別是以ChatGPT為代表的生成式人工智能的興起，引發(fā)了數(shù)據(jù)中心能耗的新一輪飆升。0全國數(shù)據(jù)中心在用機架數(shù)(萬架)102.350的耗電量為564兆瓦時，一年約消耗2.06億干瓦時電力。據(jù)波士頓咨詢公司預(yù)估，到2030年，僅ChatGPT-4ChatGPT-4ChatGPT模型訓(xùn)練能耗(MWh)華北電力大學NORTMCNALLECTPCPOWERUNVERS/華北電力大學NORTMCNALLECTPCPOWERUNVERS/■空間靈活性——在線任務(wù)需要實時響應(yīng)，時間延遲敏感，但多為輕量級計算在不同地理位置數(shù)據(jù)中心間轉(zhuǎn)移。■時間靈活性——離線任務(wù)處理時間長，對數(shù)據(jù)和資源依賴性強，異地轉(zhuǎn)移難度大，可在滿足服務(wù)水平協(xié)議(SLA)前提下適當推遲執(zhí)行。網(wǎng)頁服務(wù)流式計算電商業(yè)務(wù)南郵啤面窗完成時間離線離線任務(wù)任務(wù)到達時間時間轉(zhuǎn)移截止時間華北電力大學NORTHCHNAELECTRUc華北電力大學NORTHCHNAELECTRUcPONERUNVERSITY現(xiàn)在跨域市場信號(電力側(cè)、算力側(cè))的引導(dǎo)下，協(xié)同調(diào)度任務(wù)并異地執(zhí)行。從而可以改變數(shù)據(jù)中心能耗，降任務(wù)轉(zhuǎn)移節(jié)點電價節(jié)點電價節(jié)點電價節(jié)點電價安kubernetes/華北電力大學華北電力大學大規(guī)模、高并發(fā)特性復(fù)雜依賴關(guān)系NP難問題華北電力大學NORTHCHNAELECTREC華北電力大學NORTHCHNAELECTRECpONERUNVERSITY>多云隱私安全保護：集中式協(xié)同調(diào)度需要所有數(shù)據(jù)中心都具有可見性和可控性。然而，分屬不同主體的數(shù)據(jù)中心部分/加密/匿名信息共享關(guān)鍵數(shù)據(jù)A運行數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)特征提取A反推本地信息商業(yè)機密調(diào)度管理調(diào)度管理業(yè)務(wù)信息數(shù)據(jù)中心1數(shù)據(jù)中心2數(shù)據(jù)中心3共享原始數(shù)據(jù)易帶來商業(yè)機密泄露的風險需要對關(guān)鍵數(shù)據(jù)進行隱私安全保護共享原始數(shù)據(jù)易帶來商業(yè)機密泄露的風險第8頁共23頁關(guān)鍵挑戰(zhàn)3:多主體個性化決策達模式等信息差異顯著,使得數(shù)據(jù)集呈現(xiàn)非獨立同分布特性，導(dǎo)致最終個體決策偏離最優(yōu)解。獨立同分布更新數(shù)據(jù)中心3數(shù)據(jù)中心3銀行數(shù)據(jù)中心2企業(yè)圖非獨立同分布更新wtwt多云數(shù)據(jù)中心的環(huán)境異質(zhì)性導(dǎo)致數(shù)據(jù)非獨立同分布非獨立同分布數(shù)據(jù)學習易偏離最優(yōu)點華北電力大學華北電力大學NORTHCINALLECTMBCpOMERUNVERSITY>為了解決上述挑戰(zhàn)，我們提出了一種考慮隱私約束和主體異質(zhì)特性的聯(lián)邦強化學習方法，實現(xiàn)了在跨地域市場信號驅(qū)動下，多云數(shù)據(jù)中心的電-算協(xié)同優(yōu)化。NORTHCINALLECTMBCpOMERUNVERSITY挑戰(zhàn)1■提出適配大規(guī)模任務(wù)到達的調(diào)度模型挑戰(zhàn)1源，協(xié)同傳輸任務(wù)。并通過融合圖神經(jīng)網(wǎng)絡(luò)，保證了任務(wù)執(zhí)行的底層邏輯。挑戰(zhàn)2挑戰(zhàn)2■提出基于分散式聯(lián)邦強化學習調(diào)度框架，實現(xiàn)在協(xié)同優(yōu)化任務(wù)調(diào)度過程的同時，保護云數(shù)據(jù)中心關(guān)鍵操作隱私。挑戰(zhàn)3■提出一種損失函數(shù)個性化重構(gòu)方法挑戰(zhàn)3異質(zhì)信息融入聯(lián)邦學習的框架中，實現(xiàn)考慮多云數(shù)據(jù)中心不同特征的優(yōu)化決策。華北電力大學NORTNCNAELECTeGCpONERUNVERS/TY模型框架華北電力大學NORTNCNAELECTeGCpONERUNVERS/TY>將每個云數(shù)據(jù)中心運營商(CSP)視為一個智能體，基于任務(wù)信息與跨域電價信號，進行任務(wù)轉(zhuǎn)移與資源分配兩方面決策，通過分布式聯(lián)邦學習框架及個性化本地更新學習多云協(xié)同任務(wù)調(diào)度策略，釋放數(shù)據(jù)中心用能時空靈活性。CSP1任務(wù)調(diào)度任務(wù)信息聯(lián)邦強化學習迭代多云任務(wù)遷移決策CSP迭代多云任務(wù)遷移決策CSP屬性電價信號聚合參數(shù)更新聚合參數(shù)更新本地資源分配決策個性化本地更新華北電力大學華北電力大學>將上述多云數(shù)據(jù)中心協(xié)同任務(wù)轉(zhuǎn)移和本地資源分配問題建模為部分可觀測馬爾可夫決策過程(Dec-POMDP)。-狀態(tài)：每個CSP的狀態(tài)包括計算任務(wù)信息、計算資源特征、電價信息、時間四個部分，記作s,=[s,s,si,t。其中，計算任務(wù)信息包括可轉(zhuǎn)移性、依賴關(guān)系拓撲、資源占用三種屬性。口可轉(zhuǎn)移性1表示可以轉(zhuǎn)移，0表示不可轉(zhuǎn)移口依賴關(guān)系拓撲(DAG)口資源占用每個任務(wù)的資源占用量：[req/,…,req.]每個任務(wù)的當前完成率：[fin",…,fin?]在任務(wù)調(diào)度過程需要考慮計算任務(wù)的底層執(zhí)行邏輯，通常被表示為有向無環(huán)拓撲結(jié)構(gòu)(DAG),具有高度非線性特征。任務(wù)需要按照一定順序執(zhí)行，前序任務(wù)未被執(zhí)行的情況下，任務(wù)需要按照一定順序執(zhí)行，前序任務(wù)未被執(zhí)行的情況下，無法執(zhí)行后續(xù)任務(wù)。①6④⑤9華北電力大學華北電力大學-動作：包括多云數(shù)據(jù)中心間任務(wù)轉(zhuǎn)移動作(離散)和本地計算資源分配動作(連續(xù))。首先決定任務(wù)的執(zhí)行地點，進而為在本地處理的任務(wù)分配計算資源，并確保分配資源的總和不超過可用資源的上限。■任務(wù)轉(zhuǎn)移決策,表示將任務(wù)j分配到CSPi'執(zhí)行■本地任務(wù)資源分配決策,為任務(wù)j分配φ個資源，其中t為可執(zhí)行任務(wù)的集合■資源分配約束,分配資源的總和不超過可用資源上限Z?Z?Z?圖神經(jīng)網(wǎng)絡(luò)第13頁共23頁華北電力大學NORT華北電力大學NORTCHNALECTFCPOWLRU-獎勵：獎勵r,定義為任務(wù)調(diào)度過程中的收益和負成本之和。R,是任務(wù)調(diào)度期間的累計折扣獎勵。CSP的目標是使獎勵函數(shù)最大化，定義如下：獎勵函數(shù)r,=r"+r+r"+r①完成任務(wù)收益fin=100%:完成計算任務(wù)后獲得的收益②能耗成本=-(α(res,-res")+βres")p,:運行時能耗成本，分為運行和空載成本。③任務(wù)轉(zhuǎn)移成本r=-∑cost!":任務(wù)轉(zhuǎn)移時的交換機和傳輸帶寬成本。④超出截止時間懲罰:如果任務(wù)未在SLA約定截止時間前完成，則相應(yīng)CSP受到違約處罰。從時間步t到調(diào)度周期T結(jié)束的累計折扣獎勵可以計算為R,=r,+yr,+…+y+r,其中y∈[0,1]是衡量當前收益和未來收益重要性的因子，Y越大代表智能體的目光越長遠。>為解決多云數(shù)據(jù)中心協(xié)同調(diào)度過程中的隱私安全問題，提出了基于分布式訓(xùn)練分布式執(zhí)行(DTDE)框架下的聯(lián)邦強化學習(FRL)方法。■步驟一：本地更新與訓(xùn)練每個云數(shù)據(jù)中心各自執(zhí)行調(diào)度策略并獨立收集軌跡，并利↑↑從鄰近數(shù)據(jù)中心收集參數(shù)，并通過聯(lián)邦強化學習框架與鄰■步驟三：聚合模型參數(shù)θagg回傳將聚合模型參數(shù)θagg將聚合模型參數(shù)θagg回傳給云數(shù)據(jù)中心，引導(dǎo)其繼續(xù)進行華北電力大學華北電力大學>通過重構(gòu)云數(shù)據(jù)中心的局部損失函數(shù)，實現(xiàn)對決策網(wǎng)絡(luò)參數(shù)權(quán)重的修改，平衡了本地異質(zhì)特征和全局聚合特征間的更新權(quán)重，進一步改變優(yōu)化更新方向，實現(xiàn)了異構(gòu)環(huán)境感知的主體個性化決策。■原局部損失函數(shù)：輸入狀態(tài)包含異質(zhì)環(huán)境特征存在偏差由于異質(zhì)環(huán)境特征導(dǎo)致數(shù)據(jù)Non-IID,使得聚合參數(shù)下降方向與■重構(gòu)后局部損失函數(shù)：HC))=CO)SDO,0)平衡本地異質(zhì)特征和全局聚合特征間的更新權(quán)重輸入狀態(tài)特征值當該狀態(tài)維度異質(zhì)性低時，趨近于聚合參數(shù)實際下降方向ee重構(gòu)后的損失函數(shù)對下降方向進行修改，第15頁共23頁華北電力大學收斂性證明華北電力大學NORTHCNAELECTPCPOWERU我們進一步證明了基于重構(gòu)損失函數(shù)的算法收斂性，證明如下：的凸組合其中其中NORTNCHNAELECTHLCPONERUNVERS/TY數(shù)據(jù)中心1任務(wù)到達電價s0s0000(美元兆瓦時時間(h)(美元兆瓦時任務(wù)到達數(shù)量任務(wù)到達數(shù)量電價數(shù)據(jù)中心2任務(wù)到達電價000241234567891011時間(h)200電價000時間(h)■凌晨0-7時和晚上21-24時數(shù)據(jù)中心1的電價明顯低于數(shù)據(jù)中心2和3;■數(shù)據(jù)中心1的計算任務(wù)主要在8-15時到達，數(shù)據(jù)中心2的計算任務(wù)主要在8時以后到達，數(shù)據(jù)中心3的計算任務(wù)到達時間較為平均。服務(wù)器數(shù)量計算資源數(shù)量運行能耗系數(shù)空閑能耗系數(shù)華北電力大學跨域信號引導(dǎo)的協(xié)同任務(wù)調(diào)度華北電力大學>我們驗證了所提方法在跨域電價信號引導(dǎo)下多主體數(shù)據(jù)中心協(xié)同調(diào)度的有效性，提出的協(xié)同調(diào)度機制可將任務(wù)轉(zhuǎn)s。2345678-91011121314.1516171819.20時間(h)CSP2時間(h)CSP3CSP1、CSP2和CSP3計算能耗的變化電價(美元兆瓦時)在0:00-7:00時，云數(shù)據(jù)中心1電價明顯低于2和3,數(shù)據(jù)中心2和3將部分任務(wù)轉(zhuǎn)移到數(shù)據(jù)中心1執(zhí)行，以降低整體能耗成本。口任務(wù)轉(zhuǎn)移決策可以考慮到目標數(shù)據(jù)中心計算資源使用狀況數(shù)據(jù)中心在進行任務(wù)轉(zhuǎn)移決策時考慮了其他數(shù)據(jù)中心可用的計算資源情況，例如：在9:00-15:00間，由于其他數(shù)據(jù)中心此時資源利用率也較高，數(shù)據(jù)中心1只轉(zhuǎn)移一小部分任務(wù)給其他數(shù)據(jù)中心。第18頁共23頁跨域信號引導(dǎo)的協(xié)同任務(wù)調(diào)度ECE2024■任務(wù)轉(zhuǎn)移決策可以充分利用任務(wù)靈活性：5P0計算任務(wù)數(shù)量■本地資源分配過程，任務(wù)執(zhí)行依賴關(guān)系得到保障：未完成任務(wù)資源利用率口轉(zhuǎn)移更多離截止時間近的任務(wù)去往數(shù)據(jù)中心1,因為這部分任務(wù)時間靈活性有限，需盡快利用數(shù)據(jù)中心1的低電價以節(jié)約成本。口根據(jù)任務(wù)執(zhí)行各個環(huán)節(jié)的資源分配情況分析，所提方法在資源分配時只分配給當前可執(zhí)行任務(wù)，保證了任務(wù)執(zhí)行約束。華北電力大學考慮隱私約束的協(xié)同調(diào)度華北電力大學>為了進一步比較和評估所提協(xié)同調(diào)度方法的有效性，我們將所提方法與集中調(diào)度方法、完全分散調(diào)度方法進行比較。所提方法在保證優(yōu)化效果的同時，提高了收斂速度。■集中調(diào)度方法：集中調(diào)度方法需要掌握全局信息，無法實現(xiàn)多云隱私保護。■完全分散調(diào)度方法：完全分散調(diào)度方法不允許多云數(shù)據(jù)中心之間進行任務(wù)轉(zhuǎn)移，無法利用空間靈活性。總成本降低總成本降低完全分散調(diào)度方法所提方法完全分散調(diào)度方法所提方法口所提出的方法比完全分散調(diào)度方法總成本降低18.6%,口所提出的方法比集中式調(diào)度方法收斂速度提高了30.3%。DDL違反率降低30.8%。第20頁共23頁華北電力大學NORTHCHNAELECTeeCP異質(zhì)主體個性化決策華北電力大學NORTHCHNAELECTeeCP>考慮了任務(wù)到達模式、調(diào)度決策、區(qū)域電價等異質(zhì)信息，分析了異質(zhì)環(huán)境特征對多云主體調(diào)度決策的影響，實現(xiàn)了不同云數(shù)據(jù)中心主體的個性化調(diào)度決策，進一步降低了運行成本，實現(xiàn)了資源的優(yōu)化配置。口扎L違反率考慮異質(zhì)性，個性化決策電價低，可用資源多CSP7口扎L違反率考慮異質(zhì)性，個性化決策電價低，可用資源多CSP7不考慮異質(zhì)性，非個性化決策時間能耗成本遷移成本DDL違反率口所提方法能夠根據(jù)差異化特征進行個性化的決策，能耗分布更能夠響應(yīng)電價的時空分布特征，而不是執(zhí)行同質(zhì)化的決策，產(chǎn)生近似的能耗分布。口個性化調(diào)度策略更符合主體自身差異化特征，具有第21頁共23頁華北電