電力人工智能多模態大模型創新技術與應用報告人：王小華教授西安交通大學電氣工程學院2025年2月人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科以符號邏輯為(如專家系統),能力弱。1970s中期知識期聚焦知識工程與專家系統構建，識庫驅動決策，成本與規模瓶頸。1980s-2000s早期依賴統計學和人工設計特征構造算法；代表算法：決策樹樸素貝葉斯算法通過模型組合提升預測精度；代表算法：梯度提升決策樹早期神經網絡時期域取得初步應用；代表算法：循環神經網絡圖神經網絡2018s-現在大模型時期基于海量數據與大規模預訓練；代表算法：DeepSeek系列Qwen系列GPT系列神經網絡深度學習機器學習人工智能人工智能領域迭代迅速、多種技術流派蓬勃發展，在多個領域已有廣泛應用。在人工智能領域，數據、算力與算法構成在人工智能領域，數據、算力與算法構成發展基石——數據驅動模型訓練，算力支撐復雜計算，算法優化技術路徑，三者協同推動人工智能向更高階形態演進。AMD芯片芯片……集群如何提高數據的規模與質量是當前人工智能領域的關鍵問題。英偉達仍然是最主流的算力平臺；國產算力平臺快速崛起，生態逐漸成熟。通用模型是當下研究熱點與未來趨勢；研究高效訓練算法具有重要創新意義。能力擴展檢索增強工具學習音頻行業應用模態擴展多層感知機卷積神經網絡多層感知機卷積神經網絡Voctor序列處理高效并行模態擴展背景2——人工智能大模型引領新一輪科技革命大模型井噴式發展自從大模型井噴式發展自從ChatGPT在2022年問世以來，全球大模型發展迅速，百種大模型競相發布，推動性能、規模和應用PanGu-PanGu-WebGPT⑤Uni-Pereiver-MoEErnie3.0TitanT1-12GNemotron-4-340BGNemotron-4-340Bphi-314B0開源社區大模型測評晶城市NLLBA開源社區大模型測評晶城市NLLBA多模態計算機視覺多模態計算機視覺開發平臺大模型發展歷程圖回芯片山數據服務背景3——人工智能賦能新型電力系統發展>新型電網：人工智能賦能后，通過實時調度優化、智能維護和精確能源管理，可大幅提升電網的運行效新型電網新型電網發電智能調度&輸電網絡優化損耗低用戶負荷預測&用電科學管理體驗佳m電力系統發展國家發展和改革委員會工業和信息化部中央網絡安全和信息化委員會辦公室國家發展和改革國家發展和改革委員會工業和信息化部中央網絡安全和信息化委員會辦公室國家發展和改革管理要員食關于印發國家人工智能產業綜合標準化體系建設指南(2024版)的通如中華人民共和國工業和信息化部MisyetphorymdskermetoFedickswfrePepesF第三條中華人民共和國中央人民政府首酒油論的啦，香州戀懷發，度學習爾等齊關半作質，電力生產和分配相對低效×設備故障響應全天候實時響應差×電力系統現狀借助人工智能賦能新型電力系統可持續蓬勃發展背景4——自研電力大模型意義重大>>從數據上講，通用數據分布與電力領域多模態數據差異過大，專業程度低、關聯性弱；>從模型上講，開源通用模型缺乏電力專業預訓練(缺乏專業電力知識注入),多模態支持不足；>從應用上講，現有國產化電力大模型在真實電力任務上性能不夠高、與實際需求仍存在差距。精準性差可靠性不足閉源化不支持多模態閉源化不支持多模態電力數據差異巨大、無法使用文本數據理解有誤文本數據理解有誤圖像數據分析偏差模型趨于閉源化可靠性不足無法原生支持關聯性差可靠性不足無法原生支持T文字識別模型文字識別模型電力安全是國家安全問題，電力人工智能多模態大模型核心技術必須自主可控背景4——自研電力大模型意義重大(數據層面)文本數據電氣信號圖像與視頻to開關，我入村站110kv備自投裝置……3.傳電期件發有v吃網風助，發iV供電，其它方式哲不依復一需要支持復雜工況下智能模型的多模態、多維度綜合協同處理電力行業需要具備高質量、多場景覆蓋、需要支持復雜工況下智能模型的多模態、多維度綜合協同處理背景4——自研電力大模型意義重大(模型層面)>>傳統電力Al模型基于特定任務開發，大多為單模態算法，綜合成本高、智能性與泛化性不足；>開源Al大模型缺少電力領域預訓練，專業知識缺失，處理實際電力任務能力差。傳統模型傳統模型開源大模型開源大模型泛化性不足適配性差泛化性不足適配性差i些置他高且任務適應性差缺乏行業數據缺少專業知識任務適應性差缺乏行業數據缺少專業知識智能性不足，的專業回答背景4——自研電力大模型意義重大(應用層面)>電力通用大模型的開發需要基于>電力通用大模型的開發需要基于國產計算集群開展軟硬件協同優化，滿足電力大模型的應用要求；>電力場景需要基于邊緣計算基于國產計算設備的電力大模型訓練技術開發面向電力場景的大模型邊緣計算技術開發設備設備數據模態多任務形式多樣專業性要求高技術體系要求技術體系開發基于開發基于國產硬件設備搭建電力大模型應用體系數據去重敏感詞去除數據去重敏感詞去除人類評估反饋優化人類評估反饋優化圖像描述生成檢測數據增強多樣化問答數據特征關系保留的知識蒸餾方案目標技術梯度精度分析的模型量化技術目標技術邊緣計算+云邊協同目標技術提供訓練數據提供部署模型目標模態數基座自研高性能電力大語言模型實時交互模塊工具調用模塊模態對齊模塊純文本數據多模態數據純文本數據多模態數據息數據指令回答提示詞十種子數據數據指令回答提示詞十種子數據數據標注提供自動化標注提供高質量數據(多模態)預訓練/指令微調數據集制作(多模態)預訓練/指令微調數據集制作電力場景真實圖像電力設備監測信號開關設備狀態監測輸電線路異物檢測(變壓器)類別&坐標：油污：[0.25,0.7,0.35,1.0]描述：變壓器左下角是一片油污。變壓器左下角有明顯的油污痕跡。在變壓器的左下角可以觀察到油污的存多輪對話詳細描述深度推理…生成數據反饋，流程更新。模型：這張圖片顯示的是一個變壓器。表面詳細有明顯的磨損和銹跡，表明已經使用了相當描述長的時間。圖片中左下角的黑色污漬和不規模型：圖中變壓器左下角有油污痕跡，可能存在推理異常升高，超過安全閾值。推測可能是變壓器油100萬條，為多模態大模型在多場景、多任務的訓練提供數據支持電力視頻編碼器電力圖像編碼器電力視頻編碼器圖像編碼器統一的特征序列圖像編碼器統一的特征序列電氣信號編碼器統一的特征序列向量映射層向量映射層統一的特征序列統一的特征序列采樣模塊文本編碼器統一的特征序列副許共+52個采樣模塊文本編碼器統一的特征序列副許共+52個按照詞表0002000300000020003000多模態輸入→多模態特征對齊_二(非線性)特征運算多模態特征重構→多模態輸出重構多模態重構器多模態重構器XiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgeneXiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgeneandfew-shottasks[C]//CVPR.2022:16804-16815.andfew-shottasks[C]//CVPR.2022:16804-16815.18/37電力領域多模態大模型預訓練方案圖像分詞編碼器圖像分詞編碼器擴散解碼器圖像編碼器-解碼器框架a)圖片編碼為連續的特征向量b)在像素空間中重建RGB圖像多模態統一預訓練框架多模態統一預訓練框架大規模多模態模型a)大規模多模態模型文本b)文本步驟1:有監督指令微調步驟2:訓練獎勵模型步驟3:PPO調整策略提示詞提示詞指令微調回答1指令微調模型回答2參數同步回答1回答2參數同步回答微調參數更新預訓練模型獎勵值指令微調模型指令微調預訓練模型獎勵值指令微調模型>有監督指令微調增強模型在特定場景下理解和遵循人類指令的能力>人工反饋強化學習顯式地將人類反饋引入訓練過程>通過人類反饋將模型輸出對齊到人類的價值觀和偏好，提高模型的回答質量與可靠性3、模型訓練：混合立體并行訓練方案國產集群適配支持功能國產集群適配支持功能窖精度對齊任務自動恢復干卡并行訓練精度對齊任務自動恢復干卡并行訓練高效數據讀寫單個計算節點綜合考慮國產化集群并行策略適配算節點綜合考慮國產化集群并行策略適配增加數據批大小04基于國產計算集群搭建大模型訓練軟硬件體系21/374、部署應用：大模型輕量化全流程方案要素之一。教師模型大參數(>70億)高精度大模型輕量化流程大模型輕量化流程基于特征關系保留的知識蒸餾技術教師模型教師模型nT特征向量廠梯度向量g學生模型口基準關系向量對比街失M?S符空關系科品F5特往關系計算子網絡M'間關系向特征關系計算子網絡量化模型小參數量化模型小參數(<10億)低精度學生模型小參數(<10億)高精度搜集每層梯度信息、估計量化敏感度搜集每層梯度信息、估計量化敏感度基于量化敏感度確定量化步長使用確定的比例和級別進行量化反量化方法將推理結果轉換回浮點數w=s·(q-2)Rong,AijunYang,XiaohuaWdistillation[C]//CVPR.202基于提出的基于特征關系保留的知識蒸餾技術與基于梯度精度分析的模型量化技術，有效地解決了Al大模型模型參數高、推理復雜度高的問題。4、部署應用：邊緣計算+云邊協同單設備單設備狀態感知與運維任務可由邊緣計算技術本地高效完成；對于變電站層的狀態數據處理，需要云邊協同技術，各邊緣終端在中心服務器的統一調度下，將云端所需數據上傳并在云端實現戰級狀態綜合的感知、診斷與預測。邊緣計算邊緣計算載入并構建計算圖算子描述、計算圖解析Block重構、數據重載計算圖分析、優化、融合后端算子接入與硬件運行CUDA推理框架API推理框架Runtime華為昇騰完善的算子支持，包括CPU、NPU等多種后端實現推理SDK開發簡單、新算子、后端擴充技術門檻低模型模型NPU模型模型紀瑞芯微芯片云邊協同云邊協同自適應負載均衡與資源管理優先級動態任務調度算法提供優先策略要求下發同步邊緣計算設備任務調度高效執行推動高性能多模態大模型在真實電力場景大規模落地應用23/37電力裝備多模態大模型的應用>>隨著用戶規模和業務復雜度的提升，電網公司面臨海量客服需求，傳統人工客服難以滿足高效響應和全天候服務的要求。而現有通用模型缺乏電力領域的專業知識，處理用電客戶實際問題能力較弱。突發突發緊急構建面向客服系統全天候服務×成本高昂解決多語種支持(一致性差(電力客服很抱歉，我并不了解電力客服咨詢問題電費77費繳納，詳細信息建電費77用戶中國電工技術學會證書項目名稱：基于人工智能語言大模型的電力智能客服原統研究及共應同用戶中國電工技術學會證書項目名稱：基于人工智能語言大模型的電力智能客服原統研究及共應同電C：您無需擔心，正常情況下，幾十分鐘至幾個小時之內電力系統就會恢復供電，具體如果您還有任何問題，可以咨詢電C：完成單位；西安交通大學電氣工程學院項汗成賢：王小華、榮命哲祝金國，羅海濃。2024年2月07日很抱歉聽到您遇到了停電的問題。導致家中突然停電的原因可能有多種，以下是一些常見的原因及處理建議2024年2月07日●電力公司供電故障：可能是由于電力公司進行設備檢修、線路故障或…..●家庭內部電路問題：家中的斷路器可能因過載或短路而自動跳閘。很抱歉聽到您遇到了停電的問題。我暫時無法分析出停電故障的原因。您可以通過以下的步驟進行排查，找到問題的來源。如果您有任何新問題，請及時告訴排查的步驟有：檢查是否僅家中停電，檢查家中電路，咨詢社區人員……如果以上方法都沒有解決您的問題，請你咨詢當地的供電公司。中面向電力設備運維的人工智能大規模語言模型關鍵技術及其應用研究.第十九屆中國電工技術學會學術年會.2024年9月多模態感知電力運維助手多模態感知電力運維助手是否有危險是否有危險是監控視頻歷史信息變電站危險預警運維人員路徑規劃快速預警響應精準定位故障保障人身安全監控視頻歷史信息變電站危險預警運維人員路徑規劃快速預警響應精準定位故障保障人身安全油色譜振動信號身傷亡需求紅外圖像現場圖像紅外圖像多模態運維安全助手27/37>>現有電力人工智能算法大多為單任務算法，針對不同故障診斷任務需要開發不同的算法模型，研發程序繁瑣、成本高、泛化性差；>現有電力人工智能模型處理多模態數據能力較差，難以處理多場景結合的復雜任務。實時交互用戶咨詢輸入圖像X語言指令X實時交互用戶咨詢輸入圖像X語言指令X?圖像編碼器文本編碼器投影WH電力多模態大模型f請你根據給定的視頻，回答以下問題：1.視頻中是什么類型的隔離開關，起到什么作用?2.您好，根據您提供的視頻，這是一個三相雙臂式隔離開關的運行視頻。其中，隔離開關的作用是保證高壓電器及裝置在檢修工作時的安全，起到隔離電壓的作用。但是需要注意的是，其不能用于切斷、投入負荷電流和開斷短路電流，僅可用于不產生強大電弧的某些切換操作，即不具備滅弧功能。根據您提供的視頻，隔離開關進行了閉合操作，這意味著該部分電路處于閉合狀態，無法進行檢修以及運維等相關工作。如需進行運維工作，需要注意遵守相關的規范以及章程、保障工作人員的人身安全。1.視頻中展示的是一種戶外高壓隔離開關。隔離開關主要用于在電氣設備檢修時，切斷設備與電源之間的聯系，確保檢修人員的安全。同時，它還可以起到電氣隔離的作用以便在系統發生故障時能快速隔離故障部分。2.視頻中的隔離開關處于“合閘”狀態。可以看出隔離開關的觸頭已經閉合，導電部件連接在一起，說明電路是通的狀態。1.視頻展示的是戶外高壓交流35KV真空負荷開關。這種類型的產品主要用于電力系統和工業生產領域，在電路運行過程中進行隔離、切換或保護的2.在視頻中可以看到該開關處于閉合的狀態這說明它正在正常工作并且能夠有效地控制電路的通斷情況。同時也可以看到一些紅色指示燈亮起，視頻感知視頻感知Powr/是一個電力圓文大模型手，你可以咨調他任何有關電力語罪的問題，不桐于挑們另一個工作電力客BPowerChit,PowenL可以支持文本和圖時兩種相態的輸入，該損型變持力多場罪的問需咨，中黃文間答、多輪對話，復雜批W等多種功能，上傳你的圍片和間模型會相據片和文字內容進行推理與回苔.使用方法：本地圖片松到：上傳你的圖片并輸入同源，并點出發送輸入根型.多輪對話：在模型生成完一次回答酷，你可以續在對話柜內輸入內容，模型會根據上下文進行多輪的時話與推理，>時序數據(如電壓、電流信號)是電力場景中最基本、最易獲取、參考性最大的數據。利>時序數據(如電壓、電流信號)是電力場景中最基本、最易獲取、參考性最大的數據。利用此類數據可以進行電力場景精細化感知與深度分析。目標：目標：GIS開關任務：分析有無異常情況指令：獲取監測視頻、獲實時監測數據損壞等情況，但UHF信號電力時序數據分析監測模型電力時序數據分析監測模型拓展危險預警拓展危險預警里應用四：電力時序數據分析監測模型用戶請你根據提供的電壓-時間二元組序列，判斷該GIS設備是否存在局部放電缺陷，如果有請你給出對應的類別及判斷依據。該設備的UHF特征為您好，根據您提供的提供的UHF特征，我首先調用Python工具繪制了對應的波形曲線如右圖所示。1.17V。(2)曲線積分面積為4.87e-10。(3)曲線的上升時間0.003us,下降時間0.1644S。根據以上特征，該GIS設備對應的缺陷類型為懸浮電位。基于給定的電壓-時間二元組序列，我們無法直接確定GIS設備是否存在局部放電缺陷及其類別。這些數據點僅表示了UHF信號幅度的變化，但沒有提供足夠的信號特征(如波形、頻譜等)來做出準確判斷。要確定是否存在局部放電及其類型，需要更詳細的UHF1信號數據以及專業的電氣測試分析。因此，建議進一步收集和分析信號數據，或請專家進行對于這個問題，我作為一個AI模型，并不具備直接分析實際物理信號(如電壓和時間數據):的能力來診斷GIS設備的局部放電缺陷。然而，通常情況下，局部放電信號會在超高頻常短且重復，可能是由于..…時序序列時序序列可視化繪圖(可視化繪圖(深度感知深度感知繪制出波形圖輔助判斷，結合原展示出專業的行業知識與可靠的.基于人工智能多模態大模型的高壓斷路器在線監測與故障診斷系統.第十九屆中國電工技術學會學術年會.2024年9月.31/37應用五：新能源發電功率預測、智能調度與評估>>新能源(主要是風力與光伏)發電接入電網比例持續提升，需根據歷史氣象數據和發電出力數據對時序數據收集時序數據收集短期功率預測前幾日發電數據當地天氣預報數據未來4小時~3日內發電情況短期功率預測前幾日發電數據當地天氣預報數據未來4小時~3日內發電情況月際至年際發電數據十氣候變化預測數據未來10日~12個月發電情況智能調度與運維后續建設規劃與評估