電力人工智能多模態大模型

創新技術與應用報告人：王小華教授西安交通大學電氣工程學院2025年2月目

錄1、研究背景2、關鍵技術3、應用案例4、未來展望2/3701研究背景3/3背景1——人工智能的概念及發展人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科

學；其在歷史上經過多個發展時期，形成了不同的技術流派；

深度學習是目前主流。1980s-2000s早期統計學習時期依賴統計學和人工

設計特征構造算法；代表算法：支持向量機(SVM)

決策樹樸素貝葉斯算法2010s-2018s早期神經網絡時期神經網絡在多個領

域取得初步應用；代表算法：卷積神經網絡循環神經網絡圖神經網絡1970s中期知識期聚焦知識工程

與專家系統構建，

通過人工整理知

識庫驅動決策，受限于知識獲取

成本與規模瓶頸。1950s—1970s推理期以符號邏輯為

核心，依賴人工

規則與推理系統(如專家系統),

強解釋性但泛化能力弱。2000s-2010s集成方法時期通過模型組合提升

預測精度；代表算法：隨機森林梯度提升決策樹2018s-現在大模型時期基于海量數據與

大規模預訓練；代表算法：DeepSeek系列

Qwen系列GPT系列神經網絡

深度學習機器學習人工智能

人工智能領域迭代迅速、多種技術流派蓬勃發展，在多個領域已有廣泛應用。4/37在人工智能領域，數據、算力與算法構成發展基石——數據驅動模型訓練，算力支撐復雜計算，算法優化

技術路徑，三者協同推動人工智能向更高階形態演進。人工搜集、標注圖像分類英偉達GPU谷歌TPUAMD芯片CNNRNNLSTM有監督數據目標檢測芯片單任務模型成本高昂、擴展性差華為昇騰海光DCU寒武紀MLUSVM決策樹GNN…背景1——人工智能的概念及發展數據

算力

算法PyTorchTensorFlowMindScope底層計算庫：CUDA、CANN(華為)多維并行算法

狀態監測、任務調度高效互聯通訊：NVLINK、HCCL

(華為)語言通用模型：DeepSeek-R1

等多模態通用模型：Qwen2-VL

等英偉達仍然是最主流的算力平臺；國產算力平臺快速崛起，生態逐漸成熟。通用模型是當下研究熱點與未來趨勢；

研究高效訓練算法具有重要創新意義。如何提高數據的規模與質量

是當前人工智能領域的關鍵問題。利用模型、仿真生成前沿探索階段互聯網爬取、規模大無需人類專家標注虛擬現實自動駕駛

生態LLM預訓練圖像生成…無監督預訓練有監督微調強化學習對比學習無監督數據通用模型合成數據訓練算法集群5/37早期的深度學習受限于計算能力和數據規模，難以發揮優勢。隨后多層感知機與卷積神經網絡結合反向傳

播算法，顯著提升了模型的學習能力。隨后，基于注意力機制的Transformer

架構改變了自然語言處理的范式，使大規模預訓練成為可能。近年來，大模型憑借超大規模參數和海量數據學習，在多模態學習、

推理和通用人工智能方向取得重要進展，為人工智能的發展開啟了新的階段。Transformer架構注意力機制

多模態融合OutputTekenWactorsFFNNDecodsrBbckDecnderDecoderPosion

EmbedingMaskod

Snt-AHantionInputTokenVoctorLaye

Nom序列處理

高效并行

模態擴展大模型能力擴展文本檢索增強工具學習大規模基礎模型Al

agent金融大模型背景1——人工智能的概念及發展經典神經網絡多層感知機

卷積神經網絡圖像/視頻音頻電力大模型

醫療大模型_-行業應用模態擴展bosk

二Bock6/37大模型井噴式發展自從ChatGPT

在2022年問世以來，全球大模型發展迅速，百種大模型競相發布，推動性能、規模和應用

的全面突破，成為科技進步的重要動力源。背景2——人工智能大模型引領新一輪科技革命本課題組工作G

FLANnspurYuan

L.0行業應用賦能層甲對話

推

薦基礎科學

元宇宙基礎算法平臺層自然語言處理開發平臺算法框架底層服務支撐層9-12

20245.82025多模態電力設備狀態感知助手

5電力時序數據分析監測模型大模型發展歷程圖

回芯片

山數據服務Uni-Perceiver9-10WebGPT⑤

Uni-Pereiver-MoEErnie

3.0

Titan

T1-12

AlphaCodeGopher

InstructGPT

鷹

2022GLaMG

MT-NLGOPTXL

GGLMUni-Perceiver

V2電力專家與客服系統Nemotron-4-340BLlama3.1-405BClaude3.5SonnetGrok-2DeepSeek-v3

olClaudewith

computeruseMistral

Small303-miniDeepResearchQwen2.5-MaxJanus-ProOperatorStep-loVision

DeepSeek-RIGPT-4⑤多模態運維安全助手phi-314B00

Llama3-70B

米

Claude3

Opus!GGeminil.5Sora搜

索的遙感計算機視覺+

醫

療晶城市多模態T520192020GPT-35CodexInternLMMMPTli

Baichuan

G

PaLM2CodeGen20LLaMA2G

UL2YaLM

G

FLAN-T5FLAN-PaLMli

Baichuan2QWENAFLM0

Aquila2開源社區

大模型測評SChatGPT2023XLLaMAG

Bard些PanGu-2WeLMCSparrowNLLBABLOOMmTO〇GalaticaXPanGu-Ernie

3.0CPM-220211-8

SkyworkXVERSEGmTSGaMDA>

傳統電網：傳統電力系統人工依賴度高，存在資源配置低效和故障響應不及時等問題。>

新型電網：人工智能賦能后，通過實時調度優化、智能維護和精確能源管理，可大幅提升電網的運行效

率、穩定性與可持續性。新型電網發電智能調度&輸電網絡優化損耗低

配電靈活管控&變

電精準檢修響

應快

用戶負荷預測&

用電科學管理體驗佳m傳統電網電力生產和分配

相對低效

×人工監控與巡檢

成本較高

×設備故障響應全天候實時響應差×背景3——人工智能賦能新型電力系統發展借助人工智能賦能新型電力系統可持續蓬勃發展中華人民共和國工業和信息化部MisyetphorymdskermetoFedickswfrePepesFtukotoh國務院常務會議研究部署推動人工智絲2件技前假城這是一我人工智能首酒油論的啦，香州戀懷發，度學習爾等齊關半作質，

立裝失，當生圖形，a

,am

省興道牛教地所中華人民共和國國民經濟和社會發展第十四個五年規劃和

2035年遠景目標綱要第四章強化國家戰略科技力量多項針對人工智能的專項政策出臺電力系統現狀中華人民共和國中央人民政府國家發展和改革委員會National

Development

and

Reform

commission電力系統發展工業和信息化部中央網絡安全和信息化委員會辦公室國家發展和改革委品會國家標準化

管理要員食關于印發國家人工智能產業綜合標準化體系建設指南(2024版)的通如能財第三條定期梳理好風險識

控制、風握和化解8/42>

從數據上講，通用數據分布與電力領域多模態數據差異過大，專業程度低、關聯性弱；>

從模型上講，開源通用模型缺乏電力專業預訓練(缺乏專業電力知識注入),

多

模態支持不足；

>從應用上講，現有國產化電力大模型在真實電力任務上性能不夠高、與實際需求仍存在差距。數據角度電力負荷曲線圖

設備故障診斷圖電力數據差異巨大、

無法使用通用數據現有的數據類型關聯性差T應用角度文本數據理解有誤

圖像數據分析偏差現有單任務算法模型可靠性不足模型趨于閉源化開源通用模型無法原生支持C

熱

。

Gasdiscrimination電氣信號

紅外圖像

氣體組分電力安全是國家安全問題，電力人工智能多模態大模型核心技術必須自主可控9/37自研電力大模型意義重大島

南通用大模型背景4——開源訓練數據

×開源部分代碼

×

開源部分權重

×精準性差

可靠性不足標注位置圖片，處理標注文本閉源化不支持多模態分

布

差

異

大

②

專業

程

度

低

②××目標檢測模型訓練文

字

識

別

模

型××電力復雜場景下數據的智能識別方法模型角度鑫GPT-2視頻數據背景4——自研電力大模型意義重大(數據層面)文本數據

電氣信號

圖像與視頻電力行業需要具備高質量、多場景覆蓋、

多模態、多維度集成的數據集與通用數據差異大模型訓練數據與電力任務場景數據差異大；難以直接應用于電力場景模型訓練需要支持復雜工況下智能模型的多模態、

多維度綜合協同處理數據構建難度大電力數據獲取難度高、質量差異大、覆蓋模態多，因而數據集構建難度大研發

電力通用大模型開發需要大規模、高質量、多維度的數據集需求痛點1.

份電滿、溫泉貼湘三11kV

備自發裝置，溫區

站合上Iav

桃線開關，滋柱活彩開

Y

在to開關，我入村站110kv

備自投裝置……2、IV

從新乙線久確聘1aV

從的甲線供吧，3.

傳電期件發有v吃網風助，發

iV溫線

.

1iaV

從蠶平線為重要設備…"4.工作結束后

西口品愧復由I從面甲乙線

供電，其它方式哲不依復一現狀1d37>

傳統電力Al模型基于特定任務開發，大多為單模態算法，綜合成本高、智能性與泛化性不足；

>

開

源Al大模型缺少電力領域預訓練，專業知識缺失，處理實際電力任務能力差。要根據任務場景定制開發和

訓練對應的模型

，成本高昂處理多模態數據能力較差，無法處理多場景結合的復雜任務智能性不足，無法根據用戶

指令給出對應

的專業回答背景4——自研電力大模型意義重大(模型層面

)缺少專業知識市

粉些置他高且|

e

址對場建略塊對適終止的或信號圖或性[紙必

須

自

造

電

力

Al多

模

態

大

模

型輸電線路運維目標檢測算法

隔離開關狀態監測實例分割算法

SVM故障分類算法

電力設備運維專家問答算法任務適應性差傳統模型開源大模型泛化性不足

適配性差缺乏行業數據11737無法批的

戶

圖i>電力通用大模型的開發需要基于國產計算集群開展軟硬件協同優化，滿足電力大模型的應用要求；

>電力場景需要基于邊緣計算的大模型部署方法，亟需開發相應的應用技術。開發基于國產硬件設備搭建電力大模型應用體系12/42HYGON海光DCU

華為昇騰

天數智芯數據模態多

任務形式多樣

專業性要求高大量電力設備終端互聯

更高的數據安全要求多種傳感器數據協同處理

更快的響應要求要求背景4——自研電力大模型意義重大(應用層面)要求基于國產計算設備與電力大模型應用要求開發針對性的高效訓練算法基于國產計算設備的電力大模型訓練技術開發

面向電力場景的大模型邊緣計算技術開發電力大模型推理加速技術國產邊緣計算設備推理框架真實電力場景部署應用電力大模型輕量化技術電力設備場景邊緣計算要求技術體系國產計算設備電力大模型應用要求02關鍵技術實現13/3提供模型3模型訓練：電力大模型分布式訓練關鍵技術預訓練：基礎模型能力訓練

支持分

混合立體并行訓練方案布式并

技

術

數據并行

模型并行純文本

Transformer架構行訓練體

系

張量并行

流水線并行預訓練

自回歸預測高效率壓縮

支

持

分

布

式

并

行

訓

練=======

·

提供電

后訓練：能力增強與偏好對齊預訓練統一預訓練框架

態基礎

技術

指令微調技術

有監督訓練電力通用任務

模型

體系

人類反端強化學習

人類偏好對齊特征關系保留的知識蒸餾方案目

標技術體系蒸餾模型知識減少信息損失知識空間映射特征關系保留梯度精度分析的模型量化技術目標技術體系解決傳統量化缺陷

保持模型性能梯應精度分析量化

量化增量訓練邊緣計算+云邊協同高效模型部署目標云邊一體高效協作技術體系

硬件算子優化統一數據網關目

標技術體系多模態統一編碼關鍵特征抽取圖修編碼算法動態分辨率視頻關睡幀感知多場景協同增強真實數據感知電氣信號編碼高維特征映射電氣詞表擴充提供統

一的多

模態數

據表示基礎算子基

座注京力機制深層特征掘取自研高性能電力大語言模型實時交互模塊檢

索

增

強

模

塊

一工具調用模塊模態對齊模塊能力擴展1數據生成：大規模高質量電力專業數據集構建1.數據采集

2.數據清洗電力大模型全流程關鍵技術體系2模型構建：電力通用大模型研發多模態數據統一編碼器

電力通用大模型提供訓練

數據提供部署

模型4部署應用：電力大模型輕量化與邊緣計算部署</>書籍

網頁

公開數據

現場數據專家編寫多模態

統一編母

解瑪架構

力多模自動化生成多樣化問答數據圖像描述生成檢測數據增強特殊符號過濾圖像裁剪過濾數據去重敏感詞去除純文本數據

多模態數據人類評估反饋優化3.數據生成14/371、數據生成：純文本數據制作管線預訓練語料庫制作

大規模、自動化的語料篩選清洗管線為預訓練提供充足的專業領域知識注入原始數據搜集質量過濾

去重隱私保護MD1

A.

MD1

B.

MD2構建高效的半自動化數據制作管線，為預訓練和下游任務微調提供大規模、高質量的電力領域文本數據支撐15/37指令微調數據集制作調整自動標注策略質量考核：數據清洗存儲高質量數據>

為下游任務提供場景豐富、任務多樣的高質量指令數據數據標注

提供自動

化標注·

移除含身份信

息數據·

關鍵詞過濾

·

語種過濾·

句段層面

·

文檔層面提示詞十種子數據提供高質

量數據指令回答構建層次豐

富、多樣性好、知識粒度細的電力場景大規模多模態數據集，構建了8大類數據量超

100萬條，為多模態大模型在多場景、多任務的訓練提供數據支持原始標注信息類別&坐標：變壓器：[0.3,0.6,1.0,0.9]油污：[0.25,0.7,0.35,1.0]描述：變壓器左下角是

一

片油污。變壓器左下角有明顯的油污痕跡。在變壓器的左下角可以觀察到油污的存在。來

源

：電力場景真實圖像

電力設備監測信號多場景任務：開關設備狀態監測

輸電線路異物檢測1、

數據生成：多模態數據制作管線多輪

對話用戶：圖中是什么設備?模型：圖中是一個變壓器。用戶：該設備是否存在故障?模型：是的，變壓器可能存在….模型：這張圖片顯示的是一個變壓器。表面

詳細有明顯的磨損和銹跡，表明已經使用了相當

描

述長的時間。圖片中左下角的黑色污漬和不規則的形狀與油污的特征相符….(多模態)預訓練/指令微調數據集制作人工標注目標檢測器標注YoLO

DETR電氣軟件標注多模態數據搜集、清洗(變壓器)頭腦風暴、任務設計模型：圖中變壓器左下角有油污痕跡，可能存在

深

度油箱泄漏問題；同時運行日志顯示過去一周溫度

推理異常升高，超過安全閾值。推測可能是變壓器油箱泄漏導致油量不足，引起散熱不良。多類別數據：多輪對話詳細描述深度推理

…生成數據反饋，

流程更新。多模態數據構建16/37電力圖像編碼器分塊線性映射層統一的特征序列電力文本編碼器預定義詞表…“絕緣”:20822

…“由”:30265…

“組成”:62034

...電力視頻編碼器圖像編碼器統一的特征序列電氣信號編碼器2、模型構建：多模態編碼器——特征對齊將不同模態數據轉化為統一的序列形式，映射至同一個特征空間內絕緣子是由絕緣材料、金屬固定件和接地裝置組成的向量映射層{(x?,y?),(x?,y?),…,(xn,yn)}文本編碼器采樣模塊224swwi副許共+52個m20N077MM統一的特征序列統一的特征序列按照詞表對應[20822,…,30265,…,62034]原始文本000

2000

3000

00的間/h17/37N

M

/

南

9002、模型構建：電力通用多模態大模型多模態輸入

→多模態特征對齊_二

(非線性)特征運算

多模態特征重構

→

多模態輸出電力文本編碼[

Attention

layer文本

重構電力圖像編碼電力視頻編碼圖像

重構電氣信號編碼多模態編碼器

多層Transformer架構為電力領域多模態、多場景任務處理提供統一、通

用的解決方案多模態重構器Xizhou

Zhu,Jinguo

Zhu,Hao

Li,Xiaoshi

Wu,Hongsheng

Li,XiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgenericperceptionforzero-shotand

few-shot

tasks[C]//CVPR.2022:16804-16815.18/373、模型訓練：預訓練技術——多模態模型預訓練電力領域多模態大模型預訓練方案多模態統一預訓練框架a)

在多模態交錯序列上應用統

一的自回歸預測優化目標；b)

統一多模態數據的理解與生成

任

務

。多模態交織輸出圖像分詞編碼器文本分詞編碼器多模態交織輸入圖像編碼器-解碼器框架a)

圖片編碼為連續的特征向量b)在像素空間中重建RGB

圖像圖像重構模塊文本重構模塊多模態序列大規模多模態Transformer

模型多模態序列實現電力場景中的文本、圖像等數據類型的統一建模、統一理解、統一生成第一步：訓練多模態分詞編碼器與重構模塊(圖像模態為例)視覺編碼器因果Transformer圖像分詞編碼器Transformer

解碼器擴散解碼器圖像重構模塊第二步：預訓練電力領域多模態大模型單模態序列19/373、模型訓練：后訓練技術——指令微調+強化學習步驟1:有監督指令微調

步驟2:訓練獎勵模型

步驟3:PPO

調整策略>有監督指令微調增強模型在特定場景下理解和遵循人類指令的能力>人工反饋強化學習顯式地將人類反饋引入訓練過程>通過人類反饋將模型輸出對齊到人類的價值觀和偏好，提高模型的回答質量與可靠性回答1

回答2回答獎勵模型PPO回答1指令微調模型

回答2收集人工選擇數據文本圖像…

人工標注

收集人工標注多模態數據

指令微調模型提示A獎勵值獎勵模型微調

參數更新=9提示詞指令微調

模型指令微調

模型預訓練模型預訓練模型指令微調參數同步20/37大模型訓練流程電力運維通用模型窖層0層

層2

懸n-1層N訓練適配高效訓練算法適配

…國產平臺海光DCU國產集群適配訓練數據集支持功能3、模型訓練：混合立體并行訓練方案并行策略適配海光CPU基于國產計算集群搭建大模型訓練軟硬件體系

21/3781612

20流水線并行干卡并行訓練高效數據讀寫精度對齊任務自動恢復大模型混合立體并行訓練方案綜合考慮國產化集群單個計算節點子數

據集子數

據集增加數據批大小2428數據并行04基于特征關系保留的知識蒸餾技術教師模型nT特征向量廠O00-基準關系問鞋R

時世提失△△△梯度向量g學生模型口特

征

向

量?00O基準關系向量

對比街失M?S槐度向

量g符空關系科品F5基于梯度精度分析的模型量化技術搜集每層梯度信息、估計量化敏感度基于量化敏感度確定量化步長使用確定的比例和級別進行量化反量化方法將推理結果轉換回浮點數

w=s

·

(q-2)現有AI大模型對于計算資源需求較高，難以在資源受限的邊側設備進行部署；高質量輕量化技術是DeepSeek成功

要素之

一。基于提出的基于特征關系保留的知識蒸餾技術與基于梯度精度分析的模型

量化技術，有效地解決了Al

大模型模型參數高、推理復雜度高的問題。4、部署應用：大模型輕量化全流程方案Jinguo

Zhu,Shixiang

Tang,DapengChen,ShijieYu,YakunLiu,MingzheRong,Aijun

Yang,Xiaohua

Wang*.Complementaryrelationcontrastivedistillation[C]//CVPR.2021:9260-9269.22/37(BF16)(BF16)(Int4)大模型輕量化流程教師模型

大參數

(>70億)

高精度量化模型

小參數

(<10億)

低精度學生模型

小參數

(<10億)

高精度特往關系計算

子網絡M'Ms間關系向特征關系計算

子網絡M2云邊協同中心服務器集群自適應負載均衡與資源管理

支持

調整優先級動態任務調度算法提供優先策略

要求

下發

同步實時性評估與

增量數據同步與優先級分配

邊緣緩存策略邊緣計算設備邊緣系統邊緣計算載入并構建計算圖Torch模型計算圖分析、優化、融合數據類型轉換TMFile模型后端算子接入與硬件運行CUDA

推理框架APIKernels推理框架RuntimeFPGAKernelsX86Kernels完善的算子支持，包括CPU、NPU

等多種后端實現

推理SDK

開發簡單、

新算子、后端擴充技術門檻低單設備狀態感知與運維任務可由邊緣計算技術本地高效完成；對于變電站層的狀態數據處理，需要云邊協同技術，

各邊緣終端在中心服務器的統一調度下，將云端所需數據上傳并在云端實現戰級狀態綜合的感知、診斷與預測。4、部署應用：邊緣計算+云邊協同推動高性能多模態大模型在真實電力場景大規模落地應用

23/37任務調度

高效執行算子描述、計算圖解析

Block重構、數據重載量化/反量化訪存優化ARMKernelsNPUKernels算子融合子圖劃分TMFile

模型TMFile

模型XPU

Kernels寒武

紀華為

昇騰瑞芯

微Kernel選取Arm

芯片03電力裝備多模態大模型的應用24/3>隨著用戶規模和業務復雜度的提升，電網公司面臨海量客服需求，傳統人工客服難以滿足高效響應

和全天候服務的要求。而現有通用模型缺乏電力領域的專業知識，處理用電客戶實際問題能力較弱。現有通用模型缺乏電力領域知

識，處理實際問題能力較弱我位于××市，我的電費欠費了，該如何繳費?

電價是多少?很抱歉，我并不了解中國××市的電價情況，也不了解如何進行電費繳納，詳細信息建議電話

…全天候服務×成本高昂BLACKOUT延時解決

多語種支持(

一致性差(應用一：電力專家與客服系統構建

面向

復雜

問題

電力

專家客服

系統人為因素大

數據分析實

時

性

不

足×

歷史記錄(電力客服專業咨詢專業

問題電力專家與客服系統可以對海量客戶提供全天候、實時、專業的服務人工客服無法實現高效響應和全天候服務突發

情況緊急

求助延時

解答電費7

725/37我現在位于××市××區，家里突然停電了，是什么原因導致的?我該如何處理?感謝您的咨詢，很抱歉給您帶來不便。經過使用互聯網工具查詢，××市××區近期

處于夏季，氣溫高達35℃以上，并且處于雨季，降水多。在電力系統用電負荷極高

的同時，潮濕的環境也給電力設備帶來了額外的壓力。因此出現了短時的電力系統

供電不足的情況。您無需擔心，正常情況下，幾十分鐘至幾個小時之內電力系統就會恢復供電，具體

的信息請你關注××電網官網(http://www.sn.sgcc.com.cn/

××/)

或者社區公告。

如果您還有任何問題，可以咨詢x×電網人工客服熱線95588。很抱歉聽到您遇到了停電的問題。導致家中突然停電的原因可能有多種，以下是一

些常見的原因及處理建議：●電力公司供電故障：可能是由于電力公司進行設備檢修、線路故障或…..●家庭內部電路問題：家中的斷路器可能因過載或短路而自動跳閘。

我無法了解到××市具體的情況信息，請你咨詢當地的供電公司。很抱歉聽到您遇到了停電的問題。我暫時無法分析出停電故障的原因。您可以通過以下的步驟進行排查，找到問題的來源。如果您有任何新問題，請及時告訴我。排查的步驟有：檢查是否僅家中停電，檢查家中電路，咨詢社區人員……

如果以上方法都沒有解決您的問題，請你咨詢當地的供電公司。中國內大廠模型中國電工技術學會cdhsdhrkalii2024電氣人工智能最佳科技創新成果證書項目名稱：基于人工智能語言大模型的電力智能客

服原統研究及共應同完成單位；西安交通大學電氣工程學院項汗成賢：王小華、榮命哲祝金國，羅海濃。應用一：電力專家與客服系統羅海宸，楊逸舟，柳宇洋，李明軒，楊愛軍，榮命哲，王小華

.面向電力設備運維的人工智能大規模語言

模型關鍵技術及其應用研究

.第十九屆中國電工技術學會學術年會

.2024年9月電

C

：中國電上我術會2024年2月07日季明軒。陳曉玄，楊愛牢用戶26/37多模態運維安全助手應用案例是否有危險

是監控視頻>

電力設備故障易引發人身安全事故，急需開發高效精準的電力運維規劃與安全預警模型。變電站危險預警

運維人員路徑規劃快速預警響應精準定位故障

保障人身安全應用二：多模態運維安全助手歷史信息振動信號現場圖像多模態運維安全助手

27/37需求多模態感知電力運維助手配電柜爆炸導致人

身傷亡紅外圖像油色譜>

現有電力人工智能算法大多為單任務算法，針對不同故障診斷任務需要開發不同的算法模型，研發

程序繁瑣、成本高、泛化性差；>

現有電力人工智能模型處理多模態數據能力較差，難以處理多場景結合的復雜任務。輸入圖像X語言指令X?圖像編碼器

文本編碼器Z!投影WH電力多模態大模型

f語言響應應用三：多模態電力設備狀態感知助手多模態電力設備狀態感知助手可完成電力設備的多模態數據狀態感知任務，并實現與運維人員的實時交互用戶咨詢電力專家運維人員實時交互支持28/37您好，根據您提供的視頻，這是一個三相雙臂式隔離開關的運行視頻。其中，隔離開關的作用是保證高壓電器及裝置在檢修工作時的安全，起到隔離電壓的作用。但是需要注意的

是，其不能用于切斷、投入負荷電流和開斷短路電流，僅可用于不產生強大電弧的某些切

換操作，即不具備滅弧功能。根據您提供的視頻，隔離開關進行了閉合操作，這意味著該部分電路處于閉合狀態，無法

進行檢修以及運維等相關工作。如需進行運維工作，需要注意遵守相關的規范以及章程、

保障工作人員的人身安全。1.

視頻中展示的是一種戶外高壓隔離開關。隔離開關主要用于在電氣設備檢修時，切

斷

設備與電源之間的聯系，確保檢修人員的安全。同時，它還可以起到電氣隔離的作用以

便在系統發生故障時能快速隔離故障部分。2.

視頻中的隔離開關處于“合閘”狀態。可以看出隔離開關的觸頭已經閉合，導電部件

連接在一起，說明電路是通的狀態。1.

視頻展示的是戶外高壓交流35KV

真空負荷開關。這種類型的產品主要用于電力系統和

工業生產領域，在電路運行過程中進行隔離、切換或保護的功能。2.

在視頻中可以看到該開關處于閉合的狀態這說明它正在正常工作并且能夠有效地控制

電路的通斷情況。同時也可以看到一些紅色指示燈亮起，表示當前的工作狀態是正常的。Power-LLaVAPowr/是一個電力圓文大模型手，你可以咨調他任何有關電力語罪的問題，不桐于挑們另一個工作

電力客BPowerChit,PowenL

可以支持文本和圖時兩種相態的輸入，該損型變持力多場罪的問需咨，中黃文間答、多輪對話，復雜批W等多種功能，上傳你的圍片和間模型會相據片

和文字內容進行推理與回苔.使用方法：兩圖檢測：點擊所提供的制圖，拜點擊上作，模型將會根據例園和時應的河題給出回苦。本地圖片松到：上傳你的圖片并輸入同源，并點出發送輸入根型.多輪對話：在模型生成完一次回答酷，你可以續在對話柜內輸入內容，模型會根據上下文進行多輪的時話與推理，9

酒應用三：多模態電力設備狀態感知助手WANG,Jiahao.

…

.

Wang,Xiaohua*,Power-Llava:Large

Language

and

Vision

Assistant

for

Power

TransmissionLine

Inspection.In:2024

IEEE

InternationalConferenceon

Image

Processing(ICIP).IEEE,2024.p.963-969.

29/37圖像輸入文本問答請你根據給定的視頻，回答以下問題：1.

視頻中是什么類型的隔離開關，起

到什么作用?2.

視頻中的隔離開關正處于什么狀態?視頻感知多模協同

(用戶5s

10s

15s國內大廠模型電力大模型GPT-4o>時序數據(如電壓、電流信號)是電力場景中最基本、最易獲取、參考性最大的數據。利用此類數據可以進行電力場景精細化感知與深度分析。多種時序數據度

點里2as問題分析目標：GIS開關任務：分析有無異常情況指令生成指令：獲取監測視頻、獲

取UHF信

號

…

…實時監測數據智能分析分析過程：監測視頻中顯

示GIS開關表面未有裂痕、

損壞等情況，但UHF

信號顯示可能存在懸浮電位缺

陷

…

…決策生成電能使用應用四：電力時序數據分析監測模型電力時序數據分析監測模型可根據人類交互輸入生成任務指令并對各類時序數據進行分析與推理

30/37發電控制狀態監測危險預警系統調節環境治理損耗估算故障檢修電能質量生產監控經濟規劃電力時序數據分析監測模型電力系統全方面細粒度分析拓展。基于給定的電壓-時間二元組序列，

我們無法直接確定GIS

設備是否存在局部放電缺陷及其類別。這些數據點僅表示了UHF

信號幅度的變化，但沒有提供足夠的信號特征(如波形、

頻譜等)來做出準確判斷。要確定是否存在局部放電及其類型，需要更詳細的UHF1信

號

數據以及專業的電氣測試分析。因此，建議進一步收集和分析信號數據，或請專家進行

評

估

。對于這個問題，我作為一個AI

模型，并不具備直接分析實際物理信號(如電壓和時間數據):

的能力來診斷GIS設備的局部放電缺陷。然而，通常情況下，局部放電信號會在超高頻(UHF)

測量中表現為特定模式：.脈沖或尖峰：如果在某些時刻出現峰值電壓對應的時間點異常短且重復，可能是由于..…>

運維通用模型利用API

代碼工具，繪制出波形圖輔助判斷，結合原始數據，準確判斷出故障的原因，

并給出相對準確的分析與建議，

展示出專業的行業知識與可靠的

運

維

能

力

。您好，根據您提供的提供的UHF

特征，我首先調用Python

工具繪制了對應的波形曲線如右圖所示。根據波形，

UHF曲線具有以下特征：(1)峰值達到了

1.17V。(2)

曲線積分面積為4.87e-10。(3)曲線的

上升時間0.003us,

下降時間0.1644

S。根據以上

特征，該GIS設備對應的缺陷類型為懸浮電位。時序序列可視化繪圖(特征提取深度感知應用四：電力時序數據分析監測模型李明軒，王家浩，付雅俊，羅海宸，祝金國，楊愛軍，榮命哲，王小華

.基于人工智能多模態大模型的高壓斷路器在線監測與故障診斷系統

.第十九屆中國電工技術學會學術年會

.2024年9月

.