第九章人工神經網絡的負荷預測一.神經網絡理論概述二.BP網絡原理與算法三.BP網絡在短期負荷預測中的應用

教學要求：●了解神經網絡的基本知識；●掌握BP及其改進算法；●清楚BP網絡在短期負荷預測中的應用；

教學難點：BP算法的權值修正的推導；

教學重點：BP算法的計算過程；一.神經網絡概述

1.神經網絡的定義

2.神經網絡理論的發展

3.神經網絡的分類

4.神經網絡理論的應用領域

5.神經網絡的主要特性

6.神經元的描述1.神經網絡的定義人工神經網絡(ArtificialNeuralNetworks,ANN或NN)——是對人腦或自然神經網絡若干基本特性的抽象和模擬。換句話說，是根據所掌握的生物神經網絡機理的基本知識，按照控制工程的思路和數學描述方法，建立相應的數學模型，并采用適當的算法，有針對性的確定數學模型的參數（如連接權值，閾值等），以便獲得某個特定問題的解。2.神經網絡理論的發展概述1943年，心理學家Mcculloch和數學家Pitts提出M-P神經元模型。1957年，美學者FrankRosenblatt提出感知機模型Perceptron。60年代，Widrow提出自適應元件Adaline。1974年，美Werbos.P提出誤差反向傳播算法

(Back-Propagation)。1982年，美Hopfield提出HNN全互聯網絡模型及能量函數。1985年，Bumelhart發展了BP網絡算法，實現Minsky的多層網絡設想。3.神經網絡的分類前向網絡（BP網絡）相互結合性網絡（Hopfield模型）①連接方式②網絡模型感知器多層映射BP網絡GMDH網絡RBF網絡雙向聯想記憶(BAM)Hopfield模型盒中腦(BSB)自適應共振理論（ART）4.神經網絡理論的用途

●函數逼近

●數據聚集

●模式分類

●優化計算

●概率密度函數估計5.神經網絡的基本特性●分布存儲和容錯性；●可塑性、自適應性和自組織性；●并行處理性；●層次性；6.神經元的描述多入——單出——從其它神經元傳來的信號；——閾值（可看作-1的輸入,權為θi）；——神經元j到神經元i的連接權值；——傳遞函數（節點作用函數）；常用的作用函數

●高斯核函數

●閾值性函數

●S狀曲線

●分段線性函數二.BP網絡原理及算法

1.BP網絡的基本原理

2.BP算法的基本遞推關系式

3.BP算法的實現步驟

4.BP學習算法的收斂性分析及改進

1.BP網絡的基本原理●什么是BP網絡？

——運用誤差反向傳播學習算法（Back-Propagation

TraingingAlgorithm）的前饋多層網絡，~。

維數角標輸入層輸出層隱含層（可多層）XY輸入輸出ghBP網絡結構示意圖

●BP網絡的學習過程正向過程：輸入信號從輸入層經隱含層逐層處理，并傳向輸出層，每一層神經元的狀態只影響下一層神經單元。反向過程：如果在輸出層不能得到期望的輸出，則將輸出信號的誤差沿原來的連接通路返回。通過修改各層神經元的權值，使誤差信號最小。BP為有教師的學習算法，以最小二乘法的最陡下降梯度。BP網絡各層神經元的輸出為：XYgh神經元閾值視為連接權

令

XYgh2.算法的基本遞推關系式設學習樣本個對應的教師信號(輸出的期望值)正向傳播輸出信號共個樣本對向量XP1XPLtPLYP1YPLtP1BP網絡n維m維m維對而言若輸入所有個樣本對，網絡的總誤差為應用最陡下降法，反向調整各層連接權，使誤差達到最小。——任意兩個神經元之間的連接權批量模式設為迭代次數，應用梯度法，可得各層連接權的迭代關系式為

——學習速度系數，一般取0.01~1。

●第二隱含層——輸出層的權值修正——第p個輸入模式下對輸出神經元l的等效誤差。

●第一隱含層——第二隱含層的權值修正——在第P個輸入模式下，分攤給第二隱含層神經元k的等效誤差。（調換求和順序）

●輸入層——第一隱含層的權值修正——第p個輸入模式對下的，分攤給第一隱含層j的等效誤差。（調換求和順序）

第2隱含-輸出層第1隱含-第2隱含層輸入層-第1隱含層權值修正計算一覽表綜上所述：⑴連接權的調整，按遞推表達式進行。

——該連接權輸出端點的等效誤差。

——該連接權輸入點的實際信號。⑵等效誤差由輸出層向輸入層逐層反向傳播。⑶權修正是按批處理方式進行。

批處理

——是輸入所有學習樣本對并計算網絡誤差后,才按負梯度方向進行調整。可避免逐個樣本對權修正時可能引起的振蕩。3.算法的實現步驟Step1:初始化網絡權值。一般取凈輸入值較小，權值為一隨機數。step2:輸入量的正向傳遞過程。①輸入學習樣本對。②對每個輸入樣本，按式

順序計算各神經元的輸出值。Step3:誤差反向傳播，依次計算，，。Step4:按式修正各層的連接權。Step5:根據新的連接權值進行正向計算。若每一個樣本對和輸出層的每一個神經元l均滿足精度要求，即

則網絡學習完成，否則去②。系統給定BP算法框圖：

4.學習算法的收斂性分析及改進●算法的收斂性

三種情況1)全局最小點

2)平坦區網絡麻痹

3)局部極小點

有關神經元激活函數的導數有關梯度與●反向傳播法的不足

需要較長的訓練時間完全不能訓練局部極小值①多層網絡結構，較多神經元。②不同初始權值（較小的初始權值，較小的學習速率）。●網絡訓練不穩定①附加動量法

0，當

=0.95，當，其他初始值：方向一致②自適應學習速率

，當

，當，其他③L-M規則——加快前向網絡訓練大，梯度法。小，Guass-Newton