第2章BP神經網絡

已經發展了數十上百種神經網絡模型，應用最廣泛的是誤差反向傳播算法(BackPropagationAlgorithm，簡稱BP算法)，相應的網絡稱為BP網絡。由多層處理單元組成，每層神經元個數不同，通過樣本自學習建立網絡輸入變量和輸出變量之間的非線性映射關系。

§2-1BP神經網絡基本原理

BP網絡一般由輸入層、隱層和輸出層組成，隱層可以為一層或多層，每層上的神經元稱為節點或單元。

標準BP模型由3個神經元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。標準BP模型由3個神經元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。圖2.1三層BP神經網絡BP網絡誤差反向傳播算法的基本思想

BP網絡按照感知器的工作原理進行信息處理：

(2-1)式中為t時刻輸出，為輸入向量的一個分量，為t時刻第i個輸入的加權，θ為閾值，為作用函數。

感知器的學習規則為

(2-2)式中η為學習率，d為期望輸出(又稱教師信號)，為感知器的輸出。感知器通過不斷調整權重，使得對一切樣本均保持不變時，學習過程就結束。BP網絡誤差反向傳播算法的基本思想是：根據輸出層內各處理單元的正確輸出與實際輸出之間的誤差進行連接權系數的調整，使網絡的輸出盡可能接近期望的輸出，直到滿足事先給定的允許誤差，學習停止。由于隱層的存在，輸出層對產生誤差的學習必須通過各層連接權值的調整進行，因此，隱層要能對輸出層反傳過來的誤差進行學習，這是BP網絡的一個主要特征。

BP網絡的學習算法

考慮BP網絡中某神經元j如圖1.2所示，它有m個輸入信號，每個輸入通過各自的權系數與神經元j相聯系。第j神經元的綜合輸入量為圖1.2神經單元模型(2-3)式中稱為該神經元的門檻值或閾值。為了統一表達式，可以令,將上式改寫成

(2-4)第j神經元的輸出為(2-5)式中為神經元j的傳遞函數或響應函數，是非線性可微非遞減函數，對各神經元可取同一形式。傳遞函數通常有0-1型(2-6)雙曲正切型(2-8)

Sigmoid型(2-7)目前，用得較多的傳遞函數是Sigmoid型函數或稱為S型函數。BP網絡的自學習是通過若干個已知輸入和輸出的樣本，來調整權系數完成的。要求對樣本，網絡輸出和樣本期望輸出的差值平方和極小，即(2-9)

現在考慮圖2.2所示BP網絡，用序號1~3分別表示輸入層、隱層和輸出層，為統一符號，規定右上角標表示層的序號，對第p樣本，第層的神經元j的輸入和輸出分別用和表示，而對應層的神經元個數為，對圖2.2而言，。則網絡的正向運算為現在考慮圖2.2所示BP網絡，用序號1~3分別表示輸入層、隱層和輸出層，為統一符號，規定右上角標表示層的序號，對第p樣本，第層的神經元j的輸入和輸出分別用和表示，而對應層的神經元個數為，對圖2.2而言，。則網絡的正向運算為圖2.2三層BP神經網絡輸入層(2-10)隱層或輸出層式中表示第層的神經元與第層的神經元之間的權系數。網絡第層的神經元j的計算輸出和樣本期望輸出的差值記為(2-13)要對網絡的權系數不斷進行修正，使得小于事先給定的允許誤差，才能完成學習過程，訓練結束。對于第次學習過程，權系數修正量可借鑒不包含隱層的Delta學習算法(或學習算法)按下式進行調整(也參見式(2-2))

(2-14)式中η為修正因子，一般取小于1的常數，也可以在學習過程中根據需要而改變。

Delta學習算法的改進

由式(2-11)則式(2-17)可改寫為將上式與式(2-14)比較，可見兩者形式相同。(2-14)

而由式(2-12)有

對式(2-7)的S型函數，上式成為

將式(2-23)和式(2-24)代入式(2-21)得

將式(2-23)和式(2-26)代入式(2-21)并考慮式(2-15)得

式(2-16)和式(2-20)給出

需要指出的是，當選用0-1型和Sigmoid型傳遞函數時，網絡輸出的值域為(0,1)而雙曲正切型的值域為(-1,1)，對于超出此區間的樣本期望輸出，均需作歸一化處理。訓練好的BP網絡已經建立了輸入變量與輸出變量之間的非線性映射關系，可用于結構損傷(裂紋)識別等反問題的求解。該法的特點是具有較好的魯棒性，對測量結果的微小誤差不很敏感。

BP網絡學習(迭代)運算步驟如下：事先確定隱層的層數及各隱層的神經元個數

§2.2BP網絡計算框圖BP網絡計算框圖(流程圖)見圖2.3：

§2.3BP網絡的特點和存在的問題

(1)是一種非線性映射關系

是靜態系統而非動力學系統，故不涉及穩定性問題。

(2)BP算法收斂速度很慢

主要由于多峰優化問題，只找到局部最優解，產生麻痹，如圖2.4。A全局最優點B局部優化點圖2.4多峰優化問題尋優過程示意圖

(3)對隱層的層數及各隱層的神經元個數尚無理論上的推導

(4)對加入的新樣本，網絡需要重新學習

§2.4Kolmogorov定理Kolmogorov(連續函數表示)定理(1957年)：

§2.5算例1——NN.FOR駐值點由：

需要利用導師信息，給出網格點的值作信息，共7×7=49對數據點，見表2-1。x1位于-3～3之間，而x2位于-2～4之間。

表2-1神經網絡訓練數據表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239

程序NN.FOR使用說明：

數據值應在(0,1)之間，故應作歸一化處理：進行坐標平移及數據歸一化處理，分子—平移；分子/分母—歸一化。x1最小值為-3，x2最小值為-2，取值區間分別為3-(-3)=6和4-(-2)=6。規格化處理：

§2.6算例2考慮：1、移軸及歸一化和上下限改變的影響；2、隨機數起始點改變；