2023/7/231第4章BP網絡

主要內容：BP網絡的構成隱藏層權的調整分析Delta規則理論推導算法的收斂速度及其改進討論BP網絡中的幾個重要問題重點：BP算法難點：Delta規則的理論推導2023/7/2324.1概述

1、BP算法的出現非循環多級網絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂3、優點：廣泛的適應性和有效性。2023/7/2334.2基本BP算法

4.2.1網絡的構成

神經元的網絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經元的輸出：2023/7/234輸出函數分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數作為激活函數，只要該函數是處處可導的2023/7/235網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2023/7/236網絡的拓撲結構

BP網的結構輸入向量、輸出向量的維數、網絡隱藏層的層數和各個隱藏層神經元的個數的決定實驗：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力BP網一般都選用二級網絡2023/7/237網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/7/2384.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數”與飽和狀態；“不同”保證網絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；（2）計算相應的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/7/2394.2.2訓練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調整權矩陣。（3）網絡關于第p個樣本的誤差測度：（4）網絡關于整個樣本集的誤差測度：2023/7/23104.2.3誤差傳播分析

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2023/7/23112、隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2023/7/23122、隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk

有關不妨認為δpk-1通過權wp1對δ1k做出貢獻，通過權wp2對δ2k做出貢獻，……通過權wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/7/23132、隱藏層權的調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2023/7/23144.2.4基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調整，重復這個循環，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現對權矩陣的修改。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

2023/7/2315算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0;2023/7/2316算法4-1

基本BP算法4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據相應式子調整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據相應式子調整W(k)；

4.2.6.2k=k-14.3E=E/2.02023/7/23174.3算法的改進

1、BP網絡接受樣本的順序對訓練結果有較大影響。它更“偏愛”較后出現的樣本2、給集中的樣本安排一個適當的順序，是非常困難的。3、樣本順序影響結果的原因：“分別”、“依次”4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

2023/7/2318算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

2023/7/23194.3對S中的每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應的實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對所有i，j根據相應式子計算?pw(L)ij；

4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對所有i,j根據相應式子計算?pw(k)ij；

4.3.7.2對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

2023/7/2320算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加快收斂速度沖量：聯接權的本次修改要考慮上次修改的影響，以減少抖動問題

2023/7/2321算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數，一般可取到0.9Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)?wij′也是上一次的修改量，β在0和1之間取值2023/7/23224.4算法的實現

主要數據結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入（隱藏）層的權矩陣；?o[m]——輸出層各聯接權的修改量組成的向量；?h[H]——隱藏層各聯接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。

2023/7/2323算法的主要實現步驟

用不同的小偽隨機數初始化W，V；初始化精度控制參數ε；學習率α；循環控制參數E=ε+1；循環最大次數M；循環次數控制參數N=0；whileE>ε&N<Mdo 4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執行如下操作2023/7/23244.2對每一個樣本(X,Y)，執行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2023/7/23254.2對每一個樣本(X，Y)，執行的操作4.2.4計算隱藏層的權修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；2023/7/2326建議

隱藏層的神經元的個數H作為一個輸入參數同時將ε、循環最大次數M等，作為算法的輸入參數在調試階段，最外層循環內，加一層控制，以探測網絡是否陷入了局部極小點2023/7/23274.5算法的理論基礎基本假設網絡含有L層聯接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經元：Hk個自變量數：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度: 2023/7/2328用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為

O=（o1，o2，…，om）誤差測度2023/7/2329誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度2023/7/2330最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij2023/7/2331而其中的

所以，

最速下降法，要求E的極小點2023/7/2332令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點2023/7/2333ANj為輸出層神經元

oj=f(netj)容易得到

從而

2023/7/2334ANj為輸出層神經元2023/7/2335所以，故，當ANj為輸出層的神經元時，它對應的聯接權wij應該按照下列公式進行調整：ANj為輸出層神經元2023/7/2336ANj為隱藏層神經元

函數2023/7/23