5。4BP神經(jīng)網(wǎng)絡(luò)的基本原理BP(BackPropagation）1986Rinehart

)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚關(guān)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和BP（input）、隱層（hidelayer）和輸出層layer)（5。2）.5。4.1BP神經(jīng)元5.3jBP（節(jié)點(diǎn))，它只模仿了生物神經(jīng)元所具有的三個(gè)最基本也是

x…x

12…i…n1 2 i nww…ww1、2…i…nj

為閾值；j1 j2 ji jn jf(·）為傳遞函數(shù);yj

為第j個(gè)神經(jīng)元的輸出。第j個(gè)神經(jīng)元的凈輸入值為：（5.12）(完整版)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚其中:若視 ， ，即令及 包括及 ，則于是節(jié)點(diǎn)j的凈輸入可表示為:（5.13)凈輸入通過傳遞函數(shù)(Transferj（5。14）有一最大值。5。4.2BP網(wǎng)絡(luò)BP）播方向?yàn)檩斎雽印[層→輸出層,每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出,則轉(zhuǎn)向誤差信號(hào)的反向傳播流程.通過這兩個(gè)過程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略,動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程.5.4。2。1正向傳播)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚設(shè)BP網(wǎng)絡(luò)的輸入層有n個(gè)節(jié)點(diǎn)，隱層有q個(gè)節(jié)點(diǎn)，輸出層有m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為,隱層與輸出層之間的權(quán)值為 ，如圖5.4所示。隱層的傳遞函數(shù)為f(·），輸出層1傳遞函數(shù)為f(·)，則隱層節(jié)點(diǎn)的輸出為（將閾值寫入求和項(xiàng)中)：2k=1,2，……q （5.15)輸出層節(jié)點(diǎn)的輸出為:j=1,2，……m (5.16）B—Pnm5。4.2.2反向傳播定義誤差函數(shù)輸入個(gè)學(xué)習(xí)樣本用 來表示第個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出 m）。采用平方型誤差函數(shù)，于是得到第p個(gè)樣本的誤差E:p（5。17）式中：為期望輸出。對于個(gè)樣本,全局誤差為：)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚（5.18）輸出層權(quán)值的變化采用累計(jì)誤差BP算法調(diào)整 ,使全局誤差變小，即(5。19）式中：—學(xué)習(xí)率定義誤差信號(hào)為：（5.20）其中第一項(xiàng)：（5.21)第二項(xiàng):（5.22)是輸出層傳遞函數(shù)的偏微分.于是：(5.23）由鏈定理得：)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚(5。24）于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為：（5.25)隱層權(quán)值的變化（5.26)定義誤差信號(hào)為：(5。27）其中第一項(xiàng)：（5。28)依鏈定理有：(5.29）第二項(xiàng)：（5.30）是隱層傳遞函數(shù)的偏微分.于是：

(完整版)BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚（5。31）由鏈定理得：（5.32）從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為：（5。33)5。4.3BP算法的改進(jìn)BPBP以下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。在實(shí)際應(yīng)用中,BP1） BPBPW（K）K梯度方向進(jìn)行修正，而沒有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。動(dòng)量法