1、第第7 7章章 7.2 7.2 典型神經(jīng)網(wǎng)絡(luò)典型神經(jīng)網(wǎng)絡(luò)-BP-BP反向傳播網(wǎng)絡(luò)反向傳播網(wǎng)絡(luò) BackPropagation Network，由于其權(quán)值的調(diào)整采用反向傳播由于其權(quán)值的調(diào)整采用反向傳播（Backpropagation）的學(xué)習(xí)算法，的學(xué)習(xí)算法，因此被稱為因此被稱為BP網(wǎng)絡(luò)。網(wǎng)絡(luò)。BP網(wǎng)絡(luò)網(wǎng)絡(luò) 是一種單向傳播的多層前向網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)其神經(jīng)元的變換函數(shù)是其神經(jīng)元的變換函數(shù)是S型函數(shù)，型函數(shù)，因此輸出量為因此輸出量為0到到1之間的連續(xù)量之間的連續(xù)量它可以對非線性可微分函數(shù)進(jìn)行它可以對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練，從而實(shí)現(xiàn)輸入到輸出權(quán)值訓(xùn)練，從而實(shí)現(xiàn)輸入到輸出的任意的非線

2、性映射。的任意的非線性映射。 網(wǎng)絡(luò)中心思想是梯度下降法網(wǎng)絡(luò)中心思想是梯度下降法 通過梯度搜索技術(shù)，使網(wǎng)通過梯度搜索技術(shù)，使網(wǎng)絡(luò)實(shí)際輸出值與期望輸出值絡(luò)實(shí)際輸出值與期望輸出值的誤差均方值最小。的誤差均方值最小。網(wǎng)絡(luò)的學(xué)習(xí)過程是一種誤差網(wǎng)絡(luò)的學(xué)習(xí)過程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的邊向后傳播邊修正權(quán)系數(shù)的過程過程7.2.1 BP網(wǎng)絡(luò)特點(diǎn)是多層網(wǎng)絡(luò)，包括輸入層、隱層和輸出層是多層網(wǎng)絡(luò)，包括輸入層、隱層和輸出層層與層之間采用全互連方式，同一層神經(jīng)層與層之間采用全互連方式，同一層神經(jīng)元之間不連接元之間不連接權(quán)值通過學(xué)習(xí)算法進(jìn)行調(diào)節(jié)權(quán)值通過學(xué)習(xí)算法進(jìn)行調(diào)節(jié)神經(jīng)元激發(fā)函數(shù)為神經(jīng)元激發(fā)函數(shù)為S函數(shù)函數(shù)層與層

3、的連接是單向的，信息傳播是雙向?qū)优c層的連接是單向的，信息傳播是雙向的的7.2.2網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) u y 輸入層輸入層隱層隱層輸出層輸出層輸輸 入入輸輸 出出BP網(wǎng)絡(luò)是一種多層前向神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)是一種多層前向神經(jīng)網(wǎng)絡(luò)v一般分三層：輸入層，隱層，輸出層，也可以一般分三層：輸入層，隱層，輸出層，也可以有有2層或更多個(gè)隱層。層或更多個(gè)隱層。v層與層之間采用全互聯(lián)方式，同一層單元之層與層之間采用全互聯(lián)方式，同一層單元之間不存在相互連接。間不存在相互連接。1）輸入層單元無轉(zhuǎn)換函數(shù)，直接接收信號傳給）輸入層單元無轉(zhuǎn)換函數(shù)，直接接收信號傳給下一層，所以有些書不認(rèn)為輸入層是一個(gè)網(wǎng)絡(luò)層。下一層，所以有些書不認(rèn)為輸

4、入層是一個(gè)網(wǎng)絡(luò)層。2）只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制）只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在在0和和1之間，那么在輸出層應(yīng)當(dāng)包含之間，那么在輸出層應(yīng)當(dāng)包含 S 型激活函型激活函數(shù)，在一般情況下，數(shù)，在一般情況下，x1x2xny1yp均是在隱含層采均是在隱含層采用用 S 型激活函數(shù)，型激活函數(shù)，而輸出層采用線而輸出層采用線性激活函數(shù)。性激活函數(shù)。7.2.3 BP網(wǎng)絡(luò)的逼近用于逼近的BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)網(wǎng)絡(luò)有導(dǎo)師的學(xué)習(xí)反向傳播(BP)學(xué)習(xí)算法 BP算法是由兩部分組成：信息算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。的正向傳遞與誤差的反向傳播。 在正向傳播過程中，輸入信息在正向傳播過程

5、中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。響下一層神經(jīng)元的狀態(tài)。 如果在輸出層沒有得到期望如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。到期望目標(biāo)。反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y

6、 xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法反向傳播反向傳播: 調(diào)整權(quán)系值調(diào)整權(quán)系值 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法 u y xi反向傳播反向傳播(BP)(BP)學(xué)習(xí)算法學(xué)習(xí)算法正正向反向向反向正向正向 u y xi正向正向 u y xi正向正向 u y xi正向正向 u y xi正向正向 u y xi正向正向

7、 u y xi正向正向 u y xi正向正向 u y xi反向反向反向反向 u y xi反向反向 u y xi前向傳播前向傳播：計(jì)算網(wǎng)絡(luò)輸出：計(jì)算網(wǎng)絡(luò)輸出隱層輸出采用隱層輸出采用S函數(shù)函數(shù)iiijjxxjxjjexfx11輸出層輸出輸出層輸出 jjjonxky u y xixjXj反向傳播反向傳播：采用：采用學(xué)習(xí)算法調(diào)整各層間權(quán)值學(xué)習(xí)算法調(diào)整各層間權(quán)值 kykyken 221keE ijijjojoEE用于逼近的用于逼近的BP網(wǎng)絡(luò)網(wǎng)絡(luò)joij jjjonxky梯度下降法梯度下降法jxjx jjonjojoxkeykeE )1(ijjjoijnijijxxxkeykeE jojojokk1 ij

8、ijijkk1輸出層及隱層的連接權(quán)輸出層及隱層的連接權(quán)隱層及輸入層的連接權(quán)隱層及輸入層的連接權(quán) 1kkxkekjojojjo 11kkkkjojojojojo 11kkkkijijijijij 1)1 (kkxxxkekijijijjjoijBP網(wǎng)絡(luò)主要用于：網(wǎng)絡(luò)主要用于：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近個(gè)函數(shù)；個(gè)函數(shù)；2)模式識別：用一個(gè)特定的輸出矢量將它模式識別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來；與輸入矢量聯(lián)系起來；3)分類：把輸入矢量以所定義的合適方式分類：把輸入矢量以所定義的合適方式進(jìn)行分類；進(jìn)行分類

9、；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。輸或存儲(chǔ)。 BP網(wǎng)絡(luò)逼近仿真Chap7_1.m 23111kykykuky 初始化初始化 加輸入和期望輸出加輸入和期望輸出計(jì)算隱層和輸出層的輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加迭代次數(shù)加1 1調(diào)節(jié)輸出層和隱層的連接權(quán)值調(diào)節(jié)輸出層和隱層的連接權(quán)值pjopjhjihkjkpjopkokjokjxtwtwOtwtw)()1()()1( 改變訓(xùn)練樣板改變訓(xùn)練樣板訓(xùn)練樣終止？訓(xùn)練樣終止？迭代終止？迭代終止？BPBP算法的基本流程算法的基本流程N(yùn)oNoyy7.2.6 BP網(wǎng)絡(luò)模式識別 由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、由于神經(jīng)網(wǎng)絡(luò)具

10、有自學(xué)習(xí)、自組織和并行處理等特征，并自組織和并行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)想能具有很強(qiáng)的容錯(cuò)能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識別的能力。識別的能力。 在神經(jīng)網(wǎng)絡(luò)模式識別中，根據(jù)在神經(jīng)網(wǎng)絡(luò)模式識別中，根據(jù)標(biāo)準(zhǔn)的輸入輸出模式對，采用神經(jīng)標(biāo)準(zhǔn)的輸入輸出模式對，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識別的知識網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識別的知識庫，利用神經(jīng)網(wǎng)絡(luò)庫，利用

11、神經(jīng)網(wǎng)絡(luò)并行推理算并行推理算法法對所需要的輸入模式進(jìn)行識別。對所需要的輸入模式進(jìn)行識別。當(dāng)待識別的輸入模式與訓(xùn)練樣本當(dāng)待識別的輸入模式與訓(xùn)練樣本中的某個(gè)輸入模式中的某個(gè)輸入模式相同相同時(shí)，神時(shí)，神經(jīng)網(wǎng)絡(luò)識別的結(jié)果就是與訓(xùn)練樣經(jīng)網(wǎng)絡(luò)識別的結(jié)果就是與訓(xùn)練樣本中相對應(yīng)的輸出模式。本中相對應(yīng)的輸出模式。當(dāng)待識別的輸入模式與訓(xùn)練樣本當(dāng)待識別的輸入模式與訓(xùn)練樣本中所有輸入模式都中所有輸入模式都不完全相同不完全相同時(shí)，則可得到與其相近樣本相對時(shí)，則可得到與其相近樣本相對應(yīng)的輸出模式。應(yīng)的輸出模式。當(dāng)待識別的輸入模式與訓(xùn)練樣本中當(dāng)待識別的輸入模式與訓(xùn)練樣本中所有輸入模式所有輸入模式相差較遠(yuǎn)相差較遠(yuǎn)時(shí)，就不時(shí)，

12、就不能得到正確的識別結(jié)果，此時(shí)可將能得到正確的識別結(jié)果，此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，這一模式作為新的樣本進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)獲取新的知識，并存儲(chǔ)使神經(jīng)網(wǎng)絡(luò)獲取新的知識，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強(qiáng)網(wǎng)到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識別能力。絡(luò)的識別能力。 BP網(wǎng)絡(luò)的訓(xùn)練過程如下：正網(wǎng)絡(luò)的訓(xùn)練過程如下：正向傳播是輸入信號從輸入層經(jīng)向傳播是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得隱層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播結(jié)束；否則，轉(zhuǎn)至反向傳播 BP網(wǎng)絡(luò)的訓(xùn)練過程 為了訓(xùn)練一個(gè)為了訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)網(wǎng)

13、絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。誤差平方和。 當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練則停止，否則在輸出層計(jì)算誤差變化，且訓(xùn)練則停止，否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，并重復(fù)此采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，并重復(fù)此過程。過程。 當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個(gè)不是當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將給出輸出結(jié)果。訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將給出輸出結(jié)果。 為了能夠較好地掌握為了能夠較好地掌握BP網(wǎng)絡(luò)的訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練過程，我們再用

14、兩層網(wǎng)絡(luò)為例來敘述過程，我們再用兩層網(wǎng)絡(luò)為例來敘述BP網(wǎng)絡(luò)的訓(xùn)練步驟。網(wǎng)絡(luò)的訓(xùn)練步驟。 1)用小的隨機(jī)數(shù)對每一層的權(quán)值用小的隨機(jī)數(shù)對每一層的權(quán)值W初始化，初始化，以保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和；以保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和；2)計(jì)算網(wǎng)絡(luò)各層輸出矢量計(jì)算網(wǎng)絡(luò)各層輸出矢量A1和和A2以及網(wǎng)絡(luò)以及網(wǎng)絡(luò)誤差誤差E3)計(jì)算各層反傳的誤差變化并計(jì)算各層權(quán)值計(jì)算各層反傳的誤差變化并計(jì)算各層權(quán)值的修正值以及新權(quán)值的修正值以及新權(quán)值4)再次計(jì)算權(quán)值修正后誤差平方和：再次計(jì)算權(quán)值修正后誤差平方和：5)檢查誤差是否小于給定誤差，若是，訓(xùn)練檢查誤差是否小于給定誤差，若是，訓(xùn)練結(jié)束；否則繼續(xù)。結(jié)束；否則繼續(xù)。以上所有

15、的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，仍然可以用以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，仍然可以用函數(shù)函數(shù)trainbp.m來完成。它的使用同樣只需要定義來完成。它的使用同樣只需要定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率，而調(diào)用后返回訓(xùn)練后權(quán)值，循差，以及學(xué)習(xí)速率，而調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差：環(huán)總數(shù)和最終誤差： TPdisp_freq max_epoch err_goal 1r；W，B，epochs，errorstrainbp(W，B，F(xiàn)，P，T，TP)； 7.2.7 仿真實(shí)例：仿真實(shí)例： 取標(biāo)準(zhǔn)樣本為3輸入2輸出樣本，如表7-

16、1所示。 輸輸 入入輸輸 出出1001001000.500101表7-1 訓(xùn)練樣本 BP網(wǎng)絡(luò)模式識別程序包括網(wǎng)絡(luò)訓(xùn)練程序chap7_2a.m和網(wǎng)絡(luò)測試程序chap7_2b.m?；诨贐P算法的多層前饋網(wǎng)絡(luò)用圖像壓縮編碼算法的多層前饋網(wǎng)絡(luò)用圖像壓縮編碼Ackley和和Hinton等人等人1985年提出了利用多層前饋年提出了利用多層前饋神經(jīng)網(wǎng)絡(luò)的模式變換能力實(shí)現(xiàn)數(shù)據(jù)編碼的基本思神經(jīng)網(wǎng)絡(luò)的模式變換能力實(shí)現(xiàn)數(shù)據(jù)編碼的基本思想。想。其原理是，把一組輸入模式通過少量的隱層節(jié)點(diǎn)其原理是，把一組輸入模式通過少量的隱層節(jié)點(diǎn)映射到一組輸出模式，并使輸出模式等同于輸入映射到一組輸出模式，并使輸出模式等同于輸入模式

17、。當(dāng)中間隱層的節(jié)點(diǎn)數(shù)比輸入模式維數(shù)少時(shí)，模式。當(dāng)中間隱層的節(jié)點(diǎn)數(shù)比輸入模式維數(shù)少時(shí)，就意味著隱層能更有效的表現(xiàn)輸入模式，并把這就意味著隱層能更有效的表現(xiàn)輸入模式，并把這種表現(xiàn)傳給輸出層。在這個(gè)過程中，輸入層和隱種表現(xiàn)傳給輸出層。在這個(gè)過程中，輸入層和隱層的變換可以看成是壓縮編碼的過程；而隱層和層的變換可以看成是壓縮編碼的過程；而隱層和輸出層的變換可以看成是解碼過程。輸出層的變換可以看成是解碼過程。用多層前饋網(wǎng)實(shí)現(xiàn)圖像數(shù)據(jù)壓縮時(shí)，只需一個(gè)隱層，如圖用多層前饋網(wǎng)實(shí)現(xiàn)圖像數(shù)據(jù)壓縮時(shí)，只需一個(gè)隱層，如圖原圖像原圖像nn重建圖像重建圖像nn輸入層和輸出層均含有輸入層和輸出層均含有n*n個(gè)神經(jīng)元，每個(gè)神經(jīng)

18、元個(gè)神經(jīng)元，每個(gè)神經(jīng)元對應(yīng)于對應(yīng)于n*n圖像分塊中的一個(gè)像素。隱層神經(jīng)元的圖像分塊中的一個(gè)像素。隱層神經(jīng)元的數(shù)量由圖像壓縮比決定，如數(shù)量由圖像壓縮比決定，如n=16時(shí)，取隱層神經(jīng)時(shí)，取隱層神經(jīng)元數(shù)為元數(shù)為m=8，則可將則可將256像素的圖像塊壓縮為像素的圖像塊壓縮為像素。像素。通過調(diào)整權(quán)值使訓(xùn)練集圖像的重建誤差達(dá)到最小。通過調(diào)整權(quán)值使訓(xùn)練集圖像的重建誤差達(dá)到最小。訓(xùn)練后的網(wǎng)絡(luò)就可以用來執(zhí)行圖像的數(shù)據(jù)壓縮任訓(xùn)練后的網(wǎng)絡(luò)就可以用來執(zhí)行圖像的數(shù)據(jù)壓縮任務(wù)了，此時(shí)隱層輸出向量便是數(shù)據(jù)壓縮結(jié)果，而務(wù)了，此時(shí)隱層輸出向量便是數(shù)據(jù)壓縮結(jié)果，而輸出層的輸出向量便是圖像重建的結(jié)果。輸出層的輸出向量便是圖像重建的

19、結(jié)果。黑白圖像的邊緣檢測：黑白圖像的邊緣檢測：BP網(wǎng)絡(luò)的設(shè)計(jì) 1 網(wǎng)絡(luò)的層數(shù)：網(wǎng)絡(luò)的層數(shù)： 理論上已經(jīng)證明：具有偏差和至少一個(gè)理論上已經(jīng)證明：具有偏差和至少一個(gè)S型型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。任何有理函數(shù)。 增加層數(shù)主要可以更進(jìn)一步的降低誤差，提增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。經(jīng)元數(shù)。 能不能僅用具有非線性激活函數(shù)的單

20、層網(wǎng)絡(luò)能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。來解決問題呢？結(jié)論是：沒有必要或效果不好。 2 隱含層的神經(jīng)元數(shù)隱含層的神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡單得多。多的隱含層要簡單得多。 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。適當(dāng)?shù)丶由弦稽c(diǎn)余量。 3）初始權(quán)值

21、的選取）初始權(quán)值的選取一般取初始權(quán)值在一般取初始權(quán)值在(- -1，1)之間的隨機(jī)數(shù)。之間的隨機(jī)數(shù)。在在MATLAB工具箱中可采用函數(shù)工具箱中可采用函數(shù)initff.m來初始來初始化權(quán)值閾值。化權(quán)值閾值。 由于每次訓(xùn)練時(shí)都對權(quán)值進(jìn)行隨機(jī)初始化，所由于每次訓(xùn)練時(shí)都對權(quán)值進(jìn)行隨機(jī)初始化，所以每次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)值都是不一樣的。以每次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)值都是不一樣的。4 學(xué)習(xí)速率學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。生的權(quán)值變化量。 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。 小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時(shí)間，小的學(xué)習(xí)速率導(dǎo)致較

22、長的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最值不跳出誤差表面的低谷而最終趨于最小誤差值。小誤差值。 所以在一般情況下，傾向于選取較小所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在速率的選取范圍在00108之間。之間。 5 期望誤差的選取期望誤差的選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個(gè)合適的值。應(yīng)當(dāng)通過對比訓(xùn)練后確定一個(gè)合適的值。 這個(gè)所謂的這個(gè)所謂的“合適合適”，是相對于所需要的，是相對于

23、所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得的。獲得的。 一般情況下，作為對比，可以同時(shí)對兩個(gè)一般情況下，作為對比，可以同時(shí)對兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò)。合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)的局限與不足網(wǎng)絡(luò)的局限與不足(1)需要較長的訓(xùn)練時(shí)間需要較長的訓(xùn)練時(shí)間 因?yàn)樯婕暗角髮?dǎo)的運(yùn)算，需要的時(shí)間較長因?yàn)樯婕暗角髮?dǎo)的運(yùn)算，需要的時(shí)間較長(2)訓(xùn)練癱瘓問題訓(xùn)練癱瘓問題通常為

24、了避免這種現(xiàn)象的發(fā)生，一是選取較小的通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時(shí)間。加了訓(xùn)練時(shí)間。 (3)局部極小值局部極小值BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解。很可能是一個(gè)局部極小解。WEW初始值不合適時(shí)，初始值不合適時(shí)，可能落入局部極小值?？赡苈淙刖植繕O小值。小結(jié)：一、結(jié)構(gòu)特點(diǎn)小結(jié)：一、結(jié)構(gòu)特點(diǎn) 1. BP網(wǎng)絡(luò)具有一層或多層隱含層，與其他網(wǎng)網(wǎng)絡(luò)具有一層或多層

25、隱含層，與其他網(wǎng)絡(luò)模型除了結(jié)構(gòu)不同外，主要差別表現(xiàn)在激活絡(luò)模型除了結(jié)構(gòu)不同外，主要差別表現(xiàn)在激活函數(shù)上。函數(shù)上。 2. BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù)以它就不能采用二值型的閥值函數(shù)0，1或符或符號函數(shù)號函數(shù)1，1，BP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S型的型的對數(shù)或正切激活函數(shù)和線性函數(shù)。對數(shù)或正切激活函數(shù)和線性函數(shù)。 3. 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在制在0和和1之間，那么在輸出層應(yīng)當(dāng)包含之間，那么在輸出層應(yīng)當(dāng)包含S型激型激活函數(shù)，在一般情況下，均是在隱含層采用活函數(shù)，在一

26、般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。型激活函數(shù)，而輸出層采用線性激活函數(shù)。 4、輸入和輸出是并行的模擬量；、輸入和輸出是并行的模擬量；5、網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因、網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；子決定，沒有固定的算法；6、權(quán)因子是通過學(xué)習(xí)信號調(diào)節(jié)的，這樣學(xué)、權(quán)因子是通過學(xué)習(xí)信號調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；習(xí)越多，網(wǎng)絡(luò)越聰明；7、隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)、隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對網(wǎng)絡(luò)輸出產(chǎn)生大別權(quán)因子的損壞不會(huì)對網(wǎng)絡(luò)輸出產(chǎn)生大的影響的影響反向傳播法的改進(jìn)方法反向傳播法的改進(jìn)方法 目標(biāo)

27、：為了加快訓(xùn)練速度，目標(biāo)：為了加快訓(xùn)練速度，避免陷入局部極小值。避免陷入局部極小值。1 附加動(dòng)量法附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影且考慮在誤差曲面上變化趨勢的影響，其作用如同一個(gè)低通濾波器，響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。特性。 利用附加動(dòng)量的作用則有可能滑過利用附加動(dòng)量的作用則有可能滑過局部極小值。局部極小值。 該方法是在反向傳播法的基該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上礎(chǔ)上在每一

28、個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。值變化。 附加動(dòng)量法附加動(dòng)量法的實(shí)質(zhì)是將最后一次的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。子來傳遞。 當(dāng)動(dòng)量因子取值為當(dāng)動(dòng)量因子取值為0時(shí)，權(quán)值的變化時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；僅是根據(jù)梯度下降法產(chǎn)生； 當(dāng)動(dòng)量因子取值為當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值變時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽而依梯度法產(chǎn)生的變化部分則被忽略掉了。略掉

29、了。2 誤差函數(shù)的改進(jìn)誤差函數(shù)的改進(jìn) 包穆包穆(Baum)等人于等人于1988年提出一種誤差函數(shù)為：年提出一種誤差函數(shù)為： 不會(huì)產(chǎn)生不能完全訓(xùn)練的癱瘓現(xiàn)象。不會(huì)產(chǎn)生不能完全訓(xùn)練的癱瘓現(xiàn)象。 3 自適應(yīng)學(xué)習(xí)速率自適應(yīng)學(xué)習(xí)速率 學(xué)習(xí)率學(xué)習(xí)率也稱步長，在標(biāo)準(zhǔn)也稱步長，在標(biāo)準(zhǔn)BP 算法中定算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率，從誤差個(gè)從始至終都合適的最佳學(xué)習(xí)率，從誤差曲面可以看出，平坦區(qū)域內(nèi)曲面可以看出，平坦區(qū)域內(nèi)太小會(huì)使訓(xùn)太小會(huì)使訓(xùn)練次數(shù)增加而希望增大練次數(shù)增加而希望增大值；而在誤差變值；而在誤差變化劇烈的區(qū)域，化劇烈的區(qū)域，太

30、大會(huì)因調(diào)整量過大而太大會(huì)因調(diào)整量過大而跨過較宰的跨過較宰的“坑凹坑凹”處，使訓(xùn)練出現(xiàn)振蕩，處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。反而使迭代次數(shù)增加。為了加速收斂過程，一個(gè)較好的思路是自為了加速收斂過程，一個(gè)較好的思路是自適應(yīng)改變學(xué)習(xí)率，使其該大時(shí)增大，該小適應(yīng)改變學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。時(shí)減小。 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個(gè)量；若不是這樣，而產(chǎn)生了以對其增加一個(gè)量；若不是這

31、樣，而產(chǎn)生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式：MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為：練的函數(shù)為：trainbpa.m。它可以訓(xùn)練直至三層網(wǎng)絡(luò)。它可以訓(xùn)練直至三層網(wǎng)絡(luò)。使用方法為：使用方法為：W，B，epochs，TEtrainbpa(W，B，F(xiàn)，P，T，TP)可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。這個(gè)技術(shù)已編入了函數(shù)兩方面的優(yōu)點(diǎn)。這個(gè)技術(shù)已編入了函數(shù)trai

32、nbpx.m之中。這個(gè)函數(shù)的調(diào)用和其他函數(shù)一之中。這個(gè)函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已：樣，只是需要更多的初始參數(shù)而已：TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W，B，epochs，error; lrtrainbpx(W，B，F(xiàn)，P，T，TP)本章小結(jié) 1)反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近，模式分類等工多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近，模式分類等工作；作；2)反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題反向傳播網(wǎng)

33、絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的，而輸入和元的數(shù)目是由問題的要求所決定的，而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來決定的；由設(shè)計(jì)者來決定的；3)已證明，兩層已證明，兩層S型線性網(wǎng)絡(luò)，如果型線性網(wǎng)絡(luò)，如果S型層有足夠型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系；的有理函數(shù)關(guān)系；4)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)

34、有可能陷入局部極小值；誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值；5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間；陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間；6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時(shí)間。自適應(yīng)學(xué)習(xí)速率通過在導(dǎo)致極長的訓(xùn)練時(shí)間。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，可以減少訓(xùn)練時(shí)間；可以減少訓(xùn)練時(shí)間；7)8090的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。改進(jìn)技術(shù)可以用來使反向

35、傳播法更加容易的。改進(jìn)技術(shù)可以用來使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間。實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間。 1985年年 Powell提出多變量插值的徑向基函提出多變量插值的徑向基函數(shù)（數(shù)（Radial Basis Function, RBF）方法；方法； 1988年年 Broomhead&Lowe將將RBF應(yīng)用應(yīng)用于神經(jīng)網(wǎng)絡(luò)于神經(jīng)網(wǎng)絡(luò)7.3 RBF神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function ，簡稱簡稱RBFNN） x1x2xny1yp輸輸 入入輸輸 出出是一種三層前饋網(wǎng)絡(luò)是一種三層前饋網(wǎng)絡(luò)網(wǎng)絡(luò)特點(diǎn)：網(wǎng)絡(luò)特點(diǎn)：）結(jié)構(gòu)相對簡單）結(jié)構(gòu)相

36、對簡單）在參數(shù)（節(jié)點(diǎn)數(shù)，）在參數(shù)（節(jié)點(diǎn)數(shù)，, ）選擇合適時(shí)，收斂選擇合適時(shí)，收斂速度快速度快三層三層輸入層輸入層隱層隱層神經(jīng)元函數(shù)多采用高斯函數(shù)神經(jīng)元函數(shù)多采用高斯函數(shù)輸出層輸出層線性神經(jīng)元函數(shù)線性神經(jīng)元函數(shù)構(gòu)成構(gòu)成RBF網(wǎng)絡(luò)的基本思想：網(wǎng)絡(luò)的基本思想： 1）用）用RBF作為隱單元的作為隱單元的“基基”構(gòu)成隱構(gòu)成隱含層空間，將輸入矢量直接映射到隱空含層空間，將輸入矢量直接映射到隱空間（不通過權(quán)連接）；間（不通過權(quán)連接）； 2）網(wǎng)絡(luò)輸出時(shí)隱單元輸出的線性加權(quán)）網(wǎng)絡(luò)輸出時(shí)隱單元輸出的線性加權(quán)和，（通過權(quán)連接可調(diào)參數(shù)）和，（通過權(quán)連接可調(diào)參數(shù)） 輸入輸入 隱層隱層 輸出輸出 非線性非線性 線性線性

37、（高斯核函數(shù)）（高斯核函數(shù)）c該激活函數(shù)具有局部感受能力，只有輸入落該激活函數(shù)具有局部感受能力，只有輸入落入某個(gè)范圍內(nèi)，才有明顯輸出，不象入某個(gè)范圍內(nèi)，才有明顯輸出，不象BP，輸輸入在（入在（，）均有輸出。）均有輸出。隱含層節(jié)點(diǎn)核函數(shù)作用：隱含層節(jié)點(diǎn)核函數(shù)作用： 對輸入信號在局部產(chǎn)生響應(yīng)對輸入信號在局部產(chǎn)生響應(yīng)網(wǎng)絡(luò)輸出采用高斯基函數(shù)的優(yōu)點(diǎn)：采用高斯基函數(shù)的優(yōu)點(diǎn)：1）表示形式簡單）表示形式簡單2）徑向?qū)ΨQ）徑向?qū)ΨQ3）光滑性好，任意階導(dǎo)數(shù)存在）光滑性好，任意階導(dǎo)數(shù)存在4）便于進(jìn)行理論分析）便于進(jìn)行理論分析學(xué)習(xí)過程分為兩個(gè)階段：第一階段第一階段無教師學(xué)習(xí)（根據(jù)樣本決無教師學(xué)習(xí)（根據(jù)樣本決定隱含層各節(jié)點(diǎn)的高斯核函數(shù)的中心向定隱含層各節(jié)點(diǎn)的高斯核函數(shù)的中心向量量ci和標(biāo)準(zhǔn)化常數(shù)和標(biāo)準(zhǔn)化常數(shù)bi）第二階段第二階段有教師學(xué)習(xí)（求權(quán)值有教師學(xué)習(xí)（求權(quán)值wki)RBF網(wǎng)絡(luò)的學(xué)習(xí)算法：網(wǎng)絡(luò)的學(xué)習(xí)算法：）無教師（監(jiān)督）學(xué)習(xí)）無教師（監(jiān)督）學(xué)習(xí)修改修改j，j）有教師（監(jiān)督）學(xué)習(xí)有教師（監(jiān)督）學(xué)習(xí)修改修改wj， j無教師學(xué)習(xí)階段將訓(xùn)練樣本集中的輸入向量分為若干族，在每個(gè)將訓(xùn)練樣本集中的輸入向量分為若干族，在每個(gè)數(shù)據(jù)族內(nèi)找出一個(gè)徑向基函數(shù)中心向量，使得該數(shù)據(jù)族內(nèi)找出一個(gè)徑向基函數(shù)中心向量，使得該族內(nèi)各樣本向量距該族中心的距離最小族內(nèi)各樣