BP算法及其優(yōu)缺點(diǎn)－－誤差反傳〔ErrorBackPropagation〕算法的改進(jìn)與BP網(wǎng)絡(luò)設(shè)計(jì)編輯課件基于BP算法的多層感知器的模型三層BP網(wǎng)絡(luò)輸入層隱層輸出層編輯課件模型的數(shù)學(xué)表達(dá)輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個(gè)變量之間如何建立聯(lián)系，來(lái)描述整個(gè)網(wǎng)絡(luò)？編輯課件神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)的過(guò)程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)可變權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)那么：權(quán)值調(diào)整規(guī)那么，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)那么。BP算法是一種學(xué)習(xí)規(guī)那么編輯課件BP算法的根本思想學(xué)習(xí)的類(lèi)型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值編輯課件BP算法的學(xué)習(xí)過(guò)程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：假設(shè)輸出層的實(shí)際輸出與期望的輸出〔教師信號(hào)〕不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止編輯課件建立權(quán)值變化量與誤差之間的關(guān)系輸出層與隱層之間的連接權(quán)值調(diào)整隱層和輸入層之間的連接權(quán)值調(diào)整j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負(fù)號(hào)表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)，反映了訓(xùn)練速率。可以看出BP算法屬于δ學(xué)習(xí)規(guī)那么類(lèi)，這類(lèi)算法常被稱(chēng)為誤差的梯度下降(GradientDescent)算法。編輯課件BP算法的程序?qū)崿F(xiàn)(1)初始化；

(4)計(jì)算各層誤差信號(hào)；

(5)調(diào)整各層權(quán)值；

(6)檢查是否對(duì)所有樣本完成一次輪訓(xùn)；(7)檢查網(wǎng)絡(luò)總誤差是否到達(dá)精度要求。(2)輸入訓(xùn)練樣本對(duì)X

Xp、d

dp計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差；編輯課件BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。

另一種方法是在所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：編輯課件BP網(wǎng)絡(luò)的主要功能(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。編輯課件多層前饋網(wǎng)的主要能力(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱(chēng)為多層前饋網(wǎng)的泛化能力。(3)容錯(cuò)能力

輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。編輯課件誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個(gè)形狀極為復(fù)雜的曲面，該曲面上的每個(gè)點(diǎn)的“高度〞對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著nw個(gè)權(quán)值，因此稱(chēng)這樣的空間為誤差的權(quán)空間。編輯課件誤差曲面的分布－－BP算法的局限性曲面的分布特點(diǎn)--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個(gè)極小點(diǎn)------易陷入局部最小點(diǎn)編輯課件曲面分布特點(diǎn)1：存在平坦區(qū)域平坦－－誤差的梯度變化小－－接近于零編輯課件存在平坦區(qū)域的原因分析接近于零的情況分析造成平坦區(qū)的原因：

各節(jié)點(diǎn)的凈輸入過(guò)大對(duì)應(yīng)著誤差的某個(gè)谷點(diǎn)平坦區(qū)編輯課件曲面分布特點(diǎn)2：存在多個(gè)極小點(diǎn)誤差梯度為零多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值編輯課件曲面分布特點(diǎn)2：存在多個(gè)極小點(diǎn)BP算法－－－以誤差梯度下降為權(quán)值調(diào)整原那么誤差曲面的這一特點(diǎn)－－－使之無(wú)法區(qū)分極小點(diǎn)的性質(zhì)導(dǎo)致的結(jié)果：因而訓(xùn)練經(jīng)常陷入某個(gè)局部極小點(diǎn)而不能自拔，從而使訓(xùn)練無(wú)法收斂于給定誤差。編輯課件標(biāo)準(zhǔn)BP算法的改進(jìn)－－引言誤差曲面的形狀－－固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點(diǎn)那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過(guò)程中，‘走’適宜的路徑，比方跳出平坦區(qū)來(lái)提高收斂速度，跳出局部最小點(diǎn)等等如何操作？需要在進(jìn)入平坦區(qū)或局部最小點(diǎn)時(shí)進(jìn)行一些判斷，通過(guò)改變某些參數(shù)來(lái)使得權(quán)值的調(diào)整更為合理。編輯課件標(biāo)準(zhǔn)的BP算法內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；⑷訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。編輯課件3.5標(biāo)準(zhǔn)BP算法的改進(jìn)改進(jìn)1：增加動(dòng)量項(xiàng)改進(jìn)2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率改進(jìn)3：引入陡度因子編輯課件改進(jìn)1：增加動(dòng)量項(xiàng)提出的原因：標(biāo)準(zhǔn)BP算法只按t時(shí)刻誤差的梯度降方向調(diào)整，而沒(méi)有考慮t時(shí)刻以前的梯度方向－－－從而常使訓(xùn)練過(guò)程發(fā)生振蕩，收斂緩慢。方法：α為動(dòng)量系數(shù)，一般有α∈(0，1)編輯課件改進(jìn)1：增加動(dòng)量項(xiàng)實(shí)質(zhì)：從前一次權(quán)值調(diào)整量中取出一局部迭加到本次權(quán)值調(diào)整量中作用：動(dòng)量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)，對(duì)于t時(shí)刻的調(diào)整起阻尼作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時(shí)，可減小振蕩趨勢(shì)，提高訓(xùn)練速度。編輯課件改進(jìn)2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率提出的原因：標(biāo)準(zhǔn)BP算法中，學(xué)習(xí)率η也稱(chēng)為步長(zhǎng)，確定一個(gè)從始至終都適宜的最正確學(xué)習(xí)率很難。平坦區(qū)域內(nèi)，η太小會(huì)使訓(xùn)練次數(shù)增加；在誤差變化劇烈的區(qū)域，η太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較窄的“坑凹〞處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。編輯課件改進(jìn)2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率根本思想：自適應(yīng)改變學(xué)習(xí)率，使其根據(jù)環(huán)境變化增大或減小。根本方法：設(shè)一初始學(xué)習(xí)率，假設(shè)經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差↑，那么本次調(diào)整無(wú)效，且=β(β<1)；假設(shè)經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差↓，那么本次調(diào)整有效，且=θ(θ>1)。編輯課件改進(jìn)3：引入陡度因子提出的原因：誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元輸出進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。根本思想：如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的不飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。編輯課件改進(jìn)3：引入陡度因子根本方法：在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子λ當(dāng)發(fā)現(xiàn)ΔE接近零而d-o仍較大時(shí)，可判斷已進(jìn)入平坦區(qū)，此時(shí)令λ>1；當(dāng)退出平坦區(qū)后，再令λ=1。編輯課件改進(jìn)3：引入陡度因子作用分析：λ>1：net坐標(biāo)壓縮了λ倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長(zhǎng)，從而可使絕對(duì)值較大的net退出飽和值。λ=1：轉(zhuǎn)移函數(shù)恢復(fù)原狀，對(duì)絕對(duì)值較小的net具有較高的靈敏度。應(yīng)用結(jié)果說(shuō)明該方法對(duì)于提高BP算法的收斂速度十分有效。編輯課件總結(jié)基于BP算法的多層前饋網(wǎng)絡(luò)模型BP算法的實(shí)現(xiàn)根本思想推導(dǎo)過(guò)程程序?qū)崿F(xiàn)BP學(xué)習(xí)算法的功能BP學(xué)習(xí)算法的局限性BP學(xué)習(xí)算法的改進(jìn)編輯課件3.6BP網(wǎng)絡(luò)設(shè)計(jì)根底一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數(shù)據(jù)的歸一化三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試編輯課件1輸出量的選擇

輸出量:代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)系統(tǒng)的性能指標(biāo)分類(lèi)問(wèn)題的類(lèi)別歸屬非線性函數(shù)的函數(shù)值一、訓(xùn)練樣本集的準(zhǔn)備編輯課件輸入量的選擇輸入量選擇的兩條根本原那么必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小一、訓(xùn)練樣本集的準(zhǔn)備編輯課件輸入輸出量的性質(zhì)從輸入、輸出量的性質(zhì)來(lái)看，可分為兩類(lèi)：一類(lèi)是數(shù)值變量，一類(lèi)是語(yǔ)言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語(yǔ)言變量是用自然語(yǔ)言表示的概念，其“語(yǔ)言值〞是用自然語(yǔ)言表示的事物的各種屬性。中選用語(yǔ)言變量作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其語(yǔ)言值轉(zhuǎn)換為離散的數(shù)值量。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件2.輸入量的提取與表示XC=(111100111)T

XI=(111100111)T

XT=(111100111)T(1)文字符號(hào)輸入一、訓(xùn)練樣本集的準(zhǔn)備編輯課件〔2〕曲線輸入p=1,2,…,P一、訓(xùn)練樣本集的準(zhǔn)備編輯課件(3)函數(shù)自變量輸入一般有幾個(gè)輸入量就設(shè)幾個(gè)分量，1個(gè)輸入分量對(duì)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。(4)圖象輸入在這類(lèi)應(yīng)用中，一般先根據(jù)識(shí)別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的奉獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件3.輸出量的表示(1)“n中取1〞表示法“n中取1〞是令輸出向量的分量數(shù)等于類(lèi)別數(shù)，輸入樣本被判為哪一類(lèi)，對(duì)應(yīng)的輸出分量取1，其余n-1個(gè)分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個(gè)類(lèi)別。(2)“n-1〞表示法如果用n-1個(gè)全為0的輸出向量表示某個(gè)類(lèi)別，那么可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個(gè)類(lèi)別。(3)數(shù)值表示法

對(duì)于漸進(jìn)式的分類(lèi)，可以將語(yǔ)言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)際意義拉開(kāi)距離。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件二、輸入輸出數(shù)據(jù)的歸一化

歸一化也稱(chēng)為或標(biāo)準(zhǔn)化，是指通過(guò)變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。

進(jìn)行歸一化的主要原因：歸一化的方法：編輯課件進(jìn)行歸一化的主要原因：①網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；②BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對(duì)值過(guò)大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)；③Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或-1~1之間。教師信號(hào)如不進(jìn)行歸一化處理，勢(shì)必使數(shù)值大的輸出分量絕對(duì)誤差大，數(shù)值小的輸出分量絕對(duì)誤差小。二、輸入輸出數(shù)據(jù)的歸一化編輯課件歸一化的方法：將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數(shù)據(jù)，xmin代