前饋神經(jīng)網(wǎng)絡(luò)模型第1頁/共92頁前饋神經(jīng)網(wǎng)絡(luò)：由一層或多層非線性處理單元組成。相鄰層之間通過突觸權(quán)陣連接起來。由于前一層的輸出作為下一層的輸入，因此此類神經(jīng)網(wǎng)絡(luò)為前向神經(jīng)網(wǎng)絡(luò)。在前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中輸入輸出之間包含著一層或多層隱含層。前向神經(jīng)網(wǎng)絡(luò)可以看成是一種一組輸入模式到一組輸出模式的系統(tǒng)變換，這種變換通過對某一給定的輸入樣本相應(yīng)的輸出樣本集的訓(xùn)練而得到，為了實現(xiàn)這一行為，網(wǎng)絡(luò)的權(quán)系數(shù)在某種學(xué)習(xí)規(guī)則下進(jìn)行自適應(yīng)學(xué)習(xí)，也就是有導(dǎo)師指導(dǎo)學(xué)習(xí)。第2頁/共92頁內(nèi)容提要感知器多層感知器自適應(yīng)線性元模型BP算法第3頁/共92頁第一節(jié)感知器第4頁/共92頁線性閾值單元線性閾值單元是前向網(wǎng)絡(luò)（又稱前饋網(wǎng)絡(luò)）中最基本的計算單元，它具有n個輸入（x1,x2,…,xn），一個輸出y，n個連接權(quán)值（w1,w2,…,wn），且xiwiy?第5頁/共92頁感知器簡介1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。感知器研究中首次提出了自組織、自學(xué)習(xí)的思想，而且對所能解決的問題存在著收斂算法，并能從數(shù)學(xué)上嚴(yán)格證明，因而對神經(jīng)網(wǎng)絡(luò)研究起了重要推動作用。感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，而且較易學(xué)習(xí)和理解，適合于作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點。

第6頁/共92頁感知器模型結(jié)構(gòu)感知器的模型結(jié)構(gòu)如圖所示。感知器是指只有一層處理單元的感知器，如果包括輸入層在內(nèi)，應(yīng)為兩層。圖中輸入層也稱為感知層，有n個神經(jīng)元節(jié)點，這些節(jié)點只負(fù)責(zé)引入外部信息，自身無信息處理能力，每個節(jié)點接收一個輸入信號，n個輸入信號構(gòu)成輸入列向量X。輸出層也稱為處理層，有m個神經(jīng)元節(jié)點，每個節(jié)點均具有信息處理能力，m個節(jié)點向外部輸出處理信息，構(gòu)成輸出列向量O。兩層之間的連接權(quán)值用權(quán)值列向量Wj表示，m個權(quán)向量構(gòu)成單層感知器的權(quán)值矩陣W。3個列向量分別表示為：第7頁/共92頁感知器模型結(jié)構(gòu)

j=1,2,…,m

第8頁/共92頁感知器模型結(jié)構(gòu)

第9頁/共92頁感知器的功能

一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。第10頁/共92頁感知器的功能

(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x2第11頁/共92頁感知器的功能

w1jx1+w2jx2–Tj=0 w1jx1=Tj-w2jx2 x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j

=a

x2+c

第12頁/共92頁感知器的功能

(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程w1jx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個分界平面。x2ojx1x3-1第13頁/共92頁感知器的功能

w1jx1+w2jx2+w3j

x3–Tj=0

x1=a

x2+b

x3+c

第14頁/共92頁感知器的功能

(3)設(shè)輸入向量X=(x1，x2,…，xn)T則由方程w1jx1+w2jx2+…+wnj

–Tj=0(3.6)確定了n維空間上的一個分界平面。輸出：w1jx1+w2jx2+…+wnj

–Tj=0(3.5)第15頁/共92頁例一用感知器實現(xiàn)邏輯“與”功能

x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表第16頁/共92頁例一用感知器實現(xiàn)邏輯“與”功能

感知器結(jié)構(gòu)wix1+w2x2-T=0

0.5x1+0.5x2-0.75=0第17頁/共92頁例二用感知器實現(xiàn)邏輯“或”功能

x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表第18頁/共92頁例二用感知器實現(xiàn)邏輯“或”功能

感知器結(jié)構(gòu)wix1+w2x2-T=0

x1+x2-0.5=0第19頁/共92頁思考

分界線的方程是什么？感知器的模型如何表示？數(shù)學(xué)表達(dá)式？第20頁/共92頁感知器的局限性

Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個超平面將它們分開，那么感知器的學(xué)習(xí)過程就一定會收斂。否則判定邊界就會振蕩不休，永遠(yuǎn)不會穩(wěn)定，這也正是單層感知器所無法克服的缺陷，所以它連最簡單的異或（XOR）問題也解決不了。“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第21頁/共92頁感知器的局限性

關(guān)鍵問題就是求第22頁/共92頁感知器的學(xué)習(xí)

式中，當(dāng)實際輸出與期望值相同時，權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。第23頁/共92頁感知器的學(xué)習(xí)規(guī)則

感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

dp為期望的輸出向量（教師信號），上標(biāo)p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,┄,P；第24頁/共92頁感知器的學(xué)習(xí)規(guī)則

(3)計算各節(jié)點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中η為學(xué)習(xí)率，用于控制調(diào)整速度，太大會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。第25頁/共92頁第26頁/共92頁第27頁/共92頁第28頁/共92頁第29頁/共92頁第30頁/共92頁感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟

1.初始化：權(quán)值初始化為一個較小的隨機非零值。2.將一模式送入輸入神經(jīng)元，并給出理想輸出值。3.計算神經(jīng)網(wǎng)絡(luò)模型的實際輸出：4.調(diào)節(jié)權(quán)值:5.轉(zhuǎn)2，直到這次迭代完所給定的所有輸入樣本。6.計算結(jié)束判據(jù)。條件符合，結(jié)束；否則轉(zhuǎn)2。第31頁/共92頁感知器的學(xué)習(xí)

例三單計算節(jié)點感知器，3個輸入。給定3對訓(xùn)練樣本對如下：X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量x0恒等于-1，權(quán)向量中第一個分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。第32頁/共92頁感知器的學(xué)習(xí)

解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第33頁/共92頁感知器的學(xué)習(xí)

第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。第34頁/共92頁感知器的學(xué)習(xí)

第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。第35頁/共92頁第二節(jié)多層感知器第36頁/共92頁多層感知器簡介多層感知器（MultilayerPerceptron）是一種在輸入層與輸出層之間含有一層或多層隱含神經(jīng)元的具有正向傳播機制的神經(jīng)網(wǎng)絡(luò)模型。多層感知器克服了單層感知器的許多局限，單層感知器只能實現(xiàn)線性可分問題和簡單布爾函數(shù)，多層感知器可以實現(xiàn)線性不可分問題和任意布爾函數(shù)。第37頁/共92頁多層感知器的結(jié)構(gòu)

輸入層隱含層輸出層第38頁/共92頁多層感知器的分類能力一個單層感知器構(gòu)成一個半平面判定區(qū)域，一個兩層感知器可以構(gòu)成任意無邊界的空間區(qū)域，這些判定區(qū)域有的是凸多邊形，有的是無邊界的凹區(qū)域。凸區(qū)域是多層感知器中第一層各個神經(jīng)元所構(gòu)成的半平面判定區(qū)域（即判定區(qū)域）相交而成。第39頁/共92頁多層感知器性能等價問題第一層中的神經(jīng)元就像一單層感知器，所形成的凸區(qū)域的邊數(shù)最多和第一層神經(jīng)元個數(shù)一樣多。一個三層感知機能夠形成任意復(fù)雜的判定區(qū)域，也能把那些相互滲透的區(qū)域分開。第40頁/共92頁例子一1、用單層感知器實現(xiàn)簡單邏輯運算。

(1)（與）等價于，即

(2)（或）等價于，即

(3)（非）等價于，即第41頁/共92頁例子二2、用兩層感知器實現(xiàn)異或運算。第42頁/共92頁例子三試用單個感知器神經(jīng)元完成下列分類，寫出其訓(xùn)練迭代過程，畫出最終的分類示意圖。x1w1yx2w2fn01第43頁/共92頁第三節(jié)自適應(yīng)線性元模型第44頁/共92頁自適應(yīng)線性元件于1961年由美國的Widrow教授提出。適用于信號處理中的自適應(yīng)濾波、預(yù)測和模式識別。第45頁/共92頁自適應(yīng)線性元模型結(jié)構(gòu)第46頁/共92頁自適應(yīng)線性元模型數(shù)學(xué)描述輸入該模型是一自適應(yīng)閾值邏輯單元。圖中x0，x1k，x2k，…，xnk為該自適應(yīng)線性元在t時刻的外部輸入，用向量表示為:Xk＝（x0，x1k，x2k，…，xnk）T這個向量稱為自適應(yīng)線性元的輸入信號向量或輸入模式向量。第47頁/共92頁自適應(yīng)線性元模型數(shù)學(xué)描述連接權(quán)值與輸入向量Xk相對應(yīng)有一權(quán)值向量:Wk=(w0k，w1k，w2k，…，wnk)T其中Wk每一元素與輸入向量

Xk中的每一元素相對應(yīng)。w0k為基權(quán)，稱為門限權(quán)，它用來調(diào)整自適應(yīng)線性元的閾值。第48頁/共92頁自適應(yīng)線性元模型數(shù)學(xué)描述輸出模擬輸出二值輸出第49頁/共92頁自適應(yīng)線性元模型數(shù)學(xué)描述理想輸出在圖中的自適應(yīng)線性元中有一特殊的輸入dk，即理想輸出。該輸出是用來將理想響應(yīng)信號送入自適應(yīng)線性元中，在自適應(yīng)線性元中通過比較yk和理想響應(yīng)dk，并將差值送入最小均方差(LMS)學(xué)習(xí)算法機制中來調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。第50頁/共92頁LMS學(xué)習(xí)過程（圖示）第51頁/共92頁與單層感知器的差別在于：輸出分為模擬和數(shù)字兩個部分。數(shù)字部分與感知器單元完全相同，可進(jìn)行線性分割模擬部分是作為誤差調(diào)節(jié)之用，對單個Adaline，其誤差為模擬輸出和要求響應(yīng)輸出差。第52頁/共92頁LMS學(xué)習(xí)過程（文字說明）樣本數(shù)i=0，連接權(quán)值隨機初始化一個較小的不等于0的值；提交第i個學(xué)習(xí)樣本；計算神經(jīng)網(wǎng)絡(luò)的輸出；計算實際輸出和理想輸出的誤差；按照權(quán)值修改規(guī)則修改神經(jīng)網(wǎng)絡(luò)權(quán)值；i++；i=N?；否，轉(zhuǎn)2。計算學(xué)習(xí)結(jié)束判據(jù)；學(xué)習(xí)結(jié)束否？達(dá)到要求學(xué)習(xí)結(jié)束，否則轉(zhuǎn)1。第53頁/共92頁LMS學(xué)習(xí)算法權(quán)值修改規(guī)則其中：為當(dāng)前的誤差（即理想輸出與模擬實際輸出之間的差值），稱為學(xué)習(xí)速度(LearningRate)。第54頁/共92頁ADALINE學(xué)習(xí)算法實質(zhì)分析

第55頁/共92頁

的取值

的選擇決定了學(xué)習(xí)算法收斂的穩(wěn)定性和收斂的速度。穩(wěn)定性要求：0<<2。但是過大可能會修正過度，一個比較好的選擇范圍是：0.1<<1第56頁/共92頁LMS算法的幾何解釋

第57頁/共92頁ADALINE模型計算能力分析若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個輸入，即則有2n個可能的輸入模式。在一般的邏輯實現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個輸入模式劃分成＋和－兩類。每一個自適應(yīng)線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應(yīng)線性元看成是一邏輯部件。第58頁/共92頁ADALINE模型計算能力分析每個自適應(yīng)線性元的功能也主要由各個權(quán)值所確定。每個自適應(yīng)線性元只能實現(xiàn)邏輯空間上的線性劃分。第59頁/共92頁ADALINE模型學(xué)習(xí)過程舉例網(wǎng)絡(luò)模型x1=1.2x2=2.7x0=1w1=0.344w2=1.1w0=1d=2.3y=4.57E=-2.27w0=0.870w1=0.5w2=0.749y=3.305E=-1.05第60頁/共92頁ADALINE模型的學(xué)習(xí)曲線結(jié)束判據(jù)總體誤差降低到某個預(yù)設(shè)的極小值；迭代了一定的次數(shù)。第61頁/共92頁第四節(jié)BP模型第62頁/共92頁感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和最小均方差（LMS）學(xué)習(xí)算法只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)，而單層神經(jīng)網(wǎng)絡(luò)只能解決線性可分的分類問題。多層神經(jīng)網(wǎng)絡(luò)可以用于非線性分類問題。但需要尋找訓(xùn)練多層網(wǎng)絡(luò)的學(xué)習(xí)算法。BP算法----適于多層網(wǎng)絡(luò)的學(xué)習(xí)算法。BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。80%~90%的人工神經(jīng)網(wǎng)絡(luò)采用BP網(wǎng)絡(luò)或者它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。第63頁/共92頁BP神經(jīng)元與其他神經(jīng)元類似，不同的是BP神經(jīng)元的傳輸函數(shù)為非線性函數(shù)，常用的有S型函數(shù)。BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，是一種多層前饋神經(jīng)網(wǎng)絡(luò)。第64頁/共92頁BP網(wǎng)絡(luò)的學(xué)習(xí)在確定了BP網(wǎng)絡(luò)的結(jié)構(gòu)以后，要通過輸入和輸出樣本集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，亦即對網(wǎng)絡(luò)的閾值和權(quán)值進(jìn)行學(xué)習(xí)和修正，以使網(wǎng)絡(luò)實現(xiàn)給定的輸入輸出映射關(guān)系。BP網(wǎng)絡(luò)學(xué)習(xí)分兩個階段:第一個階段是輸入已知學(xué)習(xí)樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)的第一層向后計算各神經(jīng)元的輸出第二個階段是對權(quán)和閾值進(jìn)行修改，從最后一層向前計算各權(quán)值和閾值對總誤差的影響（梯度），據(jù)此對各權(quán)值和閾值進(jìn)行修改。以上兩個過程反復(fù)交替，直到達(dá)到收斂為止。第65頁/共92頁由于誤差逐層往回傳遞，以修正層與層之間的權(quán)值和閾值，所以稱該算法為誤差反向傳播算法，這種誤差反傳學(xué)習(xí)算法可以推廣到有若干個中間層的多層網(wǎng)絡(luò)，因此該多層網(wǎng)絡(luò)常稱之為BP網(wǎng)絡(luò)。第66頁/共92頁BP學(xué)習(xí)算法概述BP算法的基本過程初始化階段前饋階段權(quán)值調(diào)整階段學(xué)習(xí)精度計算學(xué)習(xí)結(jié)束判斷第67頁/共92頁BP學(xué)習(xí)算法描述（初始化階段）對所有神經(jīng)元的閾值及連接權(quán)值取一個較小的非零隨機值。設(shè)一個較小的數(shù)作為學(xué)習(xí)期望達(dá)到的最終學(xué)習(xí)精度。該值作為學(xué)習(xí)過程的結(jié)束判斷條件。第68頁/共92頁BP學(xué)習(xí)算法描述（前饋階段）給定輸入樣本和理想輸出。對p

層的神經(jīng)元i，按下式計算p

層中神經(jīng)元i的活躍值，也即輸出到p+1層的輸出值。第69頁/共92頁BP學(xué)習(xí)算法描述（權(quán)值調(diào)整階段）利用下面公式，從輸出層開始向輸入層方向進(jìn)行權(quán)值調(diào)整：第70頁/共92頁權(quán)值調(diào)整中的誤差項求解輸出層誤差項求解隱含層誤差項求解實際輸出理想輸出第71頁/共92頁BP學(xué)習(xí)算法描述（權(quán)值調(diào)整）實際輸出理想輸出輸出層誤差項求解隱含層誤差項求解第72頁/共92頁神經(jīng)元閾值的修改若把層p中神經(jīng)元的閾值看成是層p-1中神經(jīng)元到某一個附加的常數(shù)輸入聯(lián)接權(quán)值，也可以按照類似的方法進(jìn)行該神經(jīng)元閾值的修改。實際輸出理想輸出第73頁/共92頁BP學(xué)習(xí)算法描述（計算累計誤差）按下式計算當(dāng)前學(xué)習(xí)樣本的誤差：實際輸出理想輸出第74頁/共92頁BP學(xué)習(xí)算法描述（結(jié)束條件判斷）在當(dāng)前迭代周期內(nèi)，樣本學(xué)習(xí)完否？沒有學(xué)習(xí)完，轉(zhuǎn)前饋階段；計算所有樣本的累積誤差：判

E<否？是，學(xué)習(xí)過程結(jié)束，否則轉(zhuǎn)前饋階段。第75頁/共92頁BP算法存在的問題（1）從數(shù)學(xué)上看它是一個非線性優(yōu)化問題，這就不可避免地存在有局部極小問題；（2）學(xué)習(xí)算法的收斂速度很慢，通常要幾千步迭代或更多；（3）網(wǎng)絡(luò)運行還是單向傳播，沒有反饋。目前的這種模型并不是一個非線性動力系統(tǒng)，而只是一個非線性映射；（4）網(wǎng)絡(luò)的隱節(jié)點個數(shù)選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗選取的；（5）對新加入的樣本要影響到已經(jīng)學(xué)完的樣本，刻畫每個輸入樣本的特征的數(shù)目也要求必須相同。第76頁/共92頁BP算法的改進(jìn)----變步長在BP算法中步長是不變的，這是因為E是一個十分復(fù)雜的非線性函數(shù)，很難通過最優(yōu)求極小的方法得到步長，同時如果每一步都要求計算輸出，則計算量變得很大。推薦一種步長調(diào)整的方法，如下第77頁/共92頁步長調(diào)整方法：先設(shè)一初始步長，若一次迭代后誤差函數(shù)E增大，則將步長乘以小于1的常數(shù)，沿原方向重新計算下一個迭代點，若一次迭代后誤差函數(shù)E減小，則將步長乘一個大于1的常數(shù)，這樣既不增加太多的計算量，又使步長得到合理的調(diào)整。第78頁/共92頁另外，有加入動量項的改進(jìn)方法，有加入因子的改進(jìn)算法。第79頁/共92頁BP網(wǎng)絡(luò)的設(shè)計考慮----輸入輸出層1、輸入輸出層的設(shè)計輸入輸出的維數(shù)完全根據(jù)使用者的要求來設(shè)計，若BP網(wǎng)絡(luò)用作分類器，其類別數(shù)為m個，那么輸出一般取m個神經(jīng)元，其訓(xùn)練樣本集中的x屬于第j類，要求輸出為即第j個輸出為1，其他輸出為0。第80頁/共92頁輸入的神經(jīng)單元可以根據(jù)需要求解的問題和數(shù)據(jù)表示的方式而定如果輸入的是電壓波形，那么輸入單元可根據(jù)電壓波形的采樣數(shù)值和采樣點數(shù)來決定輸入單元的維數(shù)，也可以用一個單元輸入，但輸入樣本為采樣的時間序列。若輸入為圖像，則輸入單元可以為圖像像素，也可為圖像處理后的圖像特征。即問題確定，輸入輸出單元層數(shù)確定。第81頁/共92頁BP網(wǎng)絡(luò)的設(shè)計考慮----隱層1989年，Robert證明了：對于任何在閉區(qū)間內(nèi)的一個連續(xù)的函數(shù)都可以用一個隱層的BP網(wǎng)絡(luò)來逼近，因而一個三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映射。第82頁/共92頁BP網(wǎng)絡(luò)的設(shè)計考慮----隱單元數(shù)的選擇隱單元數(shù)的選擇是一個復(fù)雜的問題，沒有很好的解析式表示，可