7/7/2023中南大學智能所17/7/2023中南大學智能所2神經網絡理論基礎

人腦人的思維由腦完成人腦約由10^11～10^12個神經元組成，每個神經元約與10^4～10^5個神經元聯接，能接受并處理信息。因此，人腦是復雜的信息并行加工處理巨系統。人腦可通過自組織、自學習，不斷適應外界環境的變化。其自組織、自學習性來源于神經網絡結構的可塑性，主要反映在神經元之間聯接強度的可變性上。7/7/2023中南大學智能所3人工神經網絡人工神經網絡是從微觀結構與功能上模擬人腦神經系統而建立的一類模型，是模擬人的智能的一條途徑。人工神經網絡信息處理由人工神經元間的相互作用來實現，由聯接權來傳遞，具有學習能力、自適應性、聯接強度的可變性。7/7/2023中南大學智能所4神經網絡的分類

神經網絡的不同分類：

1.

按性能分：連續型與離散型；確定型與隨機型；靜態與動態網絡

2.

按聯接方式分：前饋型與反饋型

3.按逼近特性分：全局逼近型與局部逼近型

4.按學習方式分：有導師的學習；無導師的學習；再勵學習三種從總的方面講，一般將神經網絡分為：前饋、反饋、自組織與隨機型四種7/7/2023中南大學智能所5本章的主要內容1.介紹模擬生物神經元的人工神經元模型2.闡述控制中常用的前饋型與反饋型網絡的理論基礎闡述其中若干種網絡的模型、學習算法、逼近非線性函數的能力、泛化能力、收斂性等7/7/2023中南大學智能所6神經網絡理論基礎引言生物神經元與人工神經元模型感知器多層前饋網絡與BP學習算法自適應線性神經元徑向基函數神經網絡小腦模型神經網絡

PID神經網絡全遞歸型神經網絡局部遞歸型神經網絡連續型Hopfeld網絡小結7/7/2023中南大學智能所72-1引言

人腦神經系統

人的思維是由腦完成的；神經元是組成人腦的最基本單元，能夠接受并處理信息；人腦是一個復雜的信息并行加工處理巨系統；

大腦的自組織、自學習性大腦的自組織、自學習性，來源于神經網絡結構的可塑性，主要反映在神經元之間連接強度的可變性上；大腦可通過自組織、自學習，不斷適應外界環境的變化。7/7/2023中南大學智能所8

人工神經網絡或稱連接機制

從微觀結構與功能上對人腦神經系統的模擬而建立起來的一類模型；具有模擬人的部分形象思維的能力，主要是非線性特性、學習能力和自適應性，是模擬人的智能的一條途徑；由簡單信息處理單元（神經元）互連組成的網絡；能接受、處理信息，信息處理由神經元間的相互作用來實現，通過把問題表達成神經元間的連接權來處理。人工神經網絡是對人腦的模擬7/7/2023中南大學智能所9

神經網絡是人腦的抽象、簡化和模擬，反映了人腦功能的若干基本特征：（1）網絡的信息處理，由神經元間的相互作用實現，具有并行處理的特點；（2）知識與信息的存儲，表現為神經元間分布式的物理聯系；（3）網絡的學習和識別，決定于神經元連接權系的動態演化過程；（4）具有聯想記憶特性。7/7/2023中南大學智能所10

神經網絡的數理模型

基本運算可歸結為四種：

（1）積與和

（2）權值學習（3）閾值處理（4）非線性函數處理

神經網絡的工作方式

兩個階段組成：

（1）學習期：神經元間的連接權值，可由學習規則進行調整，以使目標（準則）函數達最小

（2）工作期：連接權值不變，由網絡的輸入，得到相應的輸出7/7/2023中南大學智能所11神經網絡的不同分類

（1）按性能：連續型與離散型確定型與隨機型靜態與動態網絡（2）按連接方式：前饋（前向）型與反饋型

（3）按逼近特性：全局逼近型與局部逼近型（4）按學習方式：有導師的學習（監督學習）無導師的學習（無監督學習）再勵學習（強化學習）

它們都是模擬人適應環境的學習過程的一種機器學習模型，因此，具有學習能力的系統，稱：

學習系統（學習機）7/7/2023中南大學智能所12有導師的學習（監督學習）

在學習過程中，網絡根據實際輸出與期望輸出的比較，進行連接權系的調整，將期望輸出稱導師信號是評價學習的標準（見圖）。期望輸出實際輸出學習機輸入NN比較7/7/2023中南大學智能所13無導師的學習

（無監督、或稱自組織)

無導師信號提供給網絡，網絡能根據其特有的結構和學習規則，進行連接權系的調整，此時，網絡的學習評價標準隱含于其內部（見圖）。實際輸出學習機輸入NN自我比較7/7/2023中南大學智能所14再勵學習（強化學習）

把學習看為試探評價過程：（1）學習機選擇一動作作用于環境；（2）環境的狀態改變，并產生再勵信號re反饋至學習機；（3）學習機依據再勵信號與環境當前的狀態，再選擇下一動作作用于環境，選擇的原則是使受到獎勵的可能性增大（見圖）。狀態輸入NN1NN2

學習機輸出---動作

環境re7/7/2023中南大學智能所152-2生物神經元與人工神經元模型

生物神經元是構成神經系統的基本功能單元。雖其形態有很大的差異，但基本結構相似。本節從信息處理和生物控制角度，簡述其結構和功能。

人工神經元模型簡稱神經元模型依據：生物神經元的結構和功能；模擬：生物神經元的基本特征，建立的多種神經元模型。7/7/2023中南大學智能所162-2-1

生物神經元

1.神經元結構（1）細胞體：由細胞核、細胞質和細胞膜等組成。（2）樹突：胞體上短而多分枝的突起。相當于神經元的輸入端，接收傳入的神經沖動。（3）軸突：胞體上最長枝的突起，也稱神經纖維。端部有很多神經末稍傳出神經沖動。（4）突觸：神經元間的連接接口，每個神經元約有1萬～10萬個突觸。神經元通過其軸突的神經末稍，經突觸與另一神經元的樹突連接，實現信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經元間連接的柔性，稱為結構的可塑性。（5）細胞膜電位：神經細胞在受到電的、化學的、機械的刺激后，能產生興奮，此時，細胞膜內外有電位差，稱膜電位。電位膜內為正，膜外為負。7/7/2023中南大學智能所17

2.神經元功能

（1）興奮與抑制：當傳入神經元的沖動，經整和，使細胞膜電位升高，超過動作電位的閾值時，為興奮狀態，產生神經沖動，由軸突經神經末稍傳出。當傳入神經元的沖動，經整和，使細胞膜電位降低，低于閾值時，為抑制狀態，不產生神經沖動。（2）學習與遺忘：由于神經元結構的可塑性，突觸的傳遞作用可增強與減弱，因此，神經元具有學習與遺忘的功能。7/7/2023中南大學智能所182-2-2MP模型

圖2-2-2MP神經元模型（a）7/7/2023中南大學智能所19MP模型另一式：7/7/2023中南大學智能所202-2-3

多種作用函數

不同的作用函數，可構成不同的神經元模型。

見例2-2-1M7/7/2023中南大學智能所21figure(1);subplot(221),plot(x,y1,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('y1=f(x)');title('正線性函數');axis([-22-22]);subplot(222),plot(x,y2,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('y2=f(x)');title('線性函數');axis([-22-22]);subplot(223),plot(x,yy1,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('yy1');xlabel('x');title('正線性函數導數');axis([-22-1.51.5]);subplot(224),plot(x,yy2,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('yy2');xlabel('x');title('線性函數導數');axis([-22-1.51.5]),pausex=-5:0.01:5;y1=poslin(x);%正線性函數yy1=dposlin(x,y1);%導數y2=purelin(x);%線性函數yy2=dpurelin(x,y2);%導數x1=[-22];x2=[00];x3=[-55];y01=[00];y02=[-22];7/7/2023中南大學智能所22figure(2);subplot(221),plot(x,y3,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('y3=f(x)');title('飽和線性函數');axis([-22-22]);subplot(222),plot(x,y4,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('y4=f(x)');title('對稱飽和線性函數');axis([-22-22]);subplot(223),plot(x,yy3,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('yy3');xlabel('x');title('飽和線性函數導數');axis([-22-1.51.5]);subplot(224),plot(x,yy4,'r','linewidth',2);line(x1,y01);line(x2,y02);ylabel('yy4');xlabel('x');title('對稱飽和線性函數導數');axis([-22-1.51.5]),pausey3=satlin(x);%飽和線性函數yy3=dsatlin(x,y3);%導數y4=satlins(x);%對稱飽和線性函數yy4=dsatlins(x,y4);%導數7/7/2023中南大學智能所23y5=hardlim(x);%非對稱階躍函數yy5=dhardlim(x,y5);%導數y6=hardlims(x);%對稱階躍函數yy6=dhardlim(x,y6);%導數figure(3);subplot(221),plot(x,y5,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y5=f(x)');title('非對稱階躍函數');axis([-55-1.51.5]);subplot(222),plot(x,y6,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y6=f(x)');title('對稱階躍函數');axis([-55-1.51.5]);subplot(223),plot(x,yy5,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy5');xlabel('x');title('非對稱階躍函數導數');axis([-55-1.51.5]);subplot(224),plot(x,yy6,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy6');xlabel('x');title('對稱階躍函數導數');axis([-55-1.51.5]),pause7/7/2023中南大學智能所24%---神經元的7~8個作用函數y7=logsig(x);;%非對稱Sigmoid函數yy7=dlogsig(x,y7);%導數y8=tansig(x);%對稱Sigmoid函數yy8=dtansig(x,y8);%導數figure(4);subplot(221),plot(x,y7,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y7=f(x)');title('非對稱Sigmoid函數');axis([-55-1.51.5]);subplot(222),plot(x,y8,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y8=f(x)');title('對稱Sigmoid函數');axis([-55-1.51.5]);subplot(223),plot(x,yy7,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy7');xlabel('x');title('非對稱Sigmoid函數導數');axis([-55-1.51.5]);subplot(224),plot(x,yy8,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy8');xlabel('x');title('對稱Sigmoid函數導數');axis([-55-1.51.5]),pause7/7/2023中南大學智能所25%---神經元的9~10個作用函數+導數

y9=radbas(x);%RBF函數yy9=dradbas(x,y9);%導數y10=tribas(x);%三角基函數yy10=dtribas(x,y10);%導數figure(5);subplot(221),plot(x,y9,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y9=f(x)');title('高斯RBF函數');axis([-55-1.51.5]);subplot(222),plot(x,y10,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('y10=f(x)');title('三角基函數');axis([-55-1.51.5]);subplot(223),plot(x,yy9,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy9');xlabel('x');title('高斯RBF函數導數');axis([-55-1.51.5]);subplot(224),plot(x,yy10,'r','linewidth',2);line(x3,y01);line(x2,y02);ylabel('yy10');xlabel('x');title('三角基函數導數');axis([-55-1.51.5]),pause7/7/2023中南大學智能所262-2-4Hebb學習規則

學習過程就是調整權值的過程。神經元連接強度的變化與連個相互連接神經元的激活水平成正比7/7/2023中南大學智能所272-2-4Hebb學習規則Hebb學習法以下四個特征：連接強度的變化與相鄰兩個神經元的輸出乘積成正比，只要知道相連接神經元的輸出，就能獲得連接強度的變化；學習過程僅體現在信號前饋傳送過程中，無反饋現象存在；一種無導師學習，無須知道目標輸出是什么；如果相連接兩個神經元的輸出正負始終一致，將使連接強度無約束增長，為了防止這一現象，需要預設連接強度飽和值。7/7/2023中南大學智能所28演示例2-2-1M

神經元的十種作用函數及導數

7/7/2023中南大學智能所292-3

感知器人的視覺是重要的感覺器官，人通過視覺接受的信息占全部信息量的80~85%。感知器是模擬人的視覺，接受環境信息，并由神經沖動進行信息傳遞的神經網絡。感知器分單層與多層，是具有學習能力的神經網絡。7/7/2023中南大學智能所302-3-1

單層感知器

單神經元感知器

圖2-3-1單層感知器（單神經元）——非對稱型階躍函數。7/7/2023中南大學智能所31單層感知器模型

感知器模型與MP模型的不同之處是假定神經元的突觸權值是可變的，這樣就可以進行學習。7/7/2023中南大學智能所32單層感知器模型使用單層感知器的目的就是讓其對外部輸入x1,x2,…,xm進行識別分類，單層感知器可將外部輸入分為兩類l1和l2。判別邊界7/7/2023中南大學智能所332.1.2單層感知器的學習算法

單層感知器對權值向量的學習算法是基于迭代的思想，通常是采用糾錯學習規則的學習算法。為方便起見，將偏差b作為神經元突觸權值向量的第一個分量加到權值向量中去，那么對應的輸入向量也應增加一項，可設輸入向量的第一個分量固定為+1，這樣輸入向量和權值向量可分別寫成如下的形式：

7/7/2023中南大學智能所34單層感知器的學習算法其中的變量n表示迭代次數，其中的b(n)可用w0(n)表示，則二值閾值元件的輸入可重新寫為：令上式等于零，即可得在m維信號空間的單層感知器的判決超平面。

7/7/2023中南大學智能所35單層感知器的學習算法第一步：設置變量和參量：

X(n)=[1,x1(n),x2(n),…,xm(n)]為輸入向量，或稱訓練樣本；

W(n)=[b(n),w1(n),w2(n),…,wm(n)]為權值向量；

b(n)為偏差；y(n)為實際輸出；

d(n)為期望輸出；η為學習速率；n為迭代次數。7/7/2023中南大學智能所36單層感知器的學習算法第二步：初始化，賦給Wj(0)各一個較小的隨機非零值，

n=0；第三步：對于一組輸入樣本X(n)=[1,x1(n),x2(n),…,xm(n)]，指定它的期望輸出（亦稱之為導師信號）。第四步：計算實際輸出：

7/7/2023中南大學智能所37單層感知器的學習算法第五步：調整感知器的權值向量：

第六步：判斷是否滿足條件，若滿足算法結束，若不滿足將n值增加1，轉到第三步重新執行。7/7/2023中南大學智能所38對于線性可分的兩類模式，單層感知器的學習算法是收斂的。

對于線性不可分的兩類模式，無法用一條直線區分兩類模式，單層感知器的學習算法不收斂。即單層感知器無法正確區分線性不可分的兩類模式。7/7/2023中南大學智能所39“與”b>w1x1x2

x1x2Y=w1·x1＋w2·x2－b=0條件000Y=w1·0＋w2·0－b<0b>0010Y=w1·0＋w2·1－b<0b>w2100Y=w1·1＋w2·0－b<0111Y=w1·1＋w2·1－b≥0b≤w1＋w2可解。比如取w1=1，w2=1，b=1.5。

7/7/2023中南大學智能所40“與”運算圖示，線性可分，可以實現7/7/2023中南大學智能所41“異或”運算圖示，線性不可分，不可以實現？7/7/2023中南大學智能所42基本學習算法步驟：基于迭代的思想，通常采用糾錯學習規則的學習算法

7/7/2023中南大學智能所43

改進學習算法向量式：

目的：使奇異樣本與非奇異樣本對權值調整量的影響均衡。基本學習算法向量式：

7/7/2023中南大學智能所44單神經元感知器

用于兩類模式分類時相當于在高維樣本空間中，用一個超平面將兩類樣本分開。已證明若輸入的兩類模式是線性可分集合（指存在一個超平面能將其分開），則算法一定收斂。局限性若輸入模式為線性不可分集合，感知器的學習算法不收斂，不能進行正確分類。7/7/2023中南大學智能所452.單層多神經元感知器單層多神經元感知器權系調整算法改進的權系調整算法7/7/2023中南大學智能所46單層感知器（單、多神經元）局限性若輸入模式為線性不可分集合，感知器的學習算法不收斂，不能進行正確分類。7/7/2023中南大學智能所47例2-3-1線性可分集合7/7/2023中南大學智能所48（2）三維空間上的兩類模式，見表。

7/7/2023中南大學智能所49

（3）可引申到n>3維空間上的線性可分集合，一定可找到一超平面，將輸入模式分為兩類。由n輸入/單輸出的單層感知器實現。

例2-3-2

線性不可分集合。

二維平面上的兩類模式——異或（XOR）問題，見表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見圖。可見：單層感知器不能解決異或問題。7/7/2023中南大學智能所50單層感知器的MATLAB實現P=[-0.4-0.50.6;0.900.1];%給定訓練樣本數據T=[110];%給定樣本數據所對應的類別，用1和0來表示兩種類別%創建一個有兩個輸入、樣本數據的取值范圍都在[-1，1]之間，并且%網絡只有一個神經元的感知器神經網絡net=newp([-11;-11],1); net.trainParam.epochs=20;%設置網絡的最大訓練次數為20次net=train(net,P,T);%使用訓練函數對創建的網絡進行訓練Y=sim(net,P)%對訓練后的網絡進行仿真E1=mae(Y-T)%計算網絡的平均絕對誤差，表示網絡錯誤分類Q=[0.60.9-0.1;-0.1-0.50.5];%檢測訓練好的神經網絡的性能Y1=sim(net,Q)%對網絡進行仿真，仿真輸出即為分類的結果figure;%創建一個新的繪圖窗口plotpv(Q,Y1);%在坐標圖中繪制測試數據plotpc(net.iw{1},net.b{1})%在坐標圖中繪制分類線7/7/2023中南大學智能所51單層感知器的MATLAB實現例2-1運行后在命令行窗口中得到的結果如下：>>TRAINC,Epoch0/20%使用TRAINC作為神經網絡的訓練函數，第0次訓練，%最大訓練次數為20TRAINC,Epoch3/20%達到目標誤差要求，結束訓練TRAINC,Performancegoalmet.Y=110E1=0Y1=0017/7/2023中南大學智能所52單層感知器的MATLAB實現例2-1訓練誤差曲線7/7/2023中南大學智能所53單層感知器的MATLAB實現例2-1訓練后的分類線7/7/2023中南大學智能所54演示例2-3-3M

構建單層感知器7/7/2023中南大學智能所55演示例2-3-4M

單層感知器的學習7/7/2023中南大學智能所56演示例2-3-5M

單層感知器用于模式分類7/7/2023中南大學智能所572-3-2多層感知器7/7/2023中南大學智能所58

三層感知器解決異或（XOR）問題u1u2z1z2y000100111110111011007/7/2023中南大學智能所59

三層感知器可識別任一凸多邊形或無界的凸區域。

更多層感知器網絡，可識別更為復雜的圖形。

7/7/2023中南大學智能所60多層感知器同單層感知器相比具有4個明顯特點：多層感知器含有一層或多層隱單元多層感知器中每個神經元的激活函數采用可微的函數多層感知器的多個突觸使得網絡更具連通性，連接域的變化及連接權值變化都會引起連通性的變化多層感知器具有獨特的學習算法，該算法就是著名的BP算法。7/7/2023中南大學智能所61

自適應線性神經元結構如圖2-4-1所示作用函數：線性學習算法：規則2-4

線性神經網絡2-4-1自適應線性神經元adaptivelinearelement,adaline圖2-4-1自適應線性神經元e

LMS算法-dyuW+u0=17/7/2023中南大學智能所62自適應線性元件神經元i的輸入信號向量：突觸權值向量：w0i常接有單位輸入，用以控制閾值電平。模擬輸出：二值輸出：7/7/2023中南大學智能所63自適應線性元件

假定只有兩個輸入x1和x2，則自適應線性元件的模擬輸出為：

調整臨界閾值條件，可令模擬輸出為零，即

該方程為直線方程，即單個自適應線性元件實現線性可分函數。7/7/2023中南大學智能所64自適應線性元件的線性可分性圖示7/7/2023中南大學智能所65自適應非線性元件之一,對神經元施加非線性輸入函數。令y=0

上式為曲線方程，即通過選擇W，可實現非線性函數

7/7/2023中南大學智能所66自適應非線性元件的非線性可分性

7/7/2023中南大學智能所67自適應非線性元件之二，由多個自適應線性元件和AND邏輯器件構成。其原理是實現多個線性函數，對線性不可分區域進行劃分。

MADALINES網絡7/7/2023中南大學智能所687/7/2023中南大學智能所692.3LMS學習算法

感知器和自適應線性元件在歷史上幾乎是同時提出的，并且兩者在對權值的調整的算法非常相似，它們都是基于糾錯學習規則的學習算法。感知器算法存在如下問題：（1）不能推廣到一般的前向網絡中去；（2）函數不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS算法，由于其容易實現而很快得到了廣泛的應用，成為自適應濾波的標準算法。7/7/2023中南大學智能所70LMS學習算法設e(n)為在時刻n時的誤差信號，E(W)為代價函數：對上式兩邊求關于權值向量W的導數可得：

7/7/2023中南大學智能所71為使誤差盡快減小，令權值沿著誤差函數負梯度方向改變，即：7/7/2023中南大學智能所72LMS算法

第一步：設置變量和參量：

X(n)=[1,x1(n),x2(n),…,xm(n)]為輸入向量，或稱訓練樣本；

W(n)=[b(n),w1(n),w2(n),…,wm(n)]為權值向量；

b(n)為偏差；y(n)為實際輸出；d(n)為期望輸出；

η為學習速率；n為迭代次數。第二步：初始化，賦給Wj(0)各一個較小的隨機非零值，

n=0；7/7/2023中南大學智能所73LMS算法（續）第三步：對于一組輸入樣本X(n)=[1,x1(n),x2(n),…,xm(n)]和對應的期望輸出，計算：第四步：判斷是否滿足條件，若滿足算法結束，若不滿足將n值增加1，轉到第三步重新執行。

7/7/2023中南大學智能所74以迭代次數n為橫坐標，以誤差信號的均方差E(n)為縱坐標，畫出學習曲線，從學習曲線的單調性來判定LMS算法是否收斂。標準的LMS算法學習曲線7/7/2023中南大學智能所752-4-2線性神經網絡線性神經網絡網絡輸出：權系調整算法：7/7/2023中南大學智能所76演示例2-4-1M

構建線性神經網絡7/7/2023中南大學智能所77演示例2-4-2M

自適應線性神經元的應用

——逼近線性函數7/7/2023中南大學智能所78%m242.m線性神經元應用：函數(L2)逼近u=[12345];%已知期望輸入d=[2.04.35.78.29.5];%輸出net=newlind(u,d);%設計線性神經元y=sim(net,u);%仿真:由輸入u,求神經元輸出yfigure(1);plot(u,d,'b*');ylabel('d');xlabel('u');text(2,9,'d/u(*)已知期望輸入、輸出'),pausefigure(2);plot(u,d,'b*',u,y,'r+');ylabel('dy');xlabel('u');text(2,9,'d/u(*)已知期望輸入、輸出');text(3,3,'y/u(+)線性神經元輸入、輸出'),pausefigure(3);plot(u,d,'b*',u,y,'r+',u,y,'r--');ylabel('dy');xlabel('u');text(2,9,'d/u(*)已知期望輸入、輸出');text(3,3,'y/u(+)線性神經元輸入、輸出'),pausew=net.iw{1,1}%觀測權值、閾值b=net.b{1}w=-2:0.2:2;b=-2:0.2:2;es=errsurf(u,d,w,b,'purelin');figure(4);plotes(w,b,es),text(-4.3,2.2,'誤差曲面及等高線');7/7/2023中南大學智能所797/7/2023中南大學智能所80設計一個線性神經網絡，尋找給定數據之間的線性關系。P=[1.1,-1.3;3.3,4.5];T=[0.6,1;0.5,0.8]P=[1.1-1.3;3.34.5];T=[0.61;0.50.8];net=newlin(minmax(P),2,0,0.01);net=init(net);net.trainParam.epochs=500;net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P);E=mse(y-T);TRAINB,Epoch0/500,MSE0.5625/0.0001.TRAINB,Epoch25/500,MSE0.00074775/0.0001.TRAINB,Epoch50/500,MSE0.000182262/0.0001.TRAINB,Epoch61/500,MSE9.79374e-005/0.0001.TRAINB,Performancegoalmet.7/7/2023中南大學智能所812-5多層前饋網絡與BP學習算法

多層前饋網絡的反向傳播（BP）學習算法，簡稱BP算法，是有導師的學習，它是梯度下降法在多層前饋網中的應用。

2-5-1網絡結構

見圖，u、y是網絡的輸入、輸出向量，神經元用節點表示，網絡由輸入層、隱層和輸出層節點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節點通過權連接。由于用BP學習算法，所以常稱BP神經網絡。

BP神經網絡7/7/2023中南大學智能所822-5-2

BP學習算法已知網絡的輸入/輸出樣本，即導師信號。BP學習算法由正向傳播和反向傳播組成：正向傳播是輸入信號從輸入層經隱層，傳向輸出層，若輸出層得到了期望的輸出，則學習算法結束；否則，轉至反向傳播。反向傳播是將誤差(樣本輸出與網絡輸出之差）按原連接通路反向計算，由梯度下降法調整各層節點的權值和閾值，使誤差減小。正向傳播反向傳播BP神經網絡7/7/2023中南大學智能所83BP學習算法

反向傳播算法(Back-Propagationalgorithm,BP)BP學習過程：（1）工作信號正向傳播：輸入信號從輸入層經隱單元，傳向輸出層，在輸出端產生輸出信號，這是工作信號的正向傳播。在信號的向前傳遞過程中網絡的權值是固定不變的，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層不能得到期望的輸出，則轉入誤差信號反向傳播。7/7/2023中南大學智能所84BP學習算法（2）誤差信號反向傳播：網絡的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層向后傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網絡的權值由誤差反饋進行調節。通過權值的不斷修正使網絡的實際輸出更接近期望輸出。7/7/2023中南大學智能所85神經元的輸入用u表示，激勵輸出用v表示，u,v的上標表示層，下標表示層中的某個神經元，如表示I層（即第1隱層）的第i個神經元的輸入。設所有的神經元的激勵函數均用Sigmoid函數。設訓練樣本集為X=[X1,X2,…,Xk，…,XN]，對應任一訓練樣本:Xk=[xk1,xk2,…,kM]T，（k=1,2,…,N）的實際輸出為:Yk=[yk1,yk2,…,ykP]T，期望輸出為dk=[dk1,dk2,…,dkP]T。設n為迭代次數，權值和實際輸出是n的函數。BP學習算法7/7/2023中南大學智能所86下面以含有兩個隱含層的BP網絡為例，具體推導BP算法：7/7/2023中南大學智能所87工作信號的正向傳播過程：

7/7/2023中南大學智能所88輸出層第p個神經元的誤差信號為：

定義神經元p的誤差能量為：則輸出層所有神經元的誤差能量總和為：

7/7/2023中南大學智能所89誤差信號的反向傳播過程：

（1）隱層J與輸出層P之間的權值修正量

因為：7/7/2023中南大學智能所90設局部梯度：當激勵函數為S型函數時有：

7/7/2023中南大學智能所91可求得：信號的正向傳播過程求得學習步長7/7/2023中南大學智能所92（2）隱層I與隱層J之間的權值修正量：

設局部梯度為：

7/7/2023中南大學智能所937/7/2023中南大學智能所94（3）與隱層I和隱層J之間的權值修正量推導方法相同，輸入層M上任一節點與隱層I上任一節點之間權值的修正量為：其中：7/7/2023中南大學智能所95BP學習算法步驟

第一步：設置變量和參量第二步：初始化，賦給WMI(0),WIJ(0),WJP(0),各一個較小的隨機非零值第三步：隨機輸入樣本Xk，n=0。

第四步：對輸入樣本Xk，前向計算BP網絡每層神經元的輸入信號u和輸出信號v第五步：由期望輸出dk和上一步求得的實際輸出Yk(n)計算誤差E(n)，判斷其是否滿足要求，若滿足轉至第八步；不滿足轉至第六步。

7/7/2023中南大學智能所96BP學習算法步驟（續）第六步：判斷n+1是否大于最大迭代次數，若大于轉至第八步，若不大于，對輸入樣本Xk，反向計算每層神經元的局部梯度第七步：計算權值修正量，修正權值；n=n+1，轉至第四步第八步：判斷是否學完所有的訓練樣本，是則結束，否則轉至第三步。

7/7/2023中南大學智能所97演示梯度下降法7/7/2023中南大學智能所98

BP算法

演示7/7/2023中南大學智能所99BP學習，需要注意幾點：

①BP學習時權值的初始值是很重要的。初始值過大，過小都會影響學習速度，因此權值的初始值應選為均勻分布的小數經驗值，大概為（–2.4/F，2.4/F）之間（也有人建議在之間），其中F為所連單元的輸入端個數。另外，為避免每一步權值的調整方向是同向的（即權值同時增加或同時減少），應將初始權值設為隨機數。7/7/2023中南大學智能所100②神經元的激勵函數是Sigmoid函數，如果Sigmoid函數的漸進值為+α和–α，則期望輸出只能趨于+α和–α，而不能達到+α和–α。為避免學習算法不收斂，提高學習速度，應設期望輸出為相應的小數，如邏輯函數其漸進值為1和0，此時應設相應的期望輸出為0.99和0.01等小數，而不應設為1和0。7/7/2023中南大學智能所101③用BP算法訓練網絡時有兩種方式，一種是順序方式，即每輸入一個訓練樣本修改一次權值；以上給出的BP算法步驟就是按順序方式訓練網絡的。另一種是批處理方式，即待組成一個訓練周期的全部樣本都一次輸入網絡后，以總的平均誤差能量Eav為學習目標函數修正權值的訓練方式。ekp為網絡輸入第k個訓練樣本時輸出神經元p的誤差，N為訓練樣本的個數。

順序方式所需的臨時存儲空間較批處理方式小，其訓練速度也比批處理方式快，但順序方式誤差收斂條件難以建立。7/7/2023中南大學智能所102④BP學習中，學習步長η的選擇比較重要。η值大權值的變化就大，則BP學習的收斂速度就快，但是η值過大會引起振蕩即網絡不穩定；η小可以避免網絡不穩定，但是收斂速度就慢了。要解決這一矛盾最簡單的方法是加入“動量項”。⑤

要計算多層感知器的局部梯度δ，需要知道神經元的激勵函數的導數。

7/7/2023中南大學智能所103⑥在BP算法第五步需要判斷誤差E(n)是否滿足要求，這里的要求是：對順序方式，誤差小于我們設定的值ε，即|E(n)|<ε；對批處理方式，每個訓練周期的平均誤差Eav其變化量在0.1%到1%之間，我們就認為誤差滿足要求了。⑦

在分類問題中，我們會碰到屬于同一類的訓練樣本有幾組，在第一步設置變量時，一般使同一類的訓練樣本其期望輸出相同。

7/7/2023中南大學智能所104演示例2-5-1M

構建三層BP網絡7/7/2023中南大學智能所105例2-5-1M

構建三層BP網絡7/7/2023中南大學智能所106演示例2-5-2MBP網絡的BP學習算法7/7/2023中南大學智能所107演示例2-5-3

BP網絡的改進學習算法7/7/2023中南大學智能所108BP學習算法的改進

在實際應用中BP算法存在兩個重要問題：收斂速度慢，目標函數存在局部極小點。改善BP算法的一些主要的措施：（1）加入動量項

動量項，通常為正數動量項不僅可微調權值的修正量，也可學習避免陷入局部最小。7/7/2023中南大學智能所109(2)盡可能使用順序方式訓練網絡。順序方式訓練網絡要比批處理方式更快，特別是在訓練樣本集很大，而且具有重復樣本時，順序方式的這一優點更為突出。值得一提的是，使用順序方式訓練網絡以解決模式分類問題時，要求每一周期的訓練樣本其輸入順序是隨機的，這樣做是為了盡可能使連續輸入的樣本不屬于同一類。7/7/2023中南大學智能所110(3)選用反對稱函數作激勵函數。當激勵函數為反對稱函數（即f(–u)=–f(u)）時，BP算法的學習速度要快些。最常用的反對稱函數是雙曲正切函數：一般取，

7/7/2023中南大學智能所111(4)規一化輸入信號。當所有訓練樣本的輸入信號都為正值時，與第一隱層神經元相連的權值只能同時增加或同時減小，從而導致學習速度很慢。為避免出現這種情況，加快網絡的學習速度，可以對輸入信號進行歸一化，使得所有樣本的輸入信號其均值接近零或與其標準方差相比非常小。

7/7/2023中南大學智能所112(5)充分利用先驗信息。樣本訓練網絡的目的為了獲得未知的輸入輸出函數，學習就是找出樣本中含有的有關的信息，從而推斷出逼近的函數。在學習過程中可以利用的先驗知識例如方差、對稱性等有關的信息，從而加快學習速度、改善逼近效果。(6)調整學習步長η使網絡中各神經元的學習速度相差不多。一般說來輸出單元的局部梯度比輸入端的大，可使前者的步長η小些。還有，有較多輸入端的神經元其η比有較少輸入端的神經元其η小些。7/7/2023中南大學智能所113演示例2-5-4M

BP網絡逼近非線性函數7/7/2023中南大學智能所1147/7/2023中南大學智能所1152-6徑向基函數神經網絡徑向基函數（RBF）神經網絡，是具有單隱層的三層前饋網絡，結構見圖。由于它模擬了人腦中局部調整、相互覆蓋接收域的神經網絡結構，因此，是一種局部逼近網絡，已證明它能以任意精度逼近任一連續函數。

輸入層

隱層

輸出層

節點

節點

節點RBF神經網絡

uyq7/7/2023中南大學智能所1162-6-1網絡輸出計算

輸入層

隱層

輸出層

節點

節點

節點

RBF神經網絡

uyqi=1~s7/7/2023中南大學智能所1172-6-2網絡的學習算法

輸入層

隱層

輸出層

節點

節點

節點

RBF神經網絡

uyq7/7/2023中南大學智能所1181.無導師學習

對所有輸入樣本進行聚類，求得各隱層節點的RBF的中心。介紹用k--均值聚類算法調整中心。

輸入層

隱層

輸出層

節點

節點

節點圖2-6-1RBF神經網絡

uyq作用函數使隱節點對輸入信號的響應不同，輸入越接近中心，隱節點的輸出越大，輸出范圍為[0,1]7/7/2023中南大學智能所119

輸入層

隱層

輸出層

節點

節點

節點圖2-6-1RBF神經網絡

uyq7/7/2023中南大學智能所1202-6-3有關的幾個問題

RBF網與BP網的主要不同在于非線性映射上采用了不同的作用函數；徑向基函數，徑向函數有多種，最常用的就是高斯RBF；RBF網絡具有唯一最佳逼近特性，無局部極?。籖BF網絡隱節點的中心ci是個困難；隱節點的中心與標準化參數難求——難以推廣的原因。7/7/2023中南大學智能所121演示結構上看，RBF神經網絡屬于多層前向神經網絡。它是一種三層前向網絡，輸入層由信號源節點組成；第二層為隱含層，隱單元的個數由所描述的問題而定，隱單元的變換函數是對中心點徑向對稱且衰減的非負非線性函數；第三層為輸出層，它對輸入模式的作用做出響應。RBF網絡工作原理、學習算法RBF神經網絡的基本思想是：用徑向基函數（RBF）作為隱單元的“基”，構成隱含層空間，隱含層對輸入矢量進行變換，將低維的模式輸入數據變換到高維空間內，通過對隱單元輸出的加權求和得到輸出。7/7/2023中南大學智能所122例2-6-1

高斯徑向基函數（RBF）網絡。7/7/2023中南大學智能所123例2-6-2M

高斯徑向基函數（RBF）。一維高斯RBF（1）一維7/7/2023中南大學智能所124二維（橢圓情況）二維高斯RBF

（２）二維%----一維高斯RBFx=-10:1/5:10;R1=exp(-x.^2);R2=exp(-(x/3).^2);u=-10:1/5:10;R3=exp(-(u+5).^2);R4=exp(-((u-2)/3).^2);%----二維高斯RBF[u1,u2]=meshgrid(-10:0.5:10);z=exp(-((u1/2).^2+((u2-2)/4).^2));figure(1);subplot(221),plot(x,R1,'r',x,R2,'b');ylabel('R1R2(變量x)');xlabel('x');title('一維');subplot(222),plot(u,R3,'r',u,R4,'b');ylabel('R3R4(變量u)');xlabel('u');title('一維');subplot(223);d=mesh(u1,u2,z);holdon;xlabel('u1');ylabel('u2');zlabel('R');grid;title('二維');gridoffsubplot(224);contour(u1,u2,z);xlabel('u1');ylabel('u2');title('二維');,pause7/7/2023中南大學智能所125RBF神經網絡模型

根據隱單元的個數，RBF網絡有兩種模型：正規化網絡（RegularizationNetwork）和廣義網絡（GeneralizedNetwork）。（1）正規化網絡正規化網絡的隱單元就是訓練樣本，所以正規化網絡其隠單元的個數與訓練樣本的個數相同。

7/7/2023中南大學智能所126當網絡輸入訓練樣本Xk時，網絡第j個輸出神經元的實際輸出為：一般“基函數”選為格林函數記為：當格林函數G(Xk,Xi)為高斯函數時：

正規化網絡是一個通用逼近器，只要隱單元足夠多，它就可以逼近任意M元連續函數。7/7/2023中南大學智能所127廣義網絡正規化網絡的訓練樣本Xi與“基函數”φ(Xk,Xi)是一一對應的，當N很大時，網絡的實現復雜，且在求解網絡的權值時容易產生病態問題（illconditioning）。解決這一問題的方法是減少隱層神經元的個數。

隱層個數小于訓練樣本數7/7/2023中南大學智能所128當網絡輸入訓練樣本Xk時，網絡第j個輸出神經元的實際輸出為：

當“基函數”為高斯函數時：

高斯函數中心7/7/2023中南大學智能所1293.3.2RBF網絡的學習算法

RBF網絡要學習的參數有三個：中心、方差和權值。根據徑向基函數中心選取方法的不同，RBF網絡有多種學習方法，其中最常用的四種學習方法有：隨機選取中心法，自組織選取中心法，有監督選取中心法和正交最小二乘法。自組織選取中心法由兩個階段構成：①自組織學習階段，即學習隱層基函數的中心與方差的階段。②有監督學習階段，即學習輸出層權值的階段。7/7/2023中南大學智能所130（1）學習中心自組織學習過程要用到聚類算法，常用的聚類算法是K—均值聚類算法。假設聚類中心有I個（I的值由先驗知識決定），設ti(n)（i=1,2,…,I）是第n次迭代時基函數的中心，K—均值聚類算法具體步驟如下：第一步：初始化聚類中心，即根據經驗從訓練樣本集中隨機選取I個不同的樣本作為初始中心ti(0)（i=1,2,…,I）。

7/7/2023中南大學智能所131第二步：隨機輸入訓練樣本Xk。第三步：尋找訓練樣本Xk離哪個中心最近，即找到

i(Xk)使其滿足第四步：調整基函數的中心。第五步：n=n+1轉到第二步，直到學完所有的訓練樣本且中心的分布不再變化。7/7/2023中南大學智能所132（2）確定方差

當RBF選用高斯函數，即：方差為：I為隱單元的個數，dmax為所選取中心之間的最大距離。

7/7/2023中南大學智能所133（3）學習權值

權值的學習可以用LMS方法，也可以直接用偽逆的方法求解，即：式中D=[d1,…,dk,…,dN]T是期望響應，G+是矩陣G的偽逆

7/7/2023中南大學智能所134需注意幾點：

①K—均值聚類算法的終止條件是網絡學完所有的訓練樣本且中心的分布不再變化。在實際應用中只要前后兩次中心的變化小于預先設定的值ε即|ti(n+1)-ti(n)|<ε（i=1,2,…,I），就認為中心的分布不再變化了。②“基函數”φ(X,Xi)除了選用高斯函數外也可使用多二次函數和逆多二次函數等中心點徑向對稱的函數。

7/7/2023中南大學智能所135③我們在介紹自組織選取中心法時設所有的基函數其方差都是相同的，實際上每個基函數都有自己的方差，需要在訓練過程中根據自身的情況確定。④

K—均值聚類算法實際上是自組織映射競爭學習過程的特例。它的缺點是過分依賴于初始中心的選擇，容易陷入局部最優值。為克服此問題，Chen于1995年提出了一種改進的K—均值聚類算法，這種算法使聚類不依賴初始中心的位置，最終可以收斂于最優解或次優解。7/7/2023中南大學智能所1363.3.3RBF網絡與多層感知器的比較

RBF網絡與多層感知器都是非線性多層前向網絡，它們都是通用逼近器。對于任一個多層感知器，總存在一個RBF網絡可以代替它，反之亦然。但是，這兩個網絡也存在著很多不同點：①RBF網絡只有一個隱層，而多層感知器的隱層可以是一層也可以是多層的。②

多層感知器的隱層和輸出層其神經元模型是一樣的。而RBF網絡的隱層神經元和輸出層神經元不僅模型不同，而且在網絡中起到的作用也不一樣。

7/7/2023中南大學智能所137③RBF網絡的隱層是非線性的，輸出層是線性的。多層感知器解決模式分類問題時，它的隱層和輸出層通常選為非線性的。當用多層感知器解決非線性回歸問題時，通常選擇線性輸出層。④RBF網絡的基函數計算的是輸入向量和中心的歐氏距離，而多層感知器隱單元的激勵函數計算的是輸入單元和連接權值間的內積。7/7/2023中南大學智能所138⑤多層感知器是對非線性映射的全局逼近，而RBF網絡使用局部指數衰減的非線性函數（如高斯函數）對非線性輸入輸出映射進行局部逼近。這也意味著，逼近非線性輸入輸出映射，要達到相同的精度，RBF網絡所需要的參數要比多層感知器少得多。

7/7/2023中南大學智能所1392-6-4MATLAB高斯RBF網絡構建法1.

無差高斯RBF網絡構建newrbe

需設定散布系數sc2.有效的高斯RBF網絡構建newrb

需設定散布系數sc、目標函數精度eg7/7/2023中南大學智能所140演示

例2-6-3M

構建高斯RBF網絡

7/7/2023中南大學智能所141演示

例2-6-4M

高斯RBF網絡應用

——解XOR問題

7/7/2023中南大學智能所142演示

例2-6-5M

高斯RBF網絡應用

——逼近非線性函數

7/7/2023中南大學智能所143Y=sqrt(x)的逼近7/7/2023中南大學智能所1442-7小腦模型神經網絡

小腦模型神經網絡（CMAC，Cerebellarmodelarticulationcontroller）是模擬人的小腦的一種學習結構，是基于表格查詢式輸入輸出的局部網絡模型，提供了一種從輸入至輸出的多維非線性映射能力。(1975年J.S.Albus)2-7-1CMAC的結構及工作原理

CMAC是前饋網，結構見圖，由兩個基本映射，表示輸入輸出之間的非線性關系。

yAC＋U輸入空間雜散編碼AP(W)輸出輸入向量

CMAC結構7/7/2023中南大學智能所145從結構上劃分，就可以劃分成有反饋和無反饋的兩種不同類型。前饋神經網絡就是無反饋的神經網絡，例如BP網絡、自適應神經網絡等；有反饋的神經網絡稱為反饋型神經網絡，例如Hopfield網絡等。

如果將神經網絡從函數逼近這一方面劃分，可以按功能不同分成全局逼近網絡和局部逼近網絡。7/7/2023中南大學智能所146所謂全局逼近神經網絡是指神經網絡的一個或多個可調參數，例如連接權值或閾值，在輸入樣本空間的每一點處，對任何一個輸出都會產生影響。

按照這一界定，多層前饋BP網絡就屬于全局逼近型神經網絡。該網絡的每個輸入樣本對，都需要對其連接權進行訓練，來實施對輸出的影響。

這樣做的好處是充分考慮到輸入樣本中的每一個輸入，通過連接權的調整來實現它們對輸出的影響。

但是，這樣做也有不好的地方，那就是每個連接權都要調整，必然影響收斂速度，顯然不利于在線實時訓練。7/7/2023中南大學智能所147所謂局部逼近型神經網絡是指神經網絡的一個或多個可調參數，例如連接權值或閾值，在輸入樣本空間的每一點處，未必都會對任何一個輸出產生影響。

這種網絡的訓練特點是不必對所有的連接權進行訓練，僅僅只對那些影響輸出的輸入連接權加以訓練，這是因為在網絡輸入空間的某個局部區域內，只有少數幾個連接權值影響到輸出，那么只訓練這些連接權，對不影響輸出的連接權不再訓練。

訓練的連接權數量少了，學習速度必然快。局部逼近型神經網絡的這個快速訓練特征，決定了它能有效地用于實時控制。目前常見的局部逼近型網絡有CMAC網絡、RBF(徑向基函數)網絡等。7/7/2023中南大學智能所148小腦模型神經網絡特點第一，網絡的聯想功能使其具有泛化能力，所謂泛化是一種局部聯想而非全局聯想，聯想的結果導致相似的輸入產生相似的輸出，獨立的輸入產生獨立的輸出。第二，網絡中只有部分神經元的連接權值或閾值影響輸出，不是所有的神經元都影響輸出。第三，對輸出產生影響的神經元由輸入確定，輸入樣本決定了哪些神經元影響輸出，哪些神經元不影響輸出。7/7/2023中南大學智能所149CMAC采用的是一種帶有兩個基本映射的前饋結構，第一個映射是輸入狀態空間到相聯空間的映射，第二個映射是從相聯空間到輸出空間的映射。兩個基本映射將CMAC結構劃分成三大塊。

(1)X：p維輸入狀態空間。

(2)A：n個單元組成的存儲區，稱為相聯空間或概念空間。存儲區分成兩部分，一部分是虛擬存儲區AC，一部分是實際存儲區AP。(3)Y：輸出區間。7/7/2023中南大學智能所150第一個映射是X→A，稱為輸入映射(InputMapping)，是從輸入狀態空間X至相聯空間AC的映射。設X為p維輸入狀態空間，則p維輸入矢量為

Xi=［x1p，x2p，…，xip］T

式中，i為輸入個數，圖中i=3。若將［xi］進行量化編