1、1、MP模型模型 2、感知器模型、感知器模型 3、感知器學習規則、感知器學習規則 4、感知器的、感知器的MATLAB實現實現 5、感知器神經網絡應用舉例、感知器神經網絡應用舉例 6、線性神經網絡、線性神經網絡 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 1、MP模型模型 MP模型是人工神經網絡的研究歷史中最早提出，也模型是人工神經網絡的研究歷史中最早提出，也 是最為簡單的模型。常用的有三種模型：是最為簡單的模型。常用的有三種模型： （1）標準）標準MP模型模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 w X 1 u v R1 1R 11 f 11 11 V(t)=f

2、(WX(t)+ ) MP模型的工作原理模型的工作原理 其中參數的含義是：其中參數的含義是： wji表示：神經元表示：神經元i與神經元與神經元j之間的連接權之間的連接權 ui表示：神經元表示：神經元i的狀態的狀態 vi表示：神經元表示：神經元i的輸出值，亦表示的輸出值，亦表示i的一個輸入的一個輸入 i表示：神經元表示：神經元i的閥值的閥值 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 )( 1 ii R j ijjii ufv xwu 在在MP模型中激勵函數可以采用閥值型函數，亦可根模型中激勵函數可以采用閥值型函數，亦可根 據需要采用據需要采用S型函數：型函數： 學習準則：學習準則：

3、這種模型常常采用這種模型常常采用Hebb學習準則來調整神經元之間學習準則來調整神經元之間 的連接權。的連接權。 wij=uivj 說明：興奮性一致則加強，否則減弱！說明：興奮性一致則加強，否則減弱！ 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 )exp(1 1 )( i i u uf （2）延時）延時MP模型模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 w X 1 u v R1 1R 11 f 11 11 V(t)=f(WX(t-)+ ) 延時延時MP模型的特點模型的特點 神經元的狀態滿足神經元的狀態滿足0/1規律規律 神經元為多輸入單輸出處理單元神經元為多輸入單輸

4、出處理單元 激活函數采用閥值型函數激活函數采用閥值型函數 所有神經元具有相同、恒定的工作節律所有神經元具有相同、恒定的工作節律 沒有考慮時間整合作用和不應期沒有考慮時間整合作用和不應期 時延和權系數均為常數時延和權系數均為常數 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 （3）改進的）改進的MP模型模型 工作原理同上工作原理同上 輸入輸出關系為輸入輸出關系為 k1，2， 注：在改進注：在改進MP模型中權系數是可變的模型中權系數是可變的 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 )()()( 1 i R ij jijji R i iiiii ktxwktxwftv 2、

5、感知器模型、感知器模型 (1)單層感知器模型單層感知器模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 w X 1 u v R1 SR S1 f S1 S1 V=hardlims(WX+) R S 首先介紹單神經元感知器首先介紹單神經元感知器 先看一個例子：先看一個例子： 如果我們需要設計一個自動化分類器，用于根據水如果我們需要設計一個自動化分類器，用于根據水 果的外形、質地和重量三個特征自動對蘋果和橘子分果的外形、質地和重量三個特征自動對蘋果和橘子分 類。假設傳送帶上的傳感器可以較為簡單的區分三個類。假設傳送帶上的傳感器可以較為簡單的區分三個 特征：特征： 外形：基本是圓的外形：

6、基本是圓的1 否則否則1 質地：表面光滑的質地：表面光滑的1 否則否則1 重量：超過重量：超過1磅磅 1 否則否則1 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 我們設計一個神經網絡解決我們設計一個神經網絡解決 首先一個標準的橘子為：首先一個標準的橘子為：X11 ,1,1T 一個標準的蘋果為：一個標準的蘋果為：X21 , 1,1T 我們設計一個單神經元三輸入的感知器我們設計一個單神經元三輸入的感知器(如圖如圖) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 w X 1 u v 31 13 11 f 11 11 V=hardlims(WX+) 3 1 如果如果 w11=0

7、w21=1 w31=0 則則V=hardlims(WX+)hardlims(-1 1X+) 表明如果表明如果ui大于等于大于等于-b，感知器輸出，感知器輸出1 ui小于小于-b，感知器輸出，感知器輸出1 如果我們希望蘋果就輸出如果我們希望蘋果就輸出1，橘子就輸出，橘子就輸出1，則取，則取 閥值閥值0 我們對分類器進行測試我們對分類器進行測試 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 輸入是標準輸入是標準橘子橘子時時 v1=hardlims(0,1,01,-1,-1T+0)-1(橘子橘子) 輸入是標準輸入是標準蘋果蘋果時時 v2=hardlims(0,1,01,1,-1T+0)1(

8、蘋果蘋果) 當一個不是十分標準的橘子進入分類器又會得到什當一個不是十分標準的橘子進入分類器又會得到什 么結果呢？么結果呢？ 感知器輸入向量感知器輸入向量 X-1,-1,-1T 網絡的響應網絡的響應 v1=hardlims(0,1,0-1,-1,-1T+0)-1(橘子橘子) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 實際上在整個輸入向量空間中，感知器將空間分為實際上在整個輸入向量空間中，感知器將空間分為 了兩部分，任何輸入向量只要更加接近蘋果的標準向了兩部分，任何輸入向量只要更加接近蘋果的標準向 量，則劃歸蘋果一類，反之亦然。量，則劃歸蘋果一類，反之亦然。 第二章第二章 人工神經網

9、絡基本模型人工神經網絡基本模型 X1 X2 x1 x2 x3 (2)多層感知器模型多層感知器模型 單層感知器模型只能進行簡單的線性分類，而對于單層感知器模型只能進行簡單的線性分類，而對于 其他較為復雜的分類模式則無法解決，為此可以在輸其他較為復雜的分類模式則無法解決，為此可以在輸 入和輸出層之間加上若干層神經元入和輸出層之間加上若干層神經元(稱為隱含層稱為隱含層)，即，即 構成構成多層感知器模型多層感知器模型。 需要加以說明的是：在多層感知器模型中，只允許需要加以說明的是：在多層感知器模型中，只允許 調節一層網絡連接權調節一層網絡連接權(一般考慮隱含層與輸出層一般考慮隱含層與輸出層)，稱，稱

10、之為學習層，而其他連接權為隨機確定的固定值，稱之為學習層，而其他連接權為隨機確定的固定值，稱 之為隨機層。之為隨機層。 可以證明，隱含層和隱含層神經元數足夠多，多層可以證明，隱含層和隱含層神經元數足夠多，多層 感知器模型可以實現任意的模式分類（理論上）。感知器模型可以實現任意的模式分類（理論上）。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 多層感知器模型結構圖多層感知器模型結構圖 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 w1 X 1 u1 v1 1 R1 S1 R S11 f S1 1 S1 1 V1=hardlims(W1X+1) R S1 w2 1 u2 v2

11、 2 S2 S1 S21 f S21 S2 1 V2=hardlims(W2V1+2) S2 隨機感知器層隨機感知器層學習感知器層學習感知器層 3、感知器學習規則、感知器學習規則 上述網絡中的權值和閥值又怎么確定呢？下面介紹上述網絡中的權值和閥值又怎么確定呢？下面介紹 一種用于訓練感知器網絡的算法。一種用于訓練感知器網絡的算法。 所謂學習規則就是修改神經網絡的權值和閥值的方所謂學習規則就是修改神經網絡的權值和閥值的方 法和過程，學習規則的目的是為了訓練網絡來完成某法和過程，學習規則的目的是為了訓練網絡來完成某 些工作，現在有很多神經網絡學習規則，大致可以分些工作，現在有很多神經網絡學習規則，大

12、致可以分 為三大類：有監督學習、無監督學習和競爭學習。為三大類：有監督學習、無監督學習和競爭學習。 感知器學習是通過有監督學習過程來實現的。感知器學習是通過有監督學習過程來實現的。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 誤差型學習規則誤差型學習規則 （1）網絡初始化）網絡初始化 （2）計算輸入模式對應的實際輸出和理想輸出的誤）計算輸入模式對應的實際輸出和理想輸出的誤 差差 （3）如果）如果小于給定值，結束，否則轉下一步小于給定值，結束，否則轉下一步 （4）更新權值（閥值可視為輸入恒為）更新權值（閥值可視為輸入恒為1的特殊權值）的特殊權值） wi(t+1)wi(t+1)-wi(

13、t)=xi 其中其中理想輸出實際輸出理想輸出實際輸出 （5）返回第）返回第(2)步步 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 可以證明當前輸入樣本來自線性可分的模式時，上可以證明當前輸入樣本來自線性可分的模式時，上 述學習算法在有限步同收斂，這時所得的權值能對所述學習算法在有限步同收斂，這時所得的權值能對所 有樣本正確分類，這一結論被稱為感知器收斂定理。有樣本正確分類，這一結論被稱為感知器收斂定理。 （收斂定理的證明略）（收斂定理的證明略） 感知器神經網絡的訓練是樣本重復輸入，通過調整感知器神經網絡的訓練是樣本重復輸入，通過調整 權值使感知器的輸出達到所要求的理想輸出，最終得權

14、值使感知器的輸出達到所要求的理想輸出，最終得 到最優的網絡閥值和權值。到最優的網絡閥值和權值。 4、感知器神經網絡的、感知器神經網絡的MATLAB實現實現 對于感知器的初始化、訓練、仿真，在對于感知器的初始化、訓練、仿真，在MATLAB神神 經網絡工具箱中分別提供了經網絡工具箱中分別提供了init( ), trainp( )和和sim( )等等 相應的函數。相應的函數。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (1)初始化函數初始化函數init( ) 感知器初始化函數感知器初始化函數init( )可得到可得到R個輸入，個輸入，S個神經個神經 元的感知器層的權值和閥值，其調用格式

15、為：元的感知器層的權值和閥值，其調用格式為： w,b=init(R,S) 另外也可利用輸入向量另外也可利用輸入向量X和目標向量和目標向量t來初始化來初始化 w,b=init(X，t) (2)訓練控制參數訓練控制參數tp tp=disp_freq max_epoch disp_freq指定兩次顯示間訓練次數，缺省值為指定兩次顯示間訓練次數，缺省值為1； map_epoch指定訓練最大次數，缺省值為指定訓練最大次數，缺省值為100 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (3)訓練函數訓練函數trainp( ) trainp( )函數所需要的參數為：輸入向量函數所需要的參數為：輸入

16、向量X、目標向、目標向 量量t以及網絡的初始權值和閥值，訓練的控制參數以及網絡的初始權值和閥值，訓練的控制參數tp。 調用格式為：調用格式為： w,b,te=trainp(w,b,p,t,tp) 函數函數trainp( )并不能保證感知器網絡所得到的網絡并不能保證感知器網絡所得到的網絡 權值和閥值達到要求，因此在訓練完后，要用下列驗權值和閥值達到要求，因此在訓練完后，要用下列驗 證語句驗證一下證語句驗證一下 a=sim(p, w, b); if all(a= =t),disp( It works!),end 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 假如網絡不能成功運行，就可以繼

17、續運用假如網絡不能成功運行，就可以繼續運用trainp( ) 函數對網絡進行訓練。經足夠的訓練后，網絡仍達不函數對網絡進行訓練。經足夠的訓練后，網絡仍達不 到要求，那么就應當認真分析一下，感知器網絡是否到要求，那么就應當認真分析一下，感知器網絡是否 適合于這個問題。適合于這個問題。 (4)仿真函數仿真函數sim( ) sim( )函數主要用于計算網絡輸出，它的調用比較函數主要用于計算網絡輸出，它的調用比較 簡單：簡單： a=sim(p,w,b) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 5、感知器神經網絡應用舉例、感知器神經網絡應用舉例 問題描述：問題描述： 兩種蠓蟲兩種蠓蟲Af

18、和和Apf已由生物學家已由生物學家W.L.Grogan與與w. w. Wirth(1981)根據它們觸角長度和翼長中以區分。見表根據它們觸角長度和翼長中以區分。見表 中中9只只Af蠓蟲和蠓蟲和6只只Apf蠓蟲的數據。根據給出的觸角蠓蟲的數據。根據給出的觸角 長度和翼長可識別出一只標本是長度和翼長可識別出一只標本是Af還是還是Apf。 (1)給定一只給定一只Af或者或者Apf族的蠓蟲，你如何正確地區族的蠓蟲，你如何正確地區 分它屬于哪一族？分它屬于哪一族？ (2)將你的方法用于觸角長和翼中分別為將你的方法用于觸角長和翼中分別為(1.24, 1.80) 、（、（1.28,1.84）、）、(1.40

19、,2.04)的三個標本的三個標本 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 輸入向量為：輸入向量為： X=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目標向量為：目標向量為： t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 圖形顯示，目標值圖形顯示，目標值

20、1對應的用對應的用“+”、目標值、目標值0對應的用對應的用 “o”來表示：來表示： plotpv(X，t) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 0.911.11.21.31.41.51.61.71.8 1.4 1.5 1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 Vectors to be Classified P(1) P(2) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 為解決該問題，利用函數為解決該問題，利用函數newp構造輸入量在構造輸入量在0，2.5 之間的感知器神經網絡模型：之間的

21、感知器神經網絡模型： net=newp(0 2.5；0 2.5，1) 初始化網絡：初始化網絡： net=init(net) 利用函數利用函數adapt調整網絡的權值和閥值，直到誤差為調整網絡的權值和閥值，直到誤差為0 時訓練結束：時訓練結束： net, y, e=adapt(net, X, t) 訓練結束后可得如圖的分類方式，可見感知器網絡將訓練結束后可得如圖的分類方式，可見感知器網絡將 樣本正確地分成兩類樣本正確地分成兩類 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 感知器網絡訓練結束后，利用函數感知器網絡訓練結束后，利用函

22、數sim進行仿真：進行仿真： X1=1.24;1.80 t1=sim(net,p1) X2=1.28;1.84 t2=sim(net,p2) X3=1.40;2.04 t3=sim(net,p3) 網絡仿真結果為：網絡仿真結果為： t1=0 t2=0 t3=0 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 6、線性神經網絡、線性神經網絡 自適應線性神經網絡是較為簡單的一種神經元網自適應線性神經網絡是較為簡單的一種神經元網 絡，由若干線性神經元構成。絡，由若干線性神經元構成。1959年，美國工程師年，美國工程師 B.widrow和和M.Hoft提出自適應線性元件（提出自適應線性元件（A

23、daptive linear element，簡稱，簡稱Adaline）是線性神經網絡的最早）是線性神經網絡的最早 典型代表。它是感知器的變化形式，尤其在修正權矢典型代表。它是感知器的變化形式，尤其在修正權矢 量的方法上進行了改進，不僅提高了訓練收斂速度，量的方法上進行了改進，不僅提高了訓練收斂速度， 而且提高了訓練精度。線性神經網絡與感知器神經網而且提高了訓練精度。線性神經網絡與感知器神經網 絡的主要不同之處在于其每個神經元的傳遞函數為線絡的主要不同之處在于其每個神經元的傳遞函數為線 性函數，它允許輸出任意值，此外，線性神經網絡一性函數，它允許輸出任意值，此外，線性神經網絡一 般采用般采用L

24、MS規則（最小場方差規則（最小場方差Least mean Square）來）來 調整網絡的權值和閥值。調整網絡的權值和閥值。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (1)純線性神經元模型純線性神經元模型Adaline 只能進行線性劃分只能進行線性劃分 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 線性神經元模型通過一個閥值器件即可進行二值模線性神經元模型通過一個閥值器件即可進行二值模 擬輸出，可以對線性可分模式進行分類：擬輸出，可以對線性可分模式進行分類： 設輸入二元值（設輸入二元值（+1,-1），則），則Xk有有2n個可能模式，如果個可能模式，如果 對應的分類模式

25、為兩類對應的分類模式為兩類(+1)、(-1)，則，則n個輸入、一個個輸入、一個 輸出的模型共可以有輸出的模型共可以有 種邏輯映射方式種邏輯映射方式 ,根據根據Adaline 模型模型的設計，只能進行線性劃分：的設計，只能進行線性劃分： 如：如：（+1, +1） +1 （+1, -1） +1 （-1, -1） +1 （-1, +1） -1 )sgn(yv XWy kk k T kk n 2 2 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 輸入輸出關系為：輸入輸出關系為：yk=WkT Xk 令令yk為為0，將輸入分為兩類，則有，將輸入分為兩類，則有 通過對通過對w0、 w1、 w2的適

26、當調整，即可實現對輸入的適當調整，即可實現對輸入 模式的正確分類。模式的正確分類。 對于非線性劃分模式對于非線性劃分模式(如如“異或異或”問題問題)，根據，根據 Adaline模型則不能實現，但是可以對模型則不能實現，但是可以對Adaline模型進模型進 行適當的改進行適當的改進 1 2 1 2 0 2 x w w w w x 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (2)改進線性神經元模型改進線性神經元模型 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 令令yk為為0，將輸入分為兩類，則有，將輸入分為兩類，則有 通過對通過對w0、 w1、 w11、 w12、 w22

27、、 w2的適當調整的適當調整 即可實現對輸入模式的正確分類即可實現對輸入模式的正確分類(非線性非線性)。 橢圓形區域內部輸出為橢圓形區域內部輸出為1 橢圓形區域外部輸出為橢圓形區域外部輸出為1 同理可以根據具體實際情況，對輸入進行其他非線同理可以根據具體實際情況，對輸入進行其他非線 性改造，以適應非線性分類的需要。性改造，以適應非線性分類的需要。 0wxwxwxxwxwxw 2222 2 2122111 2 1110 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (3)線性神經網絡模型線性神經網絡模型 所謂線性神經網絡模型，就是由若干線性神經元按所謂線性神經網絡模型，就是由若干線性神

28、經元按 照一定的連接方式構成的模型。如照一定的連接方式構成的模型。如Madalines模型：模型： x10 x20 x1 x1 W AND 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (4)線性神經網絡學習算法線性神經網絡學習算法 線性神經網絡常用的學習算法為線性神經網絡常用的學習算法為LMS算法，算法，LMS算算 法的思想就是利用誤差函數的最速下降原則，調整神法的思想就是利用誤差函數的最速下降原則，調整神 經元的連接權，使神經元的實際輸出與理想輸出的差經元的連接權，使神經元的實際輸出與理想輸出的差 最小。最小。 即即 其中其中為訓練參數，為訓練參數， 為誤差函數在當前的梯度為誤差

29、函數在當前的梯度 誤差函數為誤差函數為 )(WW kk1k k kj 2 i k iij k j )xw(d( 2 1 (E 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 其中：其中：djk表示表示k時刻輸出單元時刻輸出單元j的理想輸出的理想輸出 wijxik表示實際輸出表示實際輸出 記記 定義瞬時梯度為定義瞬時梯度為 所以權值迭代公式為：所以權值迭代公式為： k k EE 2 kkkk )XW(d 2 1 E kkkkkk k k k X)XXW(d W E kkkkk1k )XXW-(dWW kkk XW 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 LMS算法可以描述

30、為：算法可以描述為： 為學習步長，為學習步長，k為當前誤差，為當前誤差，|Xk|2為權值個數為權值個數 代入，有代入，有 學習步長學習步長決定了算法的穩定性和收斂性，一般取決定了算法的穩定性和收斂性，一般取 值為值為0.1 1.0 kk 2 k k1k X |X| WW k T kk T kkk k T kkk W-X)WX-d( WX-d kk 2 k k X |X| W kk - 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 LMS算法的具體實現步驟：算法的具體實現步驟： (1)初始化網絡參數初始化網絡參數 (2)輸入樣本輸入樣本 (3)計算實際輸出計算實際輸出yk (4)如果如

31、果，則結束。否則下一步，則結束。否則下一步 (5)計算計算W，更新，更新W (6)返回第返回第(2)步步 例：參看教材例：參看教材P39 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (5)線性神經網絡的線性神經網絡的MATLAB實現實現 在在MATLAB神經網絡工具箱中提供了基于線神經網絡工具箱中提供了基于線 性神經網絡的初始化函數性神經網絡的初始化函數initlin( )、設計函數、設計函數 solvelin( )、仿真函數、仿真函數simulin( )以及訓練函數以及訓練函數 trainwh和和adaptwh。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 初始化函數

32、初始化函數initlin( ) 函數函數initlin( )對線性神經網絡初始化時，將權對線性神經網絡初始化時，將權 值和閥值取為絕對值很小的數。其使用格式值和閥值取為絕對值很小的數。其使用格式 w,b=initlin(R,S) R為輸入數，為輸入數，S為神經元數。為神經元數。 另外，另外，R和和S也可用輸入向量也可用輸入向量P和目標向量和目標向量t來來 代替，代替， 即即w,b=initlin(p,t) 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 設計函數設計函數solvelin( ) 與大多數其它神經網絡不同，只要已知其輸與大多數其它神經網絡不同，只要已知其輸 入向量入向量P和

33、目標向量和目標向量t，就可以直接設計出線性，就可以直接設計出線性 神經網絡使得線性神經網絡的權值矩陣誤差最神經網絡使得線性神經網絡的權值矩陣誤差最 小。小。 其調用命令如下：其調用命令如下： w,b=solvelin(p,t); 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 仿真函數仿真函數simulin( ) 函數函數simulin( )可得到線性網絡層的輸出可得到線性網絡層的輸出 a=simulin(p,w,b) 其中其中a為輸出向量為輸出向量,b為閥值向量為閥值向量 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 訓練函數訓練函數trainwh 和和adaptwh( )

34、 線性神經網絡的訓練函數有兩種：線性神經網絡的訓練函數有兩種：trainwh( ) 和和adaptwh( )。其中函數。其中函數trainwh可以對線性神可以對線性神 經網絡進行離線訓練；而函數經網絡進行離線訓練；而函數adaptwh( ) 可以可以 對線性神經網絡進行在線自適應訓練。對線性神經網絡進行在線自適應訓練。 利用利用trainwh( )函數可得到網絡的權矩陣函數可得到網絡的權矩陣w， 閥值向量閥值向量b，實際訓練次數，實際訓練次數te 以及訓練過程中以及訓練過程中 網絡的誤差平方和網絡的誤差平方和lr。 w,b,te,lr=trainwh(w,b,p,t,tp) 第二章第二章 人工

35、神經網絡基本模型人工神經網絡基本模型 輸入變量中訓練參數輸入變量中訓練參數tp為：為： tp(1)指定兩次更新顯示間的訓練次數，缺省指定兩次更新顯示間的訓練次數，缺省 值值25； tp(2)指定訓練的最大次數，缺省值指定訓練的最大次數，缺省值100； tp(3)指定誤差平方和指標，缺省值指定誤差平方和指標，缺省值0.02； tp(4)指定學習速率，缺省值可由指定學習速率，缺省值可由maxlinlr( ) 函數函數(此函數主要用于計算采用此函數主要用于計算采用LMS學習規則學習規則 訓練線性網絡的最大的穩定的分辨率訓練線性網絡的最大的穩定的分辨率)得到。得到。 第二章第二章 人工神經網絡基本模型

36、人工神經網絡基本模型 而利用函數而利用函數adaptwh( )可得到網絡的輸出可得到網絡的輸出a、 誤差誤差e、權值矩陣、權值矩陣w和閥值向量和閥值向量b。 a,e,w,b=adaptwh(w,b,p,t,lr) 輸入變量輸入變量lr為學習速率，學習速率為學習速率，學習速率lr 為可選為可選 參數，其缺省值為參數，其缺省值為1.0 另外，函數另外，函數maxlinlr( )的調用格式為：的調用格式為： lr=maxlinlr(p); 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 (6)線性神經網絡的應用舉例線性神經網絡的應用舉例 例例1:下面給出一個實際問題進行分析，設計一下面給出一

37、個實際問題進行分析，設計一 個線性神經網絡，用于信號仿真及信號預測。個線性神經網絡，用于信號仿真及信號預測。 首先輸入信號樣本為：首先輸入信號樣本為： time=1：0.0025：5； p=sin(sin(time)*time*10)； 目標信號為：目標信號為： t=p*2+2； 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 圖形顯示樣本信號的規律為：圖形顯示樣本信號的規律為： plot(time, p, time, t, -) title(Input and Target Signals) xlabel(Time) ylabel(Input_ Target_) 第二章第二章 人工神

38、經網絡基本模型人工神經網絡基本模型 11.522.533.544.55 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 Tnput and Target Signals Time Input_ Target_ 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 利用輸入樣本信號和理想輸出進行線性神經利用輸入樣本信號和理想輸出進行線性神經 網絡初始化：網絡初始化： w，b=initlin(p，t) 利用函數利用函數adaptwh對網絡進行訓練對網絡進行訓練 lr=0.01； a, e, w, b=adaptwh(w, b, p, t, lr) 其中其中lr為學習率，為學習率，a為網絡輸出，為網絡輸出，e為誤差。為誤差。 第二章第二章 人工神經網絡基本模型人工神經網絡基本模型 仿真結果與目標信號對比分析：仿真結果與目標信號對比分析： plot(time, a, time, t, -) t