1、動力學系統建模課程報告神經網絡綜述1 神經網絡介紹1.1 神經網絡概述人工神經網絡簡稱為神經網絡或稱作連接模型，它是一種模范動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡可以看成以人工神經為節點，用有向加權弧連接起來的有向圖，有向弧的權值表示兩個人工神經元相互作用的強弱。人工神經網絡模擬人類大腦神經元結構及處理問題的方式，成為為人工智能控制上的一大創新。人工神經網絡主要優點是能夠自適應樣本數據，不會被噪音等影響；能夠處理來自多個資源和決策系統的數據；能夠提供簡單工具進行特征選取

2、，產生有用的數據表示；可作為專家系統的前端；有十分快的優化功能。神經網絡可以處理非線性適應性信息，克服了傳統人工智能方法對于直覺的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域取得成功應用。1.2人工神經網絡基本要素人工神經元四個基本要素：(1) 連接權，用于表示各個神經元的連接強度，正值表示加強，負值表示削弱，對應生物神經元的突觸。(2) 求和單元，求取對應節點輸入信號的加權和，對輸入信號求加權和即求解神經節點的輸入信號。數學表達式：。(3) 激活函數，相當于細胞體的功能，對輸入的信號進行非線性映射，使輸出幅值限制在一定范圍內。輸出表達式：。激活函數有階躍函數、分段線性函

3、數、sigmoid函數及雙曲正切對稱S型函數。(4) 閥值，其作用可用數學表達式來表示：。1.3人工神經網絡的工作方式其工作過程主要分為兩個階段：(1) 學習期，此時每一個計算單元的狀態不變，樣本數據進行輸入，得到實際輸出，與期望輸出進行對比得出輸出誤差，根據輸出誤差修改權值，直至系統參數滿足輸出誤差要求，這樣就建立了適合樣本的神經網絡模型。(2) 工作期，此時各連接權是固定的，輸入數據便可得到模型結果，即運用神經網絡模型進行實際應用過程。1.4人工神經網絡的學習方式通過向環境學習來獲取系統參數并改進自身性能是神經網絡的一個重要特點。一般情況下，性能的改善是按照預定的期望來修改自身的參數。學習

4、的方式有以下三種：(1) 有監督學習階段：以輸入輸出為訓練樣本集，學習系統將實際輸出與期望輸出進行比較，根據一定的學習算法修正權系數及閥值，從而使系統實際輸出越來越達到期望輸出。(2) 無監督學習階段：只提供輸入，不提供輸出，根據輸入調整權系數及閥值，主要用于某些聚類操作。(3) 強化學習：外部環境對系統輸出只給出評價（相當于完成任務時的獎勵），沒有具體的期望輸出，學習系統通過強化那些受獎勵的來修改自身參數。下面分別介紹前饋神經網絡及反饋神經網絡算法。2 前饋神經網絡算法原理2.1 前饋神經網絡及BP神經網絡介紹前饋神經網絡中的各個神經元只接收上一級的輸入，并輸出到下一級，網絡中沒有反饋。節點

5、分為兩類，即輸入單元及計算單元，每一個計算單元可以有任意個輸入，但只有一個輸出。前饋神經網絡除了輸入層及輸出層之外，中間的層稱為隱層。前饋神經網絡為一種非線性映射，通過簡單的非線性處理就可以映射非常復雜的非線性關系，可用來處理難以建模的非線性系統。前饋神經網絡為一種非常強大的計算系統，但不具有豐富的動力學行為。BP神經網絡是一種利用誤差反向傳播訓練算法含隱層的前饋神經網絡。對于輸入層，輸入模式送到輸入層節點上，這一層節點的輸出即等于其輸入。除了輸入層的節點外，隱含層和輸出層節點的凈輸入是前一層節點輸出的加權和。每個節點的激活程度由它的輸入信號、激活函數和節點的偏值(或閾值)來決定。2.2 BP

6、神經網絡的算法原理2.2.1 BP神經網絡算法介紹BP學習算法的基本原理是梯度最速下降法，它的中心思想是調整權值使網絡總誤差最小。也就是采用梯度搜索技術，以期使網絡的實際輸出值與期望輸出值的誤差均方值為最小。網絡學習過程是一種誤差邊向后傳播邊修正權系數的過程。將上一層節點的輸出傳送到下一層時，通過調整連接權系數來達到增強或削弱這些輸出的作用。多層網絡運用BP 學習算法時，實際上包含了正向和反向傳播兩個階段。在正向傳播過程中，輸入信息從輸入層經隱含層逐層處理，并傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層不能得到期望輸出，則轉入反向傳播，將誤差信號沿原來的連接通道返回，通

7、過修改各層神經元的權值，使誤差信號最小。2.2.2 正向傳播階段學習訓練階段，有N個樣本，如果已知輸入樣及預期輸出，隱含層第i個節點在樣本p作用下的輸入可以表示為：，(2-1)其中為第p個樣本中第j個輸入，為隱層第i個節點的閥值，為輸入層第j個節點與隱層第i個節點之間的連接權值，M為輸入層的節點數。隱含層第i個節點的輸出為：，(2-2)g(.)為激活函數，sigmoid激活函數形式為，其中表示偏值，為調節形狀參數。其導數可以表示為：(2-3)隱含層第i個節點輸出通過權系數向前傳播到輸出層第k個節點，并作為它的輸入之一，輸出層的第k個節點的輸入為：，(2-4)為輸出層第k個節點的閥值，為輸出層第

8、k個節點與隱層第i個節點之間的連接權值，L為輸出層的節點數，q為隱層的節點數。輸出層第k個節點的輸出為：，(2-5)激活函數的導數：，(2-6)對每一個樣本p的輸入模式，其誤差為：(2-7)為第p個樣本第k個輸出層節點輸出期望值。對N個訓練樣本的總誤差為：(2-8)N為模式樣本數，L為網絡輸出節點數。若其輸出與給定的期望值不一致，則將誤差信號從輸出端反向傳播回來，并在傳播過程中對權系數進行修正，直到輸出層輸出值為期望輸出，完成樣本訓練過程。2.2.3 反向修改權系數(1) 輸出層權系數調整首先定義：(2-9)隱層第i個節點與輸出層第k個節點權值總調整量：(2-10)調整后的隱層第i個節點與輸出

9、層第k個節點的權值：(2-11)(2) 隱層權系數的調整：首先定義：(2-12)隱層第i個節點與輸入層第j個節點權值總調整量：(2-13)調整后的隱層第i個節點與輸入層第j個節點權值： (2-14)采用修正后的權系數，帶入輸入樣本繼續訓練，計算結果與期望輸出進行比較。如果達不到要求，繼續返回修改權系數，這樣一直循環下去，直到得出的輸出達到期望的輸出。2.3 運用BP神經網絡解決黑箱問題2.3.1問題描述已知一個控制系統，如圖1所示。該系統為兩輸入兩輸出系統，輸入輸出已知，系統參數未知，通過神經網絡方法構造神經網絡模型來模擬該控制系統。 圖1 黑想問題模型該模型輸入為，期望輸出為，試構造圖2所示

10、的神經網絡模型模擬該黑箱系統。圖2 神經網絡模型2.3.2 MTLAB求解神經網絡利用MATLAB中的矩陣運算功能可以方便地求解神經網絡問題，相對C語言來說，省去矩陣運算程序的編寫，程序結構簡單。黑箱模型的神經網絡計算程序如下所示：Ir=1;err_goal=1e-4; %Ir為學習速率； err_goal為期望誤差最小值max_epoch=10000; %max_epoch為訓練的最大次數；a為慣性系數Oi=0;Ok=0; %置隱含層和輸出層各神經元輸出初值為零X=1 3;2 3;T=0.1 0.9;0.1 0.9 %輸入樣本輸入及期望值M,N=size(X);q=3;L,N=size(T)

11、;%求隱層輸入層及輸出層個數wij=rand(q,M); wki=rand(L,q); % 初始化wki、wijfor epoch=1:max_epoch% 計算隱含層各神經元輸出NETi=wij*X;for j=1:Nfor i=1:qOi(i,j)=1/(1+exp(-NETi(i,j);endend%計算輸出層各神經元輸出NETk=wki*Oi;for i=1:Nfor k=1:LOk(k,i)=1/(1+exp(-NETk(k,i);endend%計算誤差函數E=(T-Ok)'*(T-Ok)/2;if (E<err_goal) break;end%調整輸出層加權系數del

12、tak=Ok.*(1-Ok).*(T-Ok);wki=wki+Ir*deltak*Oi'% 調整隱含層加權系數deltai=Oi.*(1- Oi).*(deltak'*wki)'wij=wij+Ir*deltai*X'endepoch %顯示計算次數% BP 網絡的第二階段工作期X1=X; %計算隱含層各神經元輸出NETi=wij*X1;for j=1:Nfor i=1:qOi(i,j)=1/(1+exp(-NETi(i,j) ;endend%計算輸出層各神經元輸出NETk=wki*Oi;for i=1:Nfor k=1:LOk(k,i)=1/(1+exp(-N

13、ETk(k,i);endendOk 當學習速率取1時，結果如下：epoch =626Ok =0.1104 0.89370.1095 0.8943可見，運用神經網絡模型可以很好逼近系統模型。在滿足誤差條件下，可以有效解決黑箱問題。神經網絡方法對于解決非線性問題有很好的適用性。2.3.3 BP算法的改進-修改學習速率學習速率的選擇非常重要。在學習初期階段，選的大可使學習速度加快，但臨近最佳點時，必須相當?。环駝t會產生反復震蕩而不能收斂?？刹捎米儗W習速率方案，令學習速率隨著學習的進展而逐步減小，可收到很好的效果。引入慣性系數的方法可使收斂速度加快，的取值可選在0.9左右。上節中取需要運算626次，運

14、算次數過多。如果僅僅將學習效率改為10，運算次數大為減小，結果如下所示：epoch =139Ok = 0.1067 0.8947 0.1121 0.8903運用前饋BP神經網絡可以很好地解決非線性系統建模問題，對黑箱系統有很好的適用性。前饋BP神經網絡輸入輸出已知，為有監督學習。通過輸入求解實際輸出，與期望值進行比較，不滿足要求返回修改系統參數，直至達到所要求精度。在控制系統模型求解中，BP神經網絡有良好的應用前景。只要有足夠多的隱層及隱節點，就可以逼近任意非線性映射，但其收斂速度慢、有局部極值及難以確定隱含層及隱節點的個數，RBF神經網絡等對其進行了改進。3 反饋神經網絡3.1 反饋神經網絡

15、及Hopfield神經網絡介紹反饋型神經網絡又稱為遞歸網絡，在反饋神經網絡中，輸入信號決定反饋系統的初始狀態，然后系統經過一系列狀態轉移后收斂于平衡狀態。如果能找到網絡Lyapunov函數，則能保證網絡從任意初始狀態都能收斂于局部最小點，反饋神經網絡中所有節點都是計算單元，同時也接收輸入并向外輸出。Hopfield神經網絡網絡如圖3所示，每一個神經元都將自己的輸出通過連接權傳送給其他神經元，同時又接收其他神經元傳來的信息，即網絡中t時刻的輸出狀態實際上間接與自己的t-1時刻的輸出狀態有關。當網絡達到穩定狀態時，也就是它的能量函數達到最小的時候。圖3 Hopfield神經網絡3.2 Hopfie

16、ld神經網絡算法原理Hopfield神經網絡有n個神經元，其中任意神經元的輸入用表示，輸出用表示，它們都是時間t的函數，為神經元i在t時刻的狀態。(3-1)表示神經元i的偏差及閥值。相應神經元i的輸出為(3-2)激勵函數可取符號函數，神經元的輸出為1或-1，即(3-3)Hopfield神經網絡運行方式為從初始狀態按能量減小的方向進行演化，直至穩定狀態。達到穩定狀態即為網絡的輸出。Lyapunov能量函數定義為（對于任一個神經元）：(3-4)從t時刻到t+1時刻能量的變化為：(3-5)可以看出，由于網絡中任意一個神經元都按同一規則進行變換，所以網絡的能量總變化量應不大于零，即。記(3-6)則有，

17、有三種可能的情況，如下所示：(1) 第i個神經元沒有改變狀態，即，能量改變量為。(2) 第i個神經元狀態從1變為0，即，只有，滿足。(3) 第i個神經元狀態從0變為1，即，只有，滿足。計算神經網絡時，當所有的神經元都被訪問到，并且沒有神經元改變狀態，就達到全局穩定，也就可以認為網絡已經收斂了。式（3-7）用來固定網絡的權值，以達到這樣一個目的：預存的狀態矢量能夠對應能量的極小值，并且網絡對應于每一個這樣的預存值都有一個穩定的狀態。(3-7)為第p個訓練矢量第i個分量，為第i個神經元與第j個神經元的權值。Hopfield神經網絡能量函數達到最小的時候，網絡達到穩定狀態。Hopfield神經網絡的能量函數是朝著梯度減小的方向變化，但其仍然存在一個問題，那就是一旦能量函數陷入局部極小值，它將不能跳出局部極小值點，達到全局最小值，無法求解網絡最優解。4 小結人工神經網絡建立了由符號系統表示的認知模型，強調并行分布處理，通過大量神經元的相互作用進行信息處理，每一個神經元的興奮與抑制信號將傳送給其他神經元。人工神經網絡魯棒性非常好，不會