7.3神經網絡算法7.3.1神經網絡的根本原理人工神經網絡是在研究生物神經系統的啟發下開展起來的一種信息處理方法。它模擬生物神經系統結構，由大量處理單元組成非線性自適應動態系統，具有高度非線性的超大規模實踐特性，網絡的全局作用、大規模并行分布處理及高度的魯棒性和容錯性，有聯想記憶、抽象概括和自適應能力，這種抽象概括和自適應能力一般稱之為自學能力。1整理ppt工程上用的人工神經元模型如下圖：2整理ppt7.3.2反向傳播模型1.工作原理神經網絡模型分為前饋多層式網絡模型、反響遞歸式網絡模型、隨機型網絡模型等。誤差反向傳播(Backpropagation，簡稱BP網絡)，又稱為多層前饋神經網絡。其模型結構如圖7.3所示3整理ppt2.學習過程

BP網絡學習過程是一種誤差邊向后傳播邊修正權系數的過程，BP算法把網絡的學習過程分為正向傳播和反向傳播兩種交替過程。

〔1〕正向傳播輸入信息先傳到隱藏層的結點上，經過各單元的特性為S型的激活函數運算后，把隱藏層結點的輸出信息傳到輸出結點，最后給出輸出結果?！?〕反向傳播如果得不到實際的輸出，那么轉入反向傳播過程，將誤差信號沿原來的連接線路返回，通過修改各層神經元的權值，逐次地向輸入層傳播進行計算，再經過正向傳播過程。這兩個過程的反復運用，逐漸使得誤差信號最小，網絡學習過程就結束。4整理ppt3．BP算法BP算法如下。其中，l為學習率；oi為單元i的輸出；oj為單元j的輸出；Tj為輸出層單元j的期望輸出；Errj為與隱藏層單元j的誤差加權和；wjk為單元j與單元k相連的有向加權邊的權重；為改變單元j活性的偏量。輸入：訓練樣本S，學習率l，多層前饋網絡。輸出：一個訓練的、對樣本分類的神經網絡。方法：(1)初始化網絡的權和閾值(2)

WHILE終止條件滿足{(3)

FORS中的每個訓練樣本X{(4)

FOR隱藏或輸出層每個單元j{((5); //相對于前一層計算單元j的凈輸入(6) ;//計算每個單元j的輸出(7)

FOR輸出層每個單元(8)

; //計算誤差(9)

FOR由最后一個到第一個隱藏層，對于隱藏層每個單元j(10)

; //計算關于下一個較高層k的誤差(11)

FOR網絡中的每一個權(12)

;(13)

FOR網絡中每個單元偏量(14)

5整理ppt【例7-5】假設訓練樣本s的屬性值為｛1，0，1｝，實際類別分別為1，兩層前饋神經網絡NT如圖7.4所示，NT中每條有一向加權邊的權重、每個隱藏層與輸出層單元的偏置如表7-11所示，學習率為0.9。寫出輸入S訓練NT的過程。6整理ppt首先算出單元4、5、6的輸入、輸出，具體結果見表7-12，然后計算4、5、6的誤差，見表7-13；NT中每條有向加權邊的新權重、每個隱藏層與輸出層單元的新偏置見表7-14。圖7.4兩層前饋神經網絡7整理ppt表7-11權重、單元的偏置8整理ppt單元j輸入Ij輸出Oj40.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.71/(l+e-(-0.7))=0.3325(-0.3)×l+0.1×0+0.2×1+0.2=0.11/(l+e-0.1)=0.5256(-0.3)×0.332+(-0.2)×0.525+0.1=-0.1051/(l+e-(-0.105))=0.474表7-12隱藏層與輸出層每個單元的輸入、輸出9整理ppt表7-13隱藏層與輸出層每個單元的誤差單元j誤差

60.474×(1-0.474)×(l-0.474)=0.131150.525×(l-0.525)×(0.1311×(-0.2))=-0.006540.332×(l-0.332)×(0.1311×(-0.3))=-0.008710整理ppt表7-14有向加權邊的新權重、每個隱藏層與輸出層單元的新偏置W46-0.3+0.9×0.1311×0.332=-0.261W56-0.2+0.9×0.1311×0.525=-0.138W140.2+0.9×(-0.00087)×1=0.192W15-0.3+0.9×(-0.0065)×1=-0.306W240.4+0.9×(-0.0087)×0=0.4W250.1+0.9×(-0.0065)×0=0.1W34-0.5+0.9×(-0.0087)×1=-0.508W350.2+0.9×(-0.0065)×1=0.194

60.1+0.9×0.1311=0.218

50.2+0.9×(-0.0065)=0.194

4-0.4+0.9×(-0.0087)=-0.40811整理ppt7.3.3定義神經網絡拓撲

神經網絡在開始訓練之前，必須確定輸人層的單元數、層數，每個隱藏層的單元數和輸出層的單元數，以確定網絡拓撲結構。如何選取最正確的隱藏層數目，可以參考下面的公式其中，k為樣本數，n為輸入結點數，m為輸出樣本，為隱藏層結點數。12整理ppt7.3.4神經網絡工作過程所有神經網絡的工作過程主要分兩個階段：工作階段和學習階段(1)工作階段，此時各連接權值固定，處理單元狀態變化，以求到達穩定狀態；(2)學習階段，各處理單元狀態保持不變，各連接權值可修改。13整理ppt