1、人工神經網絡主要內容多層網絡的誤差逆傳播校正方法人工神經元網絡神經元的數學模型 生物神經元引言123451、引言工業革命以來，人類大量采用機器來減輕人們的體力勞動，并獲得巨大效益。同樣，人類為了通過使用某種機器來減輕腦力勞動，也一直進行著不懈努力。20世紀40年代，由于計算機的發明和使用，使人類的文明進入計算機時代，在一定程度上減輕了人們的腦力勞動神經元網絡作為人工智能的一個分支，在近幾十年來，受到人們的廣泛重視。智能計算的核心問題是關于人腦功能的模擬問題。目前認為，人類的大腦中的神經元對于人腦的智能起著關鍵的作用，這些神經元的數量非常多，組成了十分復雜的神經網絡。 1、引言智能的定義眾所周知

2、人類是具有智能的，因為人類能夠記憶事物，能夠有目地進行一些活動，能夠通過學習獲得知識，并能在后續的學習中不斷地豐富知識，還有一定的能力運用這些知識去探索未知的東西，去發現、去創新。 粗略地講，智能是個體有目的的行為，合理的思維，以及有效的適應環境的綜合能力。也可以說，智能是個體認識客觀事物和運用知識解決問題的能力。 1、引言1感知和認識客觀事物、客觀世界和自我的能力感知是智能的基礎最基本的能力2通過學習取得經驗與積累知識的能力這是人類在世界中能夠不斷發展的最基本能力4聯想、推理、判斷、決策語言的能力3理解知識，運用知識和經驗分析、解決問題的能力這一能力可以算作是智能的高級形式是人類對世界進行適

3、當改造、推動社會不斷發展的能力這是智能高級形式的又一方面主動與被動之分。聯想、推理、判斷、決策的能力是主動的基礎。按照上面的描述，人類個體的智能是一種綜合能力。具體來講，可以包括一下八個方面的能力：1、引言5通過學習取得經驗與積累知識的能力6發現、發明、創造、創新的能力7實時、迅速、合理地應付復雜環境的能力8預測，洞察事物發展、變化的能力人工智能的定義 人工智能（Artificial Intelligence，AI）最初是在1956年被引入的。它研究怎樣讓計算機模仿人腦從事推理、設計、思考、學習等思維活動，以解決和處理較復雜的問題，簡單地來說，人工智能就是研究如何讓計算機模仿人腦進行工作。 2

4、、生物神經元 圖2-1 神經元的解剖 在人體內，神經元的結構形式并非是完全相同的；但是，無論結構形式如何，神經元都是 由一些基本的成份組成的。從圖中 可以看出：神經元是由細胞體，樹突和軸突三部分組成2、生物神經元突觸，是一個神經元與另一個神經元之間相聯系并進行信息傳送的結構。突觸的存在說明：兩個神經元的細胞質并不直接連通，兩者彼此聯系是通過突觸這種結構接口的。有時也把突觸看作是神經元之間的連 接。 圖2-2 突觸結構2生物神經元目前，根據神經生理學的研究，已經發現神經元及其間的突觸有4種不同的行為。神經元的4種生物行為有： 能處于抑制或興奮狀態；能產生爆發和平臺兩種情況能產生抑制后的反沖具有適

5、應性。突觸的4種生物行為有：能進行信息綜合能產生漸次變化的傳送有電接觸和化學接觸等多種連接方式會產生延時激發。目前，人工神經網絡的研究僅僅是對神經元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。 2生物神經元2.1神經元的興奮與抑制 2.2神經元的信息傳遞及閥值特性 2.3神經元的信息綜合特性圖2-3.神經元的興奮過程電位變化3神經元的數學模型 從神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據神經元的特性和功能，可以把神經元抽象為一個簡單的數學模型。3神經元的數學模型W權矢量（weight vector）X輸入矢量（inpu

6、t vector）3神經元的數學模型 比較常用的是激活函數可歸結為三種形式：閥值型、S型和線性型。激活函數：閾值型：3神經元的數學模型S型（Sigmoid）激活函數3神經元的數學模型線性型激活函數神經元的特點：是一多輸入、單輸出元件具有非線性的輸入輸出特性具有可塑性，其塑性變化的變化部分主要是權值（Wi）的變 化，這相當于生物神經元的突觸變化部分神經元的輸出響應是各個輸入值的綜合作用結果輸入分為興奮型（正值）和抑制型（負值）兩種。4.人工神經網絡 人工神經網絡（Artificial Neural Network ANN）是對人類大腦系統的一階特性的一種描述，簡單地講，它是一個數學模型可以用電子

7、線路來實現也可以用計算機程序來模擬，是人工智能研究的一種方法。 人工神經網絡的提出：信息的分布表示運算的全局并行和局部操作處理的非線性 人工神經網絡的三大特點：人工神經網絡的定義： 人工神經網絡是一個并行，分布處理結構，它由處理單元及稱為聯接的無向信號通道互連而成。這些處理單元(PEProcessing Element)具有局部內存，并可以完成局部操作、每個處理單元有一個單一的輸出聯接，這個輸出可以根據需要被分支成希望個數的許多并行聯接，且這些并行聯接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化，處理單元的輸出信號可以是任何需要的數學模型，每個處理單元中進行的操作必須

8、是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。 4.人工神經網絡4.人工神經網絡按照網絡的結構區分，則有前向網絡和反饋網絡按照學習方式區分，則有有教師學習和無教師學習網絡按照網絡性能區分，則有連續型和離散性網絡，隨機型和確定型網絡按照突觸性質區分，則有一階線性關聯網絡和高階非線性關聯網絡按對生物神經系統的層次模擬區分，則有神經元層次模型，組合式模型，網絡層次模型，神經系統層次模型和智能型模型。人工神經網絡的分類：4.人工神經網絡第一種：前饋網絡（Feedforward Network）下面介紹幾種常見的神經網絡。 表示一個

9、非線性激活函數，每個神經元的激活函數是算子的分量，激活函數是標量，是輸入矢量和權矢量之積。 前饋網絡沒有反饋，可以連成多層網，前饋網絡通常是有教師提供信息，提供期望值，可以從誤差信號來修正權值，直到誤差小于允許范圍。4.人工神經網絡 對于輸入X（t）僅在初始時刻不為零的情況，這種網絡也可以保持有輸出信號。所以 ，即 在t0時，輸入可以取消或被系統自動保持。如果我們這里只考慮 ，則在t0時，沒有輸入的情況，可將下一時刻的輸出寫成： ，為方便起見，也可將網絡的輸出狀態表示成： 第二種：反饋網絡4.人工神經網絡4.人工神經網絡第三種：相互結合型網絡 相互結合型網絡的結構如圖所示，它是網狀結構網絡，構

10、成網絡中的各個神經元都可能相互雙相聯接，所有的神經元即作輸入，同時也用輸出。這種網絡如果在某一時刻從外部加一個輸入信號，各個神經元一邊相互作用，一邊進行信息處理，直到收斂于某個穩定值為止。4.人工神經網絡第四種：混合型網絡 前面所講的前饋網絡和上述的相互結合型網絡分別是典型的層狀解構網絡和網狀結構網絡，介于兩種網絡中間的一種連接方式，如圖所示：它是在前饋網絡的同一層間各神經元又有互聯的結構，所以稱為混合型網絡。這種在同一層內互聯的目的是為了限制同層內神經元同時興奮或抑制的數目，已完成特定功能。例如：視網膜的神經元網絡就有許多這種連接形式。學習是神經系統的本能，人的神經系統是最發達的，所以人的學

11、習能力也最強。模仿人的學習過程人們提出多種神經網絡的學習方法。有教師學習無教師學習 4.人工神經網絡神經網絡的學習過程：4.人工神經網絡關于綜合誤差有各種不同的定義，但本質上都是一致的。這里介紹兩種：第一種：均方根標準誤差（Root-mean-square normalized error, RMS誤差）式中： 模式k第j個輸出單元的期望值； 模式k第j個輸出單元的實際值； M樣本模式對個數； Q輸出單元個數。第二種：誤差平方和式中：M樣本模式對個數；Q輸出單元個數。神經元網絡的學習規則 神經元網絡的最大特點就是它具有學習的能力，在學習過程中，主要是網絡的連接權的值產生了相應的變化，學習到的內

12、容也是記憶在連接權之中。 令為Wij第i個神經元的第j個輸入連接權，這個輸入可以是外來的輸入信號，也可以試來自其他神經元的輸出。學習信號r是Wi和X的函數，有時也包括教師信號di，所以有權矢量的變化是由學習步驟按時間t，t+1，一步一步進行計算的。在時刻t連接權的變化量為：其中c是一個正數，稱為學習常數，決定學習的速率。神經元網絡的學習規則離散學習步驟可寫成：從時刻t到下一個時刻（t+1），連接權按下式計算:其中c是一個正的常數，稱為學習常數，決定學習的速率。Hebb學習規則權分量用下式調整：或 當兩個神經元同時興奮時，突觸的傳遞效率加強，那么在人工神經網絡中就表現為連接權的增加。以a表示神經

13、元A的激活值（輸出），b表示神經元B的激活值，Wab表示兩個神經元的連接權，則Hebb學習規則的數學表達式為：根據Hebb學習規則，學習信號r等于神經元的輸出：感知機（Perceptron）學習規則這一規則是有監督學習，學習信號是期望值與神經元實際響應之差學習規則如下圖所示。注意：這個規則僅能用于雙極二進制神經響應。感知機（Perceptron）學習規則在這一規則下，Oi僅當不正確的情況下才進行權調整，誤差是學習的必要條件。由于期望值（di）與響應值（ Oi ）均為+1或者-1，所以權調整量為：這里“”號，“”號，當權值無變化。初始權可為任意值。Delta學習規則僅對連續激活函數，并只對有監督

14、學習模型有效。學習信號為： 誤差梯度矢量：這個學習規則可從Oi與di最小方差得出。方差：Delta學習規則這個規則是與離散感知器學習規則是并行的，可以稱為連續感知器訓練規則，它可以進一步推廣到多層。一般要求c取較小的值，是在權空間，按負的方向轉動權矢量。梯度矢量分量：由于最小誤差要求權變換是負梯度方向，所以取式中c正常數。神經元網絡的工作過程：這里主要介紹兩種最常用的形式：第一種：回想（recall） 自動聯想 異聯想第二種：分類（classification）異聯想的一種特殊情況識別自動聯想過程 異聯想過程分類過程 識別過程5多層網絡的誤差逆傳播校正方法誤差逆傳播校正方法是利用實際輸出與期望

15、輸出之差對網絡的各層連接權由后向前進行校正的一種計算方法。理論上講，這種方法可以適用于任意多層的網絡。5多層網絡的誤差逆傳播校正方法為計算方便，我們首先把網絡的變量設置如下：輸入模式向量：希望輸出向量： 中間層各單元輸入激活值向量：中間層各單元輸出向量：輸出層各單元輸入激活值向量：輸出實際值向量：輸入層至中間層的連接權：中間層至輸出層的連接權：中間層各單元的閾值：輸出層各單元的閾值：其中5多層網絡的誤差逆傳播校正方法激活函數才用S型函數：激活函數的導數為：這里的學習規則實際上是一種Delta學習規則，即利用誤差的負梯度來調整連接權，使其輸出誤差單調減少。利用Delta學習規則，應該先求出誤差函

16、數的梯度，因此有以下推導過程：對第k個學習模式，網絡的希望輸出與實際輸出的偏差設為：5多層網絡的誤差逆傳播校正方法采用平方和誤差進行計算：按梯度下降原則，中間層至輸出層連接權的調整量應為：展開：5多層網絡的誤差逆傳播校正方法利用（4）式可得：因為輸出層第t個單元的激活值為：輸出層第t個單元的輸出值為：由式（2）可得對于輸出函數的導數：5多層網絡的誤差逆傳播校正方法所以：因此，由式（6）（7）和（11）可得：為進一步簡化， 所以： 5多層網絡的誤差逆傳播校正方法同理，由輸入層至中間層連接權的調整，仍按梯度下降法的原則進行 ：同樣也可求出閾值的調整量： 為中間層各單元的校正誤差 以上的推導僅是針對

17、某一組學習模式進行的，其誤差也是某一組的誤差。對于全部的輸入模式，我們有網絡的全局誤差E： BP網絡的學習規則與計算方法輸入模式順傳播（輸入模式由輸入層經中間層向輸出層傳播計算），這一過程主要是利用輸入模式求出它所對應的實際輸出 輸出誤差逆傳播（輸出的誤差由輸出層經中間層傳向輸入層），當這些實際的輸出值與希望的輸出值不一樣時或者說其誤差大雨所限定的數值時，就要對網絡進行校正。循環記憶訓練（模式順傳播與誤差逆傳播的計算過程反復交替循環進行）學習結果判別（判定全局誤差是否趨向極小值）。BP網的學習過程利用前面求得的對各個連接權和閥值進行校正的數學表達式，可構成BP網絡的學習規則。BP網絡的應用舉例

18、“異或”（XOR）問題：例如有一個BP網絡，它由輸入、中間和輸出層這三層構成，如圖所示。輸入層和中間層各有兩個神經元，輸出層有一個神經元。先要求訓練這一網絡，使其具有解決“異或”問題的能力。X1 X2 希望輸出實際輸出全局誤差0 000.50.50 110.50.51 010.50.51 100.50.5首先給網絡的連接權及其閾值賦予-0.1,0.1區間的隨機數，如上圖所示。在初始狀態下的輸入、輸出結果如下表所示X2X1X10.08010.06050.05430.0579-0.02910.0999BP網絡的應用舉例X1 X2 希望輸出實際輸出全局誤差0 000.1190.1660 110.7271 010.7341 100.415這時的平方和誤差可用下式計算： 由于對應四個輸入模式的實際輸出均為0.5左右，所以全局誤差為0.5。下面采