1、1.1 1.1 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念 人的大腦是自然界所造就的最高級產(chǎn)物，人的大腦是自然界所造就的最高級產(chǎn)物，是已知的最復(fù)雜、最完善和最有效的信息處理是已知的最復(fù)雜、最完善和最有效的信息處理系統(tǒng)。人的思維概括為：邏輯思維、形象思維。系統(tǒng)。人的思維概括為：邏輯思維、形象思維。人工神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是探索人的形象思維人工神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是探索人的形象思維。人的智能是多種多樣和分層的。根據(jù)人的智能是多種多樣和分層的。根據(jù)19世紀(jì)神世紀(jì)神經(jīng)元學(xué)說，人們認(rèn)識到大腦是由大約經(jīng)元學(xué)說，人們認(rèn)識到大腦是由大約1011數(shù)量的數(shù)量的神經(jīng)元和神經(jīng)元和1014-1015個突觸組成的巨型系統(tǒng)個突觸組成

2、的巨型系統(tǒng)。 第一臺計算機第一臺計算機ENIAC的誕生，使人腦的的誕生，使人腦的計算功能得到了極大的延伸，被稱作為電腦。計算功能得到了極大的延伸，被稱作為電腦。隨著人類社會的進步，人們對計算機的智能隨著人類社會的進步，人們對計算機的智能要求越來越高。希望計算機既有超越人的計要求越來越高。希望計算機既有超越人的計算能力，又能聽懂人的語言，能識別文字、算能力，又能聽懂人的語言，能識別文字、圖形或圖象信息，有類似于人的識別、判斷、圖形或圖象信息，有類似于人的識別、判斷、聯(lián)想和決策能力。聯(lián)想和決策能力。 直接的方式：直接的方式：借鑒對人腦結(jié)構(gòu)和功能的借鑒對人腦結(jié)構(gòu)和功能的了解，了解，設(shè)計、建立有智能的

3、機器，使之具有設(shè)計、建立有智能的機器，使之具有象人腦那樣的信息處理能力。象人腦那樣的信息處理能力。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)就是基于這種思想產(chǎn)生的。就是基于這種思想產(chǎn)生的。定義定義 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Networks）是在人類對大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識理解）是在人類對大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識理解的基礎(chǔ)上，的基礎(chǔ)上，人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的神人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的神經(jīng)網(wǎng)絡(luò)經(jīng)網(wǎng)絡(luò)。它是理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模它是理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，是基于模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建型，是基于模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立起來的一種信息處理系統(tǒng)。立起

4、來的一種信息處理系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)實際上是由大量簡單神經(jīng)人工神經(jīng)網(wǎng)絡(luò)實際上是由大量簡單神經(jīng)元相互連接而成的復(fù)雜網(wǎng)絡(luò)。具有：元相互連接而成的復(fù)雜網(wǎng)絡(luò)。具有： 高度的非線形性；高度的非線形性； 學(xué)習(xí)能力、記憶能力、判斷能力；學(xué)習(xí)能力、記憶能力、判斷能力； 各種智能處理能力；各種智能處理能力； 可在不同程度上模仿人腦的信息處理、存可在不同程度上模仿人腦的信息處理、存儲、及檢索功能儲、及檢索功能。AI與與ANN兩點不同兩點不同1、知識表象不同、知識表象不同 AI用一維串表示知識；用一維串表示知識； ANN用二維或高維矩陣表示知識。用二維或高維矩陣表示知識。 優(yōu)點：自由度增加，存儲空間擴大，存儲容量可

5、以優(yōu)點：自由度增加，存儲空間擴大，存儲容量可以更大。容錯性大為提高。高維空間更易分類。更大。容錯性大為提高。高維空間更易分類。2、學(xué)習(xí)方式不同、學(xué)習(xí)方式不同 AI要求預(yù)編程序，它是在指定規(guī)則基礎(chǔ)上進行要求預(yù)編程序，它是在指定規(guī)則基礎(chǔ)上進行工作，只能進行推理。工作，只能進行推理。 ANN通過學(xué)習(xí)建立和改變知識，具有抽象的能通過學(xué)習(xí)建立和改變知識，具有抽象的能力，無須編程和指定規(guī)則。力，無須編程和指定規(guī)則。 1.2 1.2 神經(jīng)細(xì)胞及人工神經(jīng)細(xì)胞及人工神經(jīng)元組成神經(jīng)元組成 神經(jīng)元神經(jīng)元是生物神經(jīng)系是生物神經(jīng)系統(tǒng)的最基本的單元，形狀和統(tǒng)的最基本的單元，形狀和大小各種各樣。從組織結(jié)構(gòu)大小各種各樣。從組

6、織結(jié)構(gòu)方面看，各種神經(jīng)元有其共方面看，各種神經(jīng)元有其共性。神經(jīng)元由性。神經(jīng)元由細(xì)胞體、樹突細(xì)胞體、樹突和軸突和軸突組成（如圖組成（如圖1.11.1）。）。 圖1.1 神經(jīng)元網(wǎng)絡(luò)簡化結(jié)構(gòu)細(xì)胞體：細(xì)胞體：是神經(jīng)元的主體，由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)成。是神經(jīng)元的主體，由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)成。樹突：樹突：從細(xì)胞體向外延伸出許多樹狀突起，稱為樹突。起感受作用，從細(xì)胞體向外延伸出許多樹狀突起，稱為樹突。起感受作用，接收來自其他神經(jīng)元的傳遞信號。接收來自其他神經(jīng)元的傳遞信號。軸突：軸突：從細(xì)胞體向外伸出的最長的一突起，稱為軸突。用來傳出細(xì)胞從細(xì)胞體向外伸出的最長的一突起，稱為軸突。用來傳出

7、細(xì)胞體產(chǎn)生的輸出電信號。體產(chǎn)生的輸出電信號。神經(jīng)末梢：神經(jīng)末梢：軸突末端形成的許多細(xì)的分支。每一條神經(jīng)末梢可以與其軸突末端形成的許多細(xì)的分支。每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。所謂功能性連接并他神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。所謂功能性連接并非永久性接觸，它是神經(jīng)元之間信息傳遞的奧秘之處。非永久性接觸，它是神經(jīng)元之間信息傳遞的奧秘之處。神經(jīng)元工作機理神經(jīng)元工作機理 細(xì)胞膜細(xì)胞膜將細(xì)胞內(nèi)外分開，因此，細(xì)胞體內(nèi)外具有不同的電位，通常，將細(xì)胞內(nèi)外分開，因此，細(xì)胞體內(nèi)外具有不同的電位，通常，內(nèi)部電位比外部電位低。內(nèi)部電位比外部電位低。細(xì)胞內(nèi)外電位之差稱為膜電位

8、細(xì)胞內(nèi)外電位之差稱為膜電位。沒有信號輸入時。沒有信號輸入時的膜電位稱為靜止膜電位，一般在的膜電位稱為靜止膜電位，一般在-70mV左右。當(dāng)膜電位比靜止膜電位高左右。當(dāng)膜電位比靜止膜電位高約約15mV，即超過閾值電位（，即超過閾值電位（-55mV），該細(xì)胞變成活性細(xì)胞，其膜電位自），該細(xì)胞變成活性細(xì)胞，其膜電位自發(fā)地急速升高，在發(fā)地急速升高，在1ms內(nèi)比靜止膜電位上升內(nèi)比靜止膜電位上升100mV左右。此后，膜電位又左右。此后，膜電位又急速下降，回到靜止時的值，這一過程稱作細(xì)胞的急速下降，回到靜止時的值，這一過程稱作細(xì)胞的興奮過程興奮過程。興奮的結(jié)果，。興奮的結(jié)果，產(chǎn)生一個產(chǎn)生一個100mV的電脈沖

9、，又叫的電脈沖，又叫神經(jīng)沖動神經(jīng)沖動。 細(xì)胞體細(xì)胞體相當(dāng)于一個初等處理器，對來自其他神經(jīng)相當(dāng)于一個初等處理器，對來自其他神經(jīng)元的神經(jīng)信息元的神經(jīng)信息總體求和總體求和，產(chǎn)生一個神經(jīng)輸出信號。，產(chǎn)生一個神經(jīng)輸出信號。一一個神經(jīng)元把來自不同樹突的興奮性或抑制性輸入信號個神經(jīng)元把來自不同樹突的興奮性或抑制性輸入信號（突觸后膜電位）累加求和的過程，稱為（突觸后膜電位）累加求和的過程，稱為整合整合。考慮。考慮到輸入信號的影響要持續(xù)一段時間（毫秒級），因此，到輸入信號的影響要持續(xù)一段時間（毫秒級），因此，神經(jīng)元的整合功能是一種時空整合。當(dāng)神經(jīng)元的時空神經(jīng)元的整合功能是一種時空整合。當(dāng)神經(jīng)元的時空整合產(chǎn)生的膜

10、電位超過閾值時，神經(jīng)元產(chǎn)生興奮性電整合產(chǎn)生的膜電位超過閾值時，神經(jīng)元產(chǎn)生興奮性電脈沖，處于興奮狀態(tài)；否則，無電脈沖產(chǎn)生，處于抑脈沖，處于興奮狀態(tài)；否則，無電脈沖產(chǎn)生，處于抑制狀態(tài)。整合后產(chǎn)生的信號延著該細(xì)胞的軸突傳遞出制狀態(tài)。整合后產(chǎn)生的信號延著該細(xì)胞的軸突傳遞出去，并通過突觸傳遞給其他神經(jīng)細(xì)胞，神經(jīng)細(xì)胞通過去，并通過突觸傳遞給其他神經(jīng)細(xì)胞，神經(jīng)細(xì)胞通過突觸的連接形成神經(jīng)網(wǎng)絡(luò)。突觸的連接形成神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)元模型人工神經(jīng)元模型 形式神經(jīng)元模型是生物神經(jīng)元的抽象和模擬，抽形式神經(jīng)元模型是生物神經(jīng)元的抽象和模擬，抽象是從數(shù)學(xué)角度而言，模擬是以神經(jīng)元的結(jié)構(gòu)和功能象是從數(shù)學(xué)角度而言，模擬是以神經(jīng)元的

11、結(jié)構(gòu)和功能而言。而言。一般，形式神經(jīng)元如圖一般，形式神經(jīng)元如圖1.2所示。所示。圖1.2 形式神經(jīng)元模型 W1 W0 X2 X1 W2 Xn Wn X0 Y fiiniXW()0 它是一個多輸入單輸出的非線性閾值器件。它是一個多輸入單輸出的非線性閾值器件。x1,x2,xn：某一神經(jīng)元的：某一神經(jīng)元的n個輸入；個輸入；wij：第：第j個神經(jīng)元與第個神經(jīng)元與第i個神經(jīng)元的突觸連接強度，其值稱為權(quán)值；個神經(jīng)元的突觸連接強度，其值稱為權(quán)值；Ai：第：第i個神經(jīng)元的輸入總和，相應(yīng)于生物神經(jīng)細(xì)胞的膜電位；個神經(jīng)元的輸入總和，相應(yīng)于生物神經(jīng)細(xì)胞的膜電位；i表示神經(jīng)元的閾值，那么形式神經(jīng)元的輸出可以描述為：表

12、示神經(jīng)元的閾值，那么形式神經(jīng)元的輸出可以描述為： yi=f(Ai) Ai=wji xj-i 式中，式中，f(Ai)是表示神經(jīng)元輸入輸出關(guān)系的函數(shù)，稱為作用是表示神經(jīng)元輸入輸出關(guān)系的函數(shù)，稱為作用函數(shù)或傳遞函數(shù)。函數(shù)或傳遞函數(shù)。 W 1 W 0 X 2 X 1 W 2 X n W n X 0 Y fiiniXW()0AiAiAif(Ai)f(Ai)f(Ai)圖1.3 常用的作用函數(shù)形式(a) 閾值型 (b) S型 (c) 偽線性型 常用的作用函數(shù)可歸結(jié)為三種形式：閾值型、常用的作用函數(shù)可歸結(jié)為三種形式：閾值型、S型和偽線性型。如圖型和偽線性型。如圖1.3所示，這樣，就有三類基本所示，這樣，就有三

13、類基本的神經(jīng)元模型。的神經(jīng)元模型。ANN的特點：的特點：1、分布存儲和容錯性、分布存儲和容錯性 ANN的信息分布在整個網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一處不是的信息分布在整個網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一處不是只存儲一個外部信息，而每個神經(jīng)元存儲多種信息的只存儲一個外部信息，而每個神經(jīng)元存儲多種信息的部分內(nèi)容。優(yōu)點：信息不完整或損壞，仍可恢復(fù)原來部分內(nèi)容。優(yōu)點：信息不完整或損壞，仍可恢復(fù)原來的信息。這就是的信息。這就是聯(lián)想和記憶聯(lián)想和記憶。2、大規(guī)模并行處理、大規(guī)模并行處理 結(jié)構(gòu)上是并行的，各個單元可以同時進行類似的結(jié)構(gòu)上是并行的，各個單元可以同時進行類似的處理過程，因此，網(wǎng)絡(luò)中的信息處理在大量單元中平處理過程，因此，網(wǎng)絡(luò)中

14、的信息處理在大量單元中平行而又有層次的進行，運算速度高。行而又有層次的進行，運算速度高。3、自學(xué)習(xí)、自組織和自適應(yīng)性、自學(xué)習(xí)、自組織和自適應(yīng)性 通過學(xué)習(xí)，使網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)和聯(lián)系方式改變，通過學(xué)習(xí)，使網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)和聯(lián)系方式改變，更能適應(yīng)環(huán)境和外界事物。更能適應(yīng)環(huán)境和外界事物。ANN的特點：的特點：4、高度的非線形全局作用、高度的非線形全局作用 神經(jīng)網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元神經(jīng)網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元行為的簡單疊加，表現(xiàn)為復(fù)雜的非線形動態(tài)系統(tǒng)：不行為的簡單疊加，表現(xiàn)為復(fù)雜的非線形動態(tài)系統(tǒng)：不可預(yù)測性、不可逆性。可預(yù)測性、不可逆性。5、由于其容錯和聯(lián)想記憶功能、由于

15、其容錯和聯(lián)想記憶功能，能處理信息不完整、，能處理信息不完整、推理規(guī)則不確定的問題。如手寫體識別、醫(yī)學(xué)診斷、推理規(guī)則不確定的問題。如手寫體識別、醫(yī)學(xué)診斷、市場預(yù)測等。市場預(yù)測等。1.3 1.3 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)技術(shù)可以用于：函數(shù)逼近、人工神經(jīng)網(wǎng)絡(luò)技術(shù)可以用于：函數(shù)逼近、感知覺模擬、多目標(biāo)跟追、聯(lián)想記憶及數(shù)據(jù)恢復(fù)感知覺模擬、多目標(biāo)跟追、聯(lián)想記憶及數(shù)據(jù)恢復(fù)等。比較適宜解決如下問題：等。比較適宜解決如下問題：1 1、模式信息處理和模式識別、模式信息處理和模式識別 模式：模式：就是事物的某種特性屬類，如圖象、就是事物的某種特性屬類，如圖象、文字、語言、符號等感知形象信息

16、；動植物種類文字、語言、符號等感知形象信息；動植物種類形態(tài)（蘋果、橘子、柿子、西瓜、甜瓜等）、產(chǎn)形態(tài)（蘋果、橘子、柿子、西瓜、甜瓜等）、產(chǎn)品等級（水果的等級）、化學(xué)結(jié)構(gòu)等。品等級（水果的等級）、化學(xué)結(jié)構(gòu)等。 模式信息處理模式信息處理：對模式信息進行特征提取、：對模式信息進行特征提取、聚類分析、邊緣檢測、信號增強、噪聲抑制、聚類分析、邊緣檢測、信號增強、噪聲抑制、數(shù)據(jù)壓縮以及各種變換。數(shù)據(jù)壓縮以及各種變換。 模式識別模式識別：就是將所研究的對象的特性類：就是將所研究的對象的特性類屬映射成屬映射成“類別號類別號”，以實現(xiàn)對象類別的識別。，以實現(xiàn)對象類別的識別。 2 2、最優(yōu)化問題求解、最優(yōu)化問題求

17、解 人工神經(jīng)網(wǎng)絡(luò)的大部分模型是非線性動態(tài)人工神經(jīng)網(wǎng)絡(luò)的大部分模型是非線性動態(tài)系統(tǒng)，若系統(tǒng)，若將問題的目標(biāo)函數(shù)與網(wǎng)絡(luò)的某種能量將問題的目標(biāo)函數(shù)與網(wǎng)絡(luò)的某種能量函數(shù)對應(yīng)起來，網(wǎng)絡(luò)能量函數(shù)向極小值方向移函數(shù)對應(yīng)起來，網(wǎng)絡(luò)能量函數(shù)向極小值方向移動的過程，可視為優(yōu)化問題的解算過程。動的過程，可視為優(yōu)化問題的解算過程。 如：任務(wù)分配、貨物調(diào)度、路徑選擇、組如：任務(wù)分配、貨物調(diào)度、路徑選擇、組合編碼、排序、系統(tǒng)規(guī)劃、交通管理等問題的合編碼、排序、系統(tǒng)規(guī)劃、交通管理等問題的優(yōu)化求解。優(yōu)化求解。3 3、信息的智能化處理、信息的智能化處理 神經(jīng)網(wǎng)絡(luò)適宜于處理具有殘缺結(jié)構(gòu)和含有神經(jīng)網(wǎng)絡(luò)適宜于處理具有殘缺結(jié)構(gòu)和含有錯

18、誤成分的模式，能夠在信息源信息含糊、不錯誤成分的模式，能夠在信息源信息含糊、不確定、不完整、存在矛盾及假象等復(fù)雜環(huán)境中確定、不完整、存在矛盾及假象等復(fù)雜環(huán)境中處理模式。如醫(yī)學(xué)診斷，神經(jīng)網(wǎng)絡(luò)能對不完整處理模式。如醫(yī)學(xué)診斷，神經(jīng)網(wǎng)絡(luò)能對不完整信息進行補全（自學(xué)習(xí)能力），從而對復(fù)雜問信息進行補全（自學(xué)習(xí)能力），從而對復(fù)雜問題作出合理的決策判斷，給出較滿意的解答。題作出合理的決策判斷，給出較滿意的解答。 如：自然語言處理、市場分析、預(yù)測估計、如：自然語言處理、市場分析、預(yù)測估計、系統(tǒng)診斷、事故檢查、模糊評判等。系統(tǒng)診斷、事故檢查、模糊評判等。4 4、復(fù)雜控制、復(fù)雜控制 機器人運動等復(fù)雜控制問題。如：多

19、變量機器人運動等復(fù)雜控制問題。如：多變量自適應(yīng)控制、變結(jié)構(gòu)優(yōu)化控制、并行分布控制、自適應(yīng)控制、變結(jié)構(gòu)優(yōu)化控制、并行分布控制、智能及魯棒性控制等。智能及魯棒性控制等。5 5、信號處理、信號處理 自學(xué)習(xí)、自適應(yīng)能力，使其非常適合信號自學(xué)習(xí)、自適應(yīng)能力，使其非常適合信號處理。如：自適應(yīng)濾波、時序預(yù)測、通信編碼處理。如：自適應(yīng)濾波、時序預(yù)測、通信編碼與解碼、信號增強等。與解碼、信號增強等。 神經(jīng)網(wǎng)絡(luò)的研究基礎(chǔ)包括：生物學(xué)基礎(chǔ)、認(rèn)識科神經(jīng)網(wǎng)絡(luò)的研究基礎(chǔ)包括：生物學(xué)基礎(chǔ)、認(rèn)識科學(xué)基礎(chǔ)、理論基礎(chǔ)（數(shù)學(xué)、非線性動力學(xué)等）以及實學(xué)基礎(chǔ)、理論基礎(chǔ)（數(shù)學(xué)、非線性動力學(xué)等）以及實現(xiàn)的物質(zhì)基礎(chǔ)。現(xiàn)的物質(zhì)基礎(chǔ)。 人工神經(jīng)

20、網(wǎng)絡(luò)是對生物神經(jīng)系統(tǒng)的某種抽象、簡人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)系統(tǒng)的某種抽象、簡化與模擬化與模擬。具體人工神經(jīng)網(wǎng)絡(luò)是由許多并行互連的相。具體人工神經(jīng)網(wǎng)絡(luò)是由許多并行互連的相同神經(jīng)元模型組成。同神經(jīng)元模型組成。 一個神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型和結(jié)構(gòu)，描述了一個一個神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型和結(jié)構(gòu)，描述了一個網(wǎng)絡(luò)如何將輸入矢量轉(zhuǎn)化為輸出矢量的過程網(wǎng)絡(luò)如何將輸入矢量轉(zhuǎn)化為輸出矢量的過程。該過程。該過程實質(zhì)是一個計算過程。也就是說，實質(zhì)是一個計算過程。也就是說，人工神經(jīng)網(wǎng)絡(luò)的實人工神經(jīng)網(wǎng)絡(luò)的實質(zhì)體現(xiàn)了網(wǎng)絡(luò)輸入和輸出之間的一種函數(shù)關(guān)系質(zhì)體現(xiàn)了網(wǎng)絡(luò)輸入和輸出之間的一種函數(shù)關(guān)系。2.1 2.1 人工神經(jīng)元模型人工神經(jīng)元模型

21、 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，是生物神經(jīng)元的抽象、簡化和模擬是生物神經(jīng)元的抽象、簡化和模擬。抽象是從。抽象是從數(shù)學(xué)角度而言，模擬是以神經(jīng)元的結(jié)構(gòu)和功能數(shù)學(xué)角度而言，模擬是以神經(jīng)元的結(jié)構(gòu)和功能而言。而言。 一般，形式神經(jīng)元如圖一般，形式神經(jīng)元如圖2.1所示。所示。圖2.1 形式神經(jīng)元模型f(.)wjpjW1W2Wrp1p2prb1a 是一個是一個多輸入單輸出的非線性閾值器件多輸入單輸出的非線性閾值器件。神經(jīng)元的輸。神經(jīng)元的輸出除受輸入信號的影響外，還受神經(jīng)元內(nèi)部其他因素的影出除受輸入信號的影響外，還受神經(jīng)元內(nèi)部其他因素的影響，因此，還加有一個額外輸入信

22、號，稱為偏差響，因此，還加有一個額外輸入信號，稱為偏差(Bias)，或，或稱閾值。稱閾值。 一個具有一個具有r個輸入分量的神經(jīng)元如圖所示。其中個輸入分量的神經(jīng)元如圖所示。其中輸入分量輸入分量pj (j=1,2,r)通過與和它相乘的權(quán)值分量通過與和它相乘的權(quán)值分量wj (j=1,2, ,r)相連，以相連，以wjpj的形式求和后，形成激的形式求和后，形成激活函數(shù)活函數(shù)f(.)的輸入。激活函數(shù)的另一個輸入是偏差的輸入。激活函數(shù)的另一個輸入是偏差b。權(quán)值權(quán)值wj和輸入和輸入pj的矩陣形式，可以由表示的矩陣形式，可以由表示W(wǎng)的行矢量的行矢量以及以及P的列矢量來表示。的列矢量來表示。W=w1 w2 wrP

23、=p1 p2 prT 神經(jīng)元的輸出矢量神經(jīng)元的輸出矢量： A = f (W*P+b) = f (wj pj+b) (j=1,2, ,r)偏差偏差b也是一個權(quán)值，只是一個固定常數(shù)為也是一個權(quán)值，只是一個固定常數(shù)為1的輸入。的輸入。偏差有重要的作用，它能使激活函數(shù)圖形左右移動偏差有重要的作用，它能使激活函數(shù)圖形左右移動而增加解決問題的可能性。而增加解決問題的可能性。2.2 激活激活(傳遞傳遞)函數(shù)函數(shù)激活函數(shù)（激活函數(shù)（Activation Transfer function）是神經(jīng)網(wǎng)）是神經(jīng)網(wǎng)絡(luò)的核心。作用：絡(luò)的核心。作用：（1）控制輸入對輸出的激活作用；）控制輸入對輸出的激活作用；（2）對輸入

24、輸出進行函數(shù)轉(zhuǎn)換；）對輸入輸出進行函數(shù)轉(zhuǎn)換；（3）將可能無限域的輸入變換成指定的有限范圍內(nèi)）將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。的輸出。常用的作用函數(shù)可歸結(jié)為三種形式：閾值型、常用的作用函數(shù)可歸結(jié)為三種形式：閾值型、S型和偽線性型。型和偽線性型。1 1、閾值型（硬限制型）、閾值型（硬限制型）這種激活函數(shù)將任意輸入轉(zhuǎn)化為這種激活函數(shù)將任意輸入轉(zhuǎn)化為0或或1的輸出，的輸出，函數(shù)函數(shù)f()為階躍函數(shù)。輸入為階躍函數(shù)。輸入/輸出關(guān)系為：輸出關(guān)系為： A = f (W*P+b) = 0 W*P+b0 1 W*P+b0nfnf-b（a）無偏差閾值型 （b）有偏差閾值型圖2.2 閾值型激活函數(shù)2

25、 2、線形型、線形型 線形激活函數(shù)使網(wǎng)絡(luò)的輸出等于加權(quán)輸入和加上線形激活函數(shù)使網(wǎng)絡(luò)的輸出等于加權(quán)輸入和加上偏差。輸入輸出關(guān)系為：偏差。輸入輸出關(guān)系為： A = f (W*P+b) =W*P+bnnfnnf-bb (a)無偏差線型 （b）有偏差線型圖2.3 線型激活函數(shù)3 3、S S型激活函數(shù)型激活函數(shù)(Sigmoid)(Sigmoid) S型激活函數(shù)將任意的輸入壓縮到（型激活函數(shù)將任意的輸入壓縮到（0，1）的范）的范圍。對數(shù)圍。對數(shù)S型激活函數(shù)為：型激活函數(shù)為： 雙曲正切雙曲正切S型激活函數(shù)的輸入、輸出函數(shù)關(guān)系為：型激活函數(shù)的輸入、輸出函數(shù)關(guān)系為： )(11bnef)(2)(211bnbnee

26、ff1-b-1nf1-b-1n (a)有偏差對數(shù)S型 （b）有偏差雙曲正切S線型圖2.4 S型激活函數(shù) S型激活函數(shù)具有非線形放大增益，對型激活函數(shù)具有非線形放大增益，對任意輸入的增益等于在輸入、輸出曲線中該任意輸入的增益等于在輸入、輸出曲線中該輸入點處的斜率值。當(dāng)輸入由輸入點處的斜率值。當(dāng)輸入由增大到增大到0，增益由增益由0增至最大；由增至最大；由0增大到增大到時，增益由最時，增益由最大逐漸降低至大逐漸降低至0，并總為正。利用該函數(shù)可以，并總為正。利用該函數(shù)可以使同一網(wǎng)絡(luò)即能處理小信號，也能處理大信使同一網(wǎng)絡(luò)即能處理小信號，也能處理大信號。號。 根據(jù)傳遞函數(shù)的類型，就有三類基本的根據(jù)傳遞函數(shù)

27、的類型，就有三類基本的神經(jīng)元模型。神經(jīng)元模型。1 1、閾值型神經(jīng)元、閾值型神經(jīng)元 閾值型神經(jīng)元是由美國心理學(xué)家閾值型神經(jīng)元是由美國心理學(xué)家McCulloch和數(shù)和數(shù)學(xué)家學(xué)家Pitts共同提出，因此，常稱為共同提出，因此，常稱為M-P模型模型。M-P模型神經(jīng)元是二值神經(jīng)元，其輸出狀態(tài)值取值為模型神經(jīng)元是二值神經(jīng)元，其輸出狀態(tài)值取值為1或或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。某一時刻，分別代表神經(jīng)元的興奮和抑制狀態(tài)。某一時刻，神經(jīng)元處于哪種狀態(tài)是由其激活函數(shù)決定的。如果神經(jīng)元處于哪種狀態(tài)是由其激活函數(shù)決定的。如果Ai0，即神經(jīng)元加權(quán)總和超過某個閾值，那么第，即神經(jīng)元加權(quán)總和超過某個閾值，那么第i個

28、個神經(jīng)元點火，狀態(tài)為神經(jīng)元點火，狀態(tài)為1；如果；如果Ai0，那么神經(jīng)元不點，那么神經(jīng)元不點火，狀態(tài)為火，狀態(tài)為0。通常，將這個規(guī)則稱為。通常，將這個規(guī)則稱為M-P模型神經(jīng)模型神經(jīng)元的點火規(guī)則。數(shù)學(xué)表達(dá)式為：元的點火規(guī)則。數(shù)學(xué)表達(dá)式為： 0001)(iiAAnfa對于對于M-P模型神經(jīng)元，權(quán)值模型神經(jīng)元，權(quán)值Wji可在（可在（1，1）區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強度，正值表示加強。接強度，正值表示加強。2 2、S S型神經(jīng)元型神經(jīng)元 S型神經(jīng)元是最常用的一種連續(xù)神經(jīng)元模型，型神經(jīng)元是最常用的一種連續(xù)神經(jīng)元模型，輸出值在某個范圍內(nèi)連續(xù)取值的

29、。輸入、輸出特輸出值在某個范圍內(nèi)連續(xù)取值的。輸入、輸出特性多采用指數(shù)、對數(shù)或雙曲正切等性多采用指數(shù)、對數(shù)或雙曲正切等S型函數(shù)表示。型函數(shù)表示。S型作用函數(shù)反映了神經(jīng)元的非線性輸出。型作用函數(shù)反映了神經(jīng)元的非線性輸出。 3 3、偽線性神經(jīng)元、偽線性神經(jīng)元偽線性神經(jīng)元的輸入輸出特性滿足一定的區(qū)間偽線性神經(jīng)元的輸入輸出特性滿足一定的區(qū)間線性關(guān)系，其輸出可表達(dá)為：線性關(guān)系，其輸出可表達(dá)為： 0 ni0C ni 0Acai=f(ni)=式中，式中，C、Ac均表示常量。均表示常量。2.3 2.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作機理基本上是以人腦的組結(jié)構(gòu)和工作機理基本上是以人腦的組織結(jié)

30、構(gòu)和活動規(guī)律為背景的，它反映了腦的某些基織結(jié)構(gòu)和活動規(guī)律為背景的，它反映了腦的某些基本特征，但本特征，但并不是要對人腦部分的真正實現(xiàn)，可以并不是要對人腦部分的真正實現(xiàn)，可以說它是某種抽象、簡化或模仿說它是某種抽象、簡化或模仿。 如果如果將大量功能簡單的形式神經(jīng)元通過一定的將大量功能簡單的形式神經(jīng)元通過一定的拓?fù)浣Y(jié)構(gòu)組織起來，構(gòu)成群體并行分布式處理的計拓?fù)浣Y(jié)構(gòu)組織起來，構(gòu)成群體并行分布式處理的計算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡(luò)算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡(luò)，在不引，在不引起混淆的情況下，統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)。起混淆的情況下，統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)。不同角度分類：不同角度分類：按網(wǎng)絡(luò)按網(wǎng)絡(luò)結(jié)構(gòu)結(jié)構(gòu)：前

31、向、反饋：前向、反饋按按性能性能：連續(xù)、離散，確定、隨機。：連續(xù)、離散，確定、隨機。按按學(xué)習(xí)方式學(xué)習(xí)方式：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)。：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)。根據(jù)神經(jīng)元之間連接的根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)上的不同，可將神上的不同，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類：分層網(wǎng)絡(luò)、相互連接網(wǎng)絡(luò)。經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類：分層網(wǎng)絡(luò)、相互連接網(wǎng)絡(luò)。1 1、單層網(wǎng)絡(luò)模型、單層網(wǎng)絡(luò)模型 將兩個以上神經(jīng)元并聯(lián)起來，每個神經(jīng)元具有將兩個以上神經(jīng)元并聯(lián)起來，每個神經(jīng)元具有同樣的輸入，即可組成一個神經(jīng)元層，每個神經(jīng)元同樣的輸入，即可組成一個神經(jīng)元層，每個神經(jīng)元產(chǎn)生一個輸出。產(chǎn)生一個輸出。 輸出輸入輸出層輸入層中間層訓(xùn)練

32、層圖2.5 分層網(wǎng)絡(luò)的功能層次2 2、分層網(wǎng)絡(luò)、分層網(wǎng)絡(luò)分層網(wǎng)絡(luò)一般有輸入層、隱層（又稱中間層）和輸分層網(wǎng)絡(luò)一般有輸入層、隱層（又稱中間層）和輸出層，各層順序連接，如圖出層，各層順序連接，如圖2.5所示。所示。 輸入層輸入層:是網(wǎng)絡(luò)與外部環(huán)境打交道的地方，它接收外是網(wǎng)絡(luò)與外部環(huán)境打交道的地方，它接收外部輸入模式，并由輸入單元傳送給相連隱層各單元；部輸入模式，并由輸入單元傳送給相連隱層各單元；隱層隱層:是網(wǎng)絡(luò)的內(nèi)部處理單元層，神經(jīng)網(wǎng)絡(luò)具有模式是網(wǎng)絡(luò)的內(nèi)部處理單元層，神經(jīng)網(wǎng)絡(luò)具有模式變換能力，如模式分類、模式完善、特征抽取等，主變換能力，如模式分類、模式完善、特征抽取等，主要體現(xiàn)在隱層單元的處理。

33、根據(jù)模式變換功能的不同，要體現(xiàn)在隱層單元的處理。根據(jù)模式變換功能的不同，隱層可以有多層，也可以沒有。由于隱層單元不直接隱層可以有多層，也可以沒有。由于隱層單元不直接與外部輸入輸出打交道，故通常將中間層稱為隱層；與外部輸入輸出打交道，故通常將中間層稱為隱層；輸出層輸出層:是網(wǎng)絡(luò)產(chǎn)生輸出模式并與顯示設(shè)備或執(zhí)行機是網(wǎng)絡(luò)產(chǎn)生輸出模式并與顯示設(shè)備或執(zhí)行機構(gòu)打交道的地方。結(jié)合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式的不同，將構(gòu)打交道的地方。結(jié)合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式的不同，將有導(dǎo)師學(xué)習(xí)或強化學(xué)習(xí)情況下對輸出層單元產(chǎn)生作用有導(dǎo)師學(xué)習(xí)或強化學(xué)習(xí)情況下對輸出層單元產(chǎn)生作用的已知狀態(tài)信息層，稱為訓(xùn)練層。例如，對于模式匹的已知狀態(tài)信息層，稱為訓(xùn)

34、練層。例如，對于模式匹配問題，訓(xùn)練層單元的狀態(tài)向量即為相應(yīng)于輸入模式配問題，訓(xùn)練層單元的狀態(tài)向量即為相應(yīng)于輸入模式的期望輸出模式。的期望輸出模式。分層網(wǎng)絡(luò)可細(xì)分為三種互連形式：簡單的前向網(wǎng)絡(luò)，具有反分層網(wǎng)絡(luò)可細(xì)分為三種互連形式：簡單的前向網(wǎng)絡(luò)，具有反饋的前向網(wǎng)絡(luò)以及層內(nèi)有相互連接的前向網(wǎng)絡(luò)。饋的前向網(wǎng)絡(luò)以及層內(nèi)有相互連接的前向網(wǎng)絡(luò)。圖2.6 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖圖2.6(a)所示為簡單的前向網(wǎng)絡(luò)形狀，輸入模式由輸所示為簡單的前向網(wǎng)絡(luò)形狀，輸入模式由輸入層進入網(wǎng)絡(luò)，經(jīng)過中間各層的順序模式變換，由入層進入網(wǎng)絡(luò)，經(jīng)過中間各層的順序模式變換，由輸出層產(chǎn)生一個輸出模式，便完成一次網(wǎng)絡(luò)狀態(tài)更輸出層產(chǎn)生一個輸

35、出模式，便完成一次網(wǎng)絡(luò)狀態(tài)更新。這是最簡單的分層網(wǎng)絡(luò)結(jié)構(gòu)，所謂前向網(wǎng)絡(luò)是新。這是最簡單的分層網(wǎng)絡(luò)結(jié)構(gòu)，所謂前向網(wǎng)絡(luò)是由分層網(wǎng)絡(luò)逐層模式變換處理的方向而得名的。第由分層網(wǎng)絡(luò)逐層模式變換處理的方向而得名的。第三章介紹的三章介紹的BP網(wǎng)絡(luò)就是一個典型的前向網(wǎng)絡(luò)。網(wǎng)絡(luò)就是一個典型的前向網(wǎng)絡(luò)。圖圖2.6(b)所示為輸出層到輸入層具有反饋的前向網(wǎng)絡(luò)，所示為輸出層到輸入層具有反饋的前向網(wǎng)絡(luò)，反饋的結(jié)果形成封閉環(huán)路，具有反饋的單元也稱為反饋的結(jié)果形成封閉環(huán)路，具有反饋的單元也稱為隱單元，其輸出稱為內(nèi)部輸出。隱單元，其輸出稱為內(nèi)部輸出。圖圖2.6(c)所示為層內(nèi)有相互連接的前向網(wǎng)絡(luò)，同一層所示為層內(nèi)有相互連接的

36、前向網(wǎng)絡(luò)，同一層內(nèi)單元的相互連接使它們有彼此牽制作用，如限制內(nèi)單元的相互連接使它們有彼此牽制作用，如限制同一層內(nèi)能同時激活的單元個數(shù)，競爭抑制網(wǎng)絡(luò)就同一層內(nèi)能同時激活的單元個數(shù)，競爭抑制網(wǎng)絡(luò)就屬此類。屬此類。3 3、相互連接型結(jié)構(gòu)、相互連接型結(jié)構(gòu)所謂相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任何兩個單元之間所謂相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任何兩個單元之間是可達(dá)的，即存在連接路徑，如圖是可達(dá)的，即存在連接路徑，如圖2.6(d)所示。所示。Hopfield網(wǎng)絡(luò)和波爾茨曼機模型結(jié)構(gòu)均屬此類。網(wǎng)絡(luò)和波爾茨曼機模型結(jié)構(gòu)均屬此類。對于簡單前向網(wǎng)絡(luò)，給定某一輸入模式，網(wǎng)絡(luò)能迅對于簡單前向網(wǎng)絡(luò)，給定某一輸入模式，網(wǎng)絡(luò)能迅速產(chǎn)生一個

37、相應(yīng)的輸出模式，并保持不變。但在相速產(chǎn)生一個相應(yīng)的輸出模式，并保持不變。但在相互連接型網(wǎng)絡(luò)中，情況較為復(fù)雜。對于給定的某一互連接型網(wǎng)絡(luò)中，情況較為復(fù)雜。對于給定的某一輸入模式，由某一初始網(wǎng)絡(luò)參數(shù)出發(fā)，在一段時間輸入模式，由某一初始網(wǎng)絡(luò)參數(shù)出發(fā)，在一段時間內(nèi)網(wǎng)絡(luò)處于不斷改變輸出模式的動態(tài)變換中，最終內(nèi)網(wǎng)絡(luò)處于不斷改變輸出模式的動態(tài)變換中，最終網(wǎng)絡(luò)可能會產(chǎn)生某一穩(wěn)定輸出，也有可能進入周期網(wǎng)絡(luò)可能會產(chǎn)生某一穩(wěn)定輸出，也有可能進入周期性振蕩或混沌狀態(tài)。因此，相互連接型網(wǎng)絡(luò)可以認(rèn)性振蕩或混沌狀態(tài)。因此，相互連接型網(wǎng)絡(luò)可以認(rèn)為是一種非線性動力系統(tǒng)。為是一種非線性動力系統(tǒng)。2.4 2.4 學(xué)習(xí)與記憶學(xué)習(xí)與記

38、憶2.4.1 2.4.1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)：學(xué)習(xí)：是神經(jīng)網(wǎng)絡(luò)的最重要的特征之一。是神經(jīng)網(wǎng)絡(luò)的最重要的特征之一。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)能夠通過訓(xùn)練，改變其內(nèi)部表示，使輸入能夠通過訓(xùn)練，改變其內(nèi)部表示，使輸入輸出變換朝好的方向發(fā)展。輸出變換朝好的方向發(fā)展。訓(xùn)練：實質(zhì)是用同一個訓(xùn)練集的樣本反復(fù)作訓(xùn)練：實質(zhì)是用同一個訓(xùn)練集的樣本反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則（學(xué)習(xí)用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則（學(xué)習(xí)規(guī)則或?qū)W習(xí)算法），自動調(diào)節(jié)神經(jīng)元之間的規(guī)則或?qū)W習(xí)算法），自動調(diào)節(jié)神經(jīng)元之間的連接強度或拓?fù)浣Y(jié)構(gòu)，當(dāng)網(wǎng)絡(luò)的實際輸出滿連接強度或拓?fù)浣Y(jié)構(gòu)，當(dāng)網(wǎng)絡(luò)的實際輸出滿足期望的要求，或者趨于穩(wěn)定，這認(rèn)為

39、訓(xùn)練足期望的要求，或者趨于穩(wěn)定，這認(rèn)為訓(xùn)練圓滿結(jié)束。圓滿結(jié)束。權(quán)值修正學(xué)派認(rèn)為：權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)，以獲得期望的輸出整網(wǎng)絡(luò)的連接權(quán)，以獲得期望的輸出。如何調(diào)整權(quán)值。如何調(diào)整權(quán)值即學(xué)習(xí)規(guī)則的研究是一個非常重要的課題。即學(xué)習(xí)規(guī)則的研究是一個非常重要的課題。典型的權(quán)值修正方法：典型的權(quán)值修正方法：相關(guān)學(xué)習(xí)相關(guān)學(xué)習(xí)和和誤差修正學(xué)習(xí)誤差修正學(xué)習(xí)。：其思想最早是由：其思想最早是由Hebb作為假設(shè)提出，作為假設(shè)提出，并已得到神經(jīng)細(xì)胞學(xué)說的證實，人們稱之為并已得到神經(jīng)細(xì)胞學(xué)說的證實，人們稱之為Hebb（海布）學(xué)習(xí)規(guī)則。（海布）學(xué)習(xí)規(guī)則。 H

40、ebb學(xué)習(xí)規(guī)則可描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)學(xué)習(xí)規(guī)則可描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么，這兩個神經(jīng)元的連接強度應(yīng)該加強。用一算法那么，這兩個神經(jīng)元的連接強度應(yīng)該加強。用一算法表達(dá)式表示為：表達(dá)式表示為：Wji (t + 1) = Wji (t) + Xi(t),Xj(t) 式中，式中，Wji (t + 1)表示修正一次后的某一權(quán)值；表示修正一次后的某一權(quán)值；是一個正常量，決定每次權(quán)值修正量，又稱是一個正常量，決定每次權(quán)值修正量，又稱為為學(xué)習(xí)因子學(xué)習(xí)因子；Xi(t) 、Xj(t)分別表示分別表示t時刻

41、第時刻第i、第第j個神經(jīng)元狀態(tài)。由于個神經(jīng)元狀態(tài)。由于Hebb學(xué)習(xí)規(guī)則具有一學(xué)習(xí)規(guī)則具有一定的生物依據(jù)，基本思想很容易被接受，因此，定的生物依據(jù)，基本思想很容易被接受，因此，得到了較廣泛的應(yīng)用。得到了較廣泛的應(yīng)用。:是神經(jīng)網(wǎng)絡(luò)中另一類更重要的方法，像感知機學(xué)習(xí)、是神經(jīng)網(wǎng)絡(luò)中另一類更重要的方法，像感知機學(xué)習(xí)、BP網(wǎng)絡(luò)學(xué)習(xí)均屬此類。網(wǎng)絡(luò)學(xué)習(xí)均屬此類。最基本的誤差修正學(xué)習(xí)方法，即最基本的誤差修正學(xué)習(xí)方法，即學(xué)習(xí)規(guī)則，由學(xué)習(xí)規(guī)則，由4步描述：步描述：（1）選擇一組初始權(quán)值）選擇一組初始權(quán)值Wji ( 0 );（2）計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤）計算某一輸入模式對應(yīng)的實際輸出與期望輸出的

42、誤差；差；（3）更新權(quán)值（閾值可視為輸入恒為）更新權(quán)值（閾值可視為輸入恒為1的一個權(quán)值）：的一個權(quán)值）： Wji (t + 1 ) = Wji ( t ) + dj yj ( t ) xi ( t ) 式中，式中，為學(xué)習(xí)因子；為學(xué)習(xí)因子；dj、yj分別表示第分別表示第j個神經(jīng)元的期望個神經(jīng)元的期望輸出與實際輸出；輸出與實際輸出；xi為第為第j個神經(jīng)元的第個神經(jīng)元的第i個輸入。個輸入。（4）返回步驟（）返回步驟（2），直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均），直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。能滿足要求。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)不只體現(xiàn)在權(quán)值的變化，而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)不只體現(xiàn)在權(quán)值的變化，而且在網(wǎng)絡(luò)的結(jié)構(gòu)上也有

43、變化。這類方法與權(quán)且在網(wǎng)絡(luò)的結(jié)構(gòu)上也有變化。這類方法與權(quán)值修正方法并不完全脫離，二者具有補充作值修正方法并不完全脫離，二者具有補充作用。結(jié)構(gòu)變化學(xué)習(xí)技術(shù)已用于用。結(jié)構(gòu)變化學(xué)習(xí)技術(shù)已用于BP學(xué)習(xí)作為分學(xué)習(xí)作為分配新的隱單元。配新的隱單元。2、學(xué)習(xí)技術(shù)分類、學(xué)習(xí)技術(shù)分類表表2.2列出了常見的幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)分列出了常見的幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)分類。類。考慮環(huán)境影響拓?fù)渥兓S機與確定輸入要求1有導(dǎo)師學(xué)習(xí)1權(quán)值修正1確定性學(xué)習(xí)1基于相似性學(xué)習(xí)2強化學(xué)習(xí)2拓?fù)渥兓?隨機性學(xué)習(xí)（例子學(xué)習(xí)）3無導(dǎo)師學(xué)習(xí)3權(quán)值與拓?fù)湫拚?基于命令學(xué)習(xí)表2.2 學(xué)習(xí)技術(shù)的常見分類 根據(jù)學(xué)習(xí)時根據(jù)學(xué)習(xí)時是否需要外部指導(dǎo)信息是否

44、需要外部指導(dǎo)信息，通常將神經(jīng)網(wǎng)，通常將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分為三種類型，即絡(luò)的學(xué)習(xí)分為三種類型，即有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)、強化學(xué)習(xí)強化學(xué)習(xí)和和無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)。有導(dǎo)師學(xué)習(xí)：有導(dǎo)師學(xué)習(xí)：必須事先必須事先知道學(xué)習(xí)的期望結(jié)果知道學(xué)習(xí)的期望結(jié)果教師信息教師信息，并依此，并依此按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。BP網(wǎng)絡(luò)學(xué)習(xí)就是一網(wǎng)絡(luò)學(xué)習(xí)就是一個典型的有導(dǎo)師學(xué)習(xí)的例子。給定一組輸入模式及個典型的有導(dǎo)師學(xué)習(xí)的例子。給定一組輸入模式及相應(yīng)的期望輸出模式，相應(yīng)的期望輸出模式，構(gòu)成一組輸入輸出模式對構(gòu)成一組輸入輸出模式對，網(wǎng)絡(luò)根據(jù)輸入模式得出一個實際輸出模式，如果實網(wǎng)絡(luò)根據(jù)輸入模式得出一個實際輸

45、出模式，如果實際輸出模式與期望輸出模式之間存在一定的誤差，際輸出模式與期望輸出模式之間存在一定的誤差，那么就按照梯度下降法修正權(quán)值，以減小輸出誤差。那么就按照梯度下降法修正權(quán)值，以減小輸出誤差。這樣反復(fù)學(xué)習(xí)多次，直到對所有訓(xùn)練用輸入模式，這樣反復(fù)學(xué)習(xí)多次，直到對所有訓(xùn)練用輸入模式，網(wǎng)絡(luò)均能產(chǎn)生期望的輸出。網(wǎng)絡(luò)均能產(chǎn)生期望的輸出。 強化學(xué)習(xí)強化學(xué)習(xí)利用某一種利用某一種表示表示“獎獎/懲懲”的全局信號的全局信號，衡量與強化，衡量與強化輸入相關(guān)的局部決策如何。局部決策指變量（如權(quán)、輸入相關(guān)的局部決策如何。局部決策指變量（如權(quán)、神經(jīng)元狀態(tài)）的變化。強化信號并不像復(fù)雜的教師神經(jīng)元狀態(tài)）的變化。強化信號并

46、不像復(fù)雜的教師信號，它只表示輸出結(jié)果信號，它只表示輸出結(jié)果“好好”或或“壞壞”。強化學(xué)。強化學(xué)習(xí)需要的外部預(yù)知信息很少，當(dāng)不知道對于給定的習(xí)需要的外部預(yù)知信息很少，當(dāng)不知道對于給定的輸入模式，相應(yīng)輸出應(yīng)該是什么時，強化學(xué)習(xí)能夠輸入模式，相應(yīng)輸出應(yīng)該是什么時，強化學(xué)習(xí)能夠根據(jù)一些獎懲規(guī)則，得出有用的結(jié)果。根據(jù)一些獎懲規(guī)則，得出有用的結(jié)果。無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)不需要教師信息和強化信號，只要給定輸入信息，不需要教師信息和強化信號，只要給定輸入信息，網(wǎng)絡(luò)通過自組織調(diào)整，自學(xué)習(xí)并給出一定意義下的網(wǎng)絡(luò)通過自組織調(diào)整，自學(xué)習(xí)并給出一定意義下的輸出響應(yīng)。競爭學(xué)習(xí)就是一個典型的無導(dǎo)師學(xué)習(xí)。輸出響應(yīng)。競爭學(xué)習(xí)就是

47、一個典型的無導(dǎo)師學(xué)習(xí)。W-H學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則由威德羅和霍夫提出由威德羅和霍夫提出,用來修正權(quán)矢量的學(xué)習(xí)規(guī)則。用來修正權(quán)矢量的學(xué)習(xí)規(guī)則。采用采用WH學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想線性地逼近一個函數(shù)式而進行模式聯(lián)想(Pattern Association)。定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù)為：定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù)為： 可以看出：線形網(wǎng)絡(luò)具有拋物線型誤差函數(shù)所形可以看出：線形網(wǎng)絡(luò)具有拋物線型誤差函數(shù)所形成的誤差表面，所以只有一個誤差最小值。通過成的誤差表面，所以只有一個誤差最小值。通過WH學(xué)習(xí)規(guī)則來計

48、算權(quán)值和偏差的變化，并使網(wǎng)絡(luò)學(xué)習(xí)規(guī)則來計算權(quán)值和偏差的變化，并使網(wǎng)絡(luò)誤差的平方和最小化，總能夠訓(xùn)練一個網(wǎng)絡(luò)的誤差誤差的平方和最小化，總能夠訓(xùn)練一個網(wǎng)絡(luò)的誤差趨于這個最小值。趨于這個最小值。 圖3.3誤差表面示意圖 E(W,B)只取決于網(wǎng)絡(luò)的權(quán)值只取決于網(wǎng)絡(luò)的權(quán)值W及目標(biāo)矢量及目標(biāo)矢量T。我。我們的目的是通過調(diào)節(jié)權(quán)矢量，使們的目的是通過調(diào)節(jié)權(quán)矢量，使E(W,B)達(dá)到最小值。達(dá)到最小值。所以在給定所以在給定E(W,B)后，利用后，利用WH學(xué)習(xí)規(guī)則修正權(quán)矢學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使量和偏差矢量，使E(W,B)從誤差空間的某一點開始，從誤差空間的某一點開始，沿著沿著E(W,B)的曲面向下滑行。根

49、據(jù)梯度下降法，權(quán)矢的曲面向下滑行。根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上量的修正值正比于當(dāng)前位置上E(W,B)的梯度，對于第的梯度，對于第i個輸出節(jié)點有：個輸出節(jié)點有： （33）這里這里i義為第義為第i輸出節(jié)點的誤差：輸出節(jié)點的誤差： i = ti - ai(3.3)式稱為式稱為WH學(xué)習(xí)規(guī)則，又叫學(xué)習(xí)規(guī)則，又叫規(guī)則，或為最小規(guī)則，或為最小均方差算法（均方差算法（LMS）。）。WH學(xué)習(xí)規(guī)則的權(quán)值變化量正比于網(wǎng)絡(luò)的輸出誤差學(xué)習(xí)規(guī)則的權(quán)值變化量正比于網(wǎng)絡(luò)的輸出誤差及網(wǎng)絡(luò)的輸入矢量。及網(wǎng)絡(luò)的輸入矢量。優(yōu)點：不需求導(dǎo)數(shù)，所以算法簡單，又具有收斂速優(yōu)點：不需求導(dǎo)數(shù)，所以算法簡單，又具有收斂速度快和

50、精度高的優(yōu)點。度快和精度高的優(yōu)點。為學(xué)習(xí)速率。在一般的實際運用中，實踐表明，為學(xué)習(xí)速率。在一般的實際運用中，實踐表明， 通常取一接近通常取一接近1的數(shù)。的數(shù)。 采用采用WH規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的要條件是被訓(xùn)練的輸入矢量必須是線性獨立的，且應(yīng)適當(dāng)?shù)剌斎胧噶勘仨毷蔷€性獨立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象。選擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象。4.3 網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練 自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個步自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個步驟：驟：(1)表達(dá)：計算訓(xùn)練的輸出矢量表達(dá)：計算訓(xùn)練的

51、輸出矢量AW*P+B，以及與期望輸出，以及與期望輸出之間的誤差之間的誤差ET-A；(2)檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)；則停止訓(xùn)練；否則繼續(xù)；(3)學(xué)習(xí)：采用學(xué)習(xí)：采用WH學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回到到(1)。 每進行一次上述三個步驟，被認(rèn)為是完成一個訓(xùn)練每進行一次上述三個步驟，被認(rèn)為是完成一個訓(xùn)練循環(huán)次數(shù)。循環(huán)次數(shù)。如果網(wǎng)絡(luò)訓(xùn)練獲得成功，那么當(dāng)如果網(wǎng)絡(luò)訓(xùn)練

52、獲得成功，那么當(dāng)一個不在訓(xùn)練中的一個不在訓(xùn)練中的輸入矢量輸入到網(wǎng)絡(luò)中時，網(wǎng)絡(luò)趨于產(chǎn)生一個與其輸入矢量輸入到網(wǎng)絡(luò)中時，網(wǎng)絡(luò)趨于產(chǎn)生一個與其相聯(lián)想的輸出矢量相聯(lián)想的輸出矢量。這個特性被稱為。這個特性被稱為泛化泛化。如果經(jīng)過訓(xùn)練，網(wǎng)絡(luò)仍不能達(dá)到期望目標(biāo)，可以有如果經(jīng)過訓(xùn)練，網(wǎng)絡(luò)仍不能達(dá)到期望目標(biāo)，可以有兩種選擇：或檢查一下所要解決的問題，是否適用兩種選擇：或檢查一下所要解決的問題，是否適用于線性網(wǎng)絡(luò)；或?qū)W(wǎng)絡(luò)進行進一步的訓(xùn)練。于線性網(wǎng)絡(luò)；或?qū)W(wǎng)絡(luò)進行進一步的訓(xùn)練。 WH學(xué)習(xí)規(guī)則雖然只適用于線性網(wǎng)絡(luò)，學(xué)習(xí)規(guī)則雖然只適用于線性網(wǎng)絡(luò)， 但它仍但它仍然非常重要，因為然非常重要，因為它展現(xiàn)了梯度下降法是如何來

53、訓(xùn)它展現(xiàn)了梯度下降法是如何來訓(xùn)練一個網(wǎng)絡(luò)的，此概念后來發(fā)展成反向傳播法，使練一個網(wǎng)絡(luò)的，此概念后來發(fā)展成反向傳播法，使之可以訓(xùn)練多層非線性網(wǎng)絡(luò)之可以訓(xùn)練多層非線性網(wǎng)絡(luò)。反向傳播網(wǎng)絡(luò)反向傳播網(wǎng)絡(luò)(BackPropagation Network，簡稱，簡稱BP網(wǎng)絡(luò)網(wǎng)絡(luò))是是將將WH學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)用途：網(wǎng)絡(luò)用途：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)；一個函數(shù)；2)模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起

54、來；模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；3)分類：把輸入矢量以所定義的合適方式進行分類；分類：把輸入矢量以所定義的合適方式進行分類；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，8090的人工神經(jīng)網(wǎng)絡(luò)模的人工神經(jīng)網(wǎng)絡(luò)模型是采用型是采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。 5.1 BP網(wǎng)絡(luò)模型與結(jié)構(gòu)網(wǎng)絡(luò)模型與結(jié)構(gòu)一個具有一個具有r個輸入和一個隱含層的神經(jīng)網(wǎng)

55、絡(luò)模型結(jié)構(gòu)個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖如圖5.1所示。所示。BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有所不同外，其主要差別也表現(xiàn)前面已介紹過的模型有所不同外，其主要差別也表現(xiàn)在激活函數(shù)上。在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閾值函數(shù)采用二值型的閾值函數(shù)0，1或符號函數(shù)或符號函數(shù)1，1， BP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線型的對數(shù)或正切激活函數(shù)和線性函數(shù)。性函數(shù)。 圖圖5.2所示的是所示的是S型激活函數(shù)的

56、圖形。可以看到型激活函數(shù)的圖形。可以看到f(.)是是一個連續(xù)可微的函數(shù)，其一階導(dǎo)數(shù)存在。由于激活函一個連續(xù)可微的函數(shù)，其一階導(dǎo)數(shù)存在。由于激活函數(shù)是連續(xù)可微的，它可以嚴(yán)格利用梯度法進行推算，數(shù)是連續(xù)可微的，它可以嚴(yán)格利用梯度法進行推算，它的權(quán)值修正的解析式十分明確，其算法被稱為誤差它的權(quán)值修正的解析式十分明確，其算法被稱為誤差反向傳播法，也簡稱反向傳播法，也簡稱BP算法，這種網(wǎng)絡(luò)也稱為算法，這種網(wǎng)絡(luò)也稱為BP網(wǎng)網(wǎng)絡(luò)。絡(luò)。 因為因為S型函數(shù)具有非線性放大系數(shù)功能，它可以把輸型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負(fù)無窮大到正無窮大的信號，變換成入從負(fù)無窮大到正無窮大的信號，變換成-1到到1之

57、間輸之間輸出，出，對較大的輸入信號，放大系數(shù)較小；而對較小的對較大的輸入信號，放大系數(shù)較小；而對較小的輸入信號，輸入信號， 放大系數(shù)則較大放大系數(shù)則較大(見下圖見下圖) ，所以采用所以采用S型型激活函數(shù)可以去處理和逼近非線性的輸入輸出關(guān)系。激活函數(shù)可以去處理和逼近非線性的輸入輸出關(guān)系。不過，如果在輸出層采用不過，如果在輸出層采用S型函數(shù)，輸出則被限制到型函數(shù)，輸出則被限制到一個很小的范圍了，若采用線性激活函數(shù)，則可使網(wǎng)一個很小的范圍了，若采用線性激活函數(shù)，則可使網(wǎng)絡(luò)輸出任何值。所以只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限絡(luò)輸出任何值。所以只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限制，如限制在制，如限制在0和和1之間，之

58、間， 那么在輸出層應(yīng)當(dāng)包含那么在輸出層應(yīng)當(dāng)包含S型型激活函數(shù)，激活函數(shù)，在一般情況下，均是在隱含層采用在一般情況下，均是在隱含層采用S型激型激活函數(shù)，活函數(shù)， 而輸出層采用線性激活函數(shù)。而輸出層采用線性激活函數(shù)。 nf 5.2 BP5.2 BP學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 BP網(wǎng)絡(luò)的產(chǎn)生歸功于網(wǎng)絡(luò)的產(chǎn)生歸功于BP算法的獲得。算法的獲得。BP算法屬于算法屬于算法，是一種監(jiān)督式算法，是一種監(jiān)督式(有導(dǎo)師有導(dǎo)師)的學(xué)習(xí)算法。其主要思的學(xué)習(xí)算法。其主要思想為：對于想為：對于q個輸入學(xué)習(xí)樣本：個輸入學(xué)習(xí)樣本： P1，P2，Pq，已，已知與其對應(yīng)的輸出樣本為：知與其對應(yīng)的輸出樣本為：T1，T2，Tq。學(xué)習(xí)的目的是用網(wǎng)

59、絡(luò)的實際輸出學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實際輸出A1，A2，Aq與目與目標(biāo)矢量標(biāo)矢量T1，T2，Tq之間的誤差來修改其權(quán)值，使之間的誤差來修改其權(quán)值，使Ai (i1，2，q)與期望的與期望的Ti盡可能地接近；即：使網(wǎng)盡可能地接近；即：使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。絡(luò)輸出層的誤差平方和達(dá)到最小。 它是通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降它是通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)的方向上計算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)的。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成的。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比，并以反向傳播的方式傳遞到每一層的。

60、正比，并以反向傳播的方式傳遞到每一層的。BP算法是由兩部分組成：信息的正向傳遞與誤差的反算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。向傳播。(1)正向傳播正向傳播:輸入信息從輸入經(jīng)隱含層逐層計算傳向輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。狀態(tài)。(2)如果在輸出層沒有得到期望的輸出，則計算輸出層如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)信號沿原來的連接通路反傳