神經元與網絡結構第一頁，共二十頁，2022年，8月28日3．1生物神經元及生物神經網絡

3．1．1生物神經元人腦大約由1012個神經元組成，神經元互相連接成神經網絡神經元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經鍵)組成。

第二頁，共二十頁，2022年，8月28日圖3－1生物神經元示意圖

第三頁，共二十頁，2022年，8月28日從神經元各組成部分的功能來看，信息的處理與傳遞主要發生在突觸附近。當神經元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經傳遞的化學物質。突觸有兩種：興奮性突觸和抑制性突觸。前者產生正突觸后電位，后者產生負突觸后電位。

第四頁，共二十頁，2022年，8月28日突觸傳遞信息的功能和特點歸納為：

信息傳遞有時延，一般為0.3～lms。信息的綜合有時間累加和空間累加。

突觸有興奮性和抑制性兩種類型。

具有脈沖／電位信號轉換功能。

神經纖維傳導的速度，即脈沖沿神經纖維傳遞的速度，在1—150m／s之間

存在不應期。

不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。

可塑性，突觸傳遞信息的強度是可變的，即具有學習功能。

存在遺忘或疲勞效應。第五頁，共二十頁，2022年，8月28日3．1．2人腦神經網絡系統圖3—2腦神經系統的主要組成部分

第六頁，共二十頁，2022年，8月28日3．1．3人腦神經網絡信息處理的特點1．分布存儲與冗余性

2．并行處理

3．信息處理與存儲合一

4．可塑性與自組織性

5．魯棒性

第七頁，共二十頁，2022年，8月28日3．2人工神經網絡

神經網絡直觀理解

神經網絡是一個并行和分布式的信息處理網絡結構，它一般由許多個神經元組成，每個神經元只有一個輸出，它可以連接到很多其他的神經元，每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數。

第八頁，共二十頁，2022年，8月28日3．2．1人工神經元模型歸納一下生物神經元傳遞信息的過程：生物神經元是一個多輸入、單輸出單元。常用的人工神經元模型可用圖3－3模擬。

圖3－3人工神經元模型

第九頁，共二十頁，2022年，8月28日響應函數的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數轉換；3、將可能無限域的輸入變換成指定的有限范圍內的輸出。

第十頁，共二十頁，2022年，8月28日根據響應函數的不同，人工神經元有以下幾種類型：

圖3—4人工神經元的響應函數

第十一頁，共二十頁，2022年，8月28日1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數

第十二頁，共二十頁，2022年，8月28日上述模型能反映生物神經元的基本特性，但還有如下不同之點：(1)生物神經元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個等效的模擬電壓來模擬生物神經元的脈沖密度，所以在模型中只有空間累加而沒有時間累加(可以認為時間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時延、不應期和疲勞等。

第十三頁，共二十頁，2022年，8月28日3．2．2人工神經網絡的構成神經元的模型確定之后，一個神經網絡的特性及能力主要取決于網絡的拓撲結構及學習方法。

人工神經網絡連接的幾種基本形式：1．前向網絡

網絡中的神經元是分層排列的，每個神經元只與前一層的神經元相連接。

2．從輸出到輸入有反饋的前向網絡

3．層內互連前向網絡

4．互連網絡

第十四頁，共二十頁，2022年，8月28日圖3—5神經網絡的典型結構

第十五頁，共二十頁，2022年，8月28日3．2．3人工神經網絡的學習

學習方法是人工神經網絡研究中的核心問題。

人工神經網絡連接權的確定通常有兩種方法：一種是根據具體要求：直接計算出來，如Hopfield網絡作優化計算時就屬于這種情況；另一種是通過學習得到的，大多數人工神經網絡都用這種方法。

第十六頁，共二十頁，2022年，8月28日1．Hebb學習規則是DonallHebb根據生理學中條件反射機理，于1949年提出的神經元連接強度變化的規則。

如果兩個神經元同時興奮(即同時被激活)，則它們之間的突觸連接加強。

Hebb學習規則是人工神經網絡學習的基本規則，幾乎所有神經網絡的學習規則都可以看作Hebb學習規則的變形。

第十七頁，共二十頁，2022年，8月28日2．誤差校正規則用已知樣本作為教師對網絡進行學習。式(3—8)和式(3—9)的學習規則可由二次誤差函數的梯度法導出，故誤差校正學習規則實際上是一種梯度方法。

第十八頁，共二十頁，2022年，8月28日3．相近學