第9章神經網絡2/5/20231第9章神經網絡9.1引例9.2人工神經網絡9.2.2神經元模型9.3BP算法9.4工具包應用2/5/202329.1引例對于由第1式給出的系統，可以產生一系列的數據假設第1式我們并不知道，但是我們可以用第2式給出的多元線性回歸找到近似規律，但這種方式并沒有很好的精度人工神經網絡可以逼近任意非線性規律2/5/202339.2人工神經網絡9.2.1人工神經網絡概述9.2.2神經元模型9.2.3網絡結構2/5/202349.2.1人工神經網絡概述第一個階段可稱之為啟蒙階段，這是神經網絡理論研究的奠基階段第二階段是低潮期。《Percep2trons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題第三個階段為神經網絡的復興時期，這是神經網絡理論研究的主要發展時期2/5/20235大腦可視作為1000多億神經元組成的神經網絡圖3神經元的解剖圖神經元與神經網絡2/5/20236神經元的信息傳遞和處理是一種電化學活動．樹突由于電化學作用接受外界的刺激；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程神經網絡研究的兩個方面從生理上、解剖學上進行研究從工程技術上、算法上進行研究2/5/20237神經元的數學模型

神經元的數學模型9.2.2神經元模型2/5/202382/5/202392/5/202310其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權系數；輸入與輸出具有如下關系：θ為閾值，f（X）是激發函數；它可以是線性函數，也可以是非線性函數．2/5/202311例如，若記

取激發函數為符號函數

則

S型激發函數：

2/5/2023129.2.3網絡結構根據節點層數，可分為單層網絡和多層網絡根據有無反饋，可分為前饋網絡和反饋網絡...輸入層隱層輸出層x1x2...xmh1hky1yn...2/5/202313單層網絡2/5/202314人工神經網絡模型(a)簡單的前向神經網絡(b)具有反饋的前向神經網絡(c)具有層內互聯的神經網絡2/5/202315一般而言,ANN與經典計算方法相比并非優越,只有當常規方法解決不了或效果不佳時ANN方法才能顯示出其優越性。尤其對問題的機理不甚了解或不能用數學模型表示的系統,如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具.ANN對處理大量原始數據而不能用規則或公式描述的問題,表現出極大的靈活性和自適應性。2/5/2023169.3BP算法9.3.1引例9.3.2反向傳播算法（BP算法）9.3.3算法舉例9.3.4BP算法描述2/5/202317一般而言,ANN與經典計算方法相比并非優越,只有當常規方法解決不了或效果不佳時ANN方法才能顯示出其優越性。尤其對問題的機理不甚了解或不能用數學模型表示的系統,如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。另一方面,ANN對處理大量原始數據而不能用規則或公式描述的問題,表現出極大的靈活性和自適應性。2/5/2023189.3.1引例

1981年生物學家格若根（W．Grogan）和維什（W．Wirth）發現了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數據如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af2/5/202319問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應分別屬于哪一個種類？

解法一：把翼長作縱坐標，觸角長作橫坐標；那么每個蚊子的翼長和觸角決定了坐標平面的一個點.其中6個蚊子屬于APf類；用黑點“·”表示；9個蚊子屬Af類；用小圓圈“。”表示．得到的結果見下圖1圖1飛蠓的觸角長和翼長2/5/2023202/5/202321思路：作一直線將兩類飛蠓分開

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點作一條直線：

y＝1.47x-0.017其中X表示觸角長；y表示翼長．

分類規則：設一個蚊子的數據為（x,y）

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

2/5/202322分類結果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．分類直線圖

2/5/202323?缺陷：根據什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變為y=1.39x+0.071分類結果變為：

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來確定這個判別直線是一個值得研究的問題．一般地講，應該充分利用已知的數據信息來確定判別直線．2/5/202324再如，如下的情形已經不能用分類直線的辦法：

新思路：將問題看作一個系統，飛蠓的數據作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關系。2/5/202325基本BP網絡的拓撲結構b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV2/5/2023269.3.2反向傳播算法（B-P算法）

Backpropagationalgorithm1．簡單網絡的B-P算法

算法的目的：根據實際的輸入與輸出數據，計算模型的參數（權系數）2/5/202327假設有P個訓練樣本，即有P個輸入輸出對（Ip,Tp）,p=1,…,P,其中

輸入向量為

:目標輸出向量為（實際上的）:

網絡輸出向量為

（理論上的）

2/5/202328（p=1,…,P）

（2）

記wij為從輸入向量的第j(j=1,…,m)個分量到輸出向量的第i(i=1,…,n)個分量的權重。通常理論值與實際值有一誤差，網絡學習則是指不斷地把與比較，并根據極小原則修改參數wij，使誤差平方和達最小：記Delta學習規則:

（4）

（3）

表示遞推一次的修改量，則有稱為學習的速率

2/5/202329ipm=-1,wim=(第i個神經元的閾值)（5）注：由（1）式，第i個神經元的輸出可表示為特別當f是線性函數時

（6）2/5/2023302/5/202331圖7多層前饋網絡

2．多層前饋網絡

（l）輸入層不計在層數之內，它有N0個神經元．設網絡共有L層；輸出層為第L層；第k層有Nk個神經元．假設：(2)設表示第k層第i神經元所接收的信息wk(i,j)表示從第k-1層第j個元到第k層第i個元的權重，表第k層第i個元的輸出2/5/202332（3）設層與層間的神經元都有信息交換（否則，可設它們之間的權重為零）；但同一層的神經元之間無信息傳輸．

(4)設信息傳輸的方向是從輸入層到輸出層方向；因此稱為前向網絡．沒有反向傳播信息．（5）表示輸入的第j個分量．假設：2/5/202333在上述假定下網絡的輸入輸出關系可以表示為：（7）

其中表示第k層第i個元的閾值.2/5/202334定理2

對于具有多個隱層的前饋神經網絡；設激發函數為S函數；且指標函數取

（8）（9）則每個訓練循環中按梯度下降時；其權重迭代公式為（10）表示第-1層第個元對第層第個元輸入的第次迭代時的權重

其中

（11）（12）2/5/202335BP算法

Step1

選定學習的數據,p=1,…,P,隨機確定初始權矩陣W（0）Step2

用（10）式反向修正,直到用完所有學習數據.用學習數據計算網絡輸出Step3

2/5/2023369.3.3應用之例：蚊子的分類已知的兩類蚊子的數據如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標值0.90.90.90.10.90.90.90.1

翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標t0.10.10.10.10.10.10.1

2/5/202337輸入數據有15個，即,p=1,…,15;j=1,2;對應15個輸出。建模：（輸入層，中間層，輸出層，每層的元素應取多少個？）建立神經網絡2/5/202338規定目標為：當t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設兩個權重系數矩陣為：為閾值

其中2/5/202339分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為激勵函數若令

（作為一固定輸入）（閾值作為固定輸入神經元相應的權系數）

2/5/202340則有：取激勵函數為=則同樣，取

2/5/202341（1）隨機給出兩個權矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);

(2)根據輸入數據利用公式算出網絡的輸出

=2/5/202342取（3）計算因為所以

（4）取

（或其他正數，可調整大小）

2/5/202343(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,32/5/202344(6)p=p+1，轉（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當各權重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結果是：2/5/202345即網絡模型的解為：

=2/5/2023469.3.4BP算法描述輸入：給定訓練集Xtrain，其中每一個訓練樣本都是由一組輸入和一組輸出構成，所有的輸入和輸出都是[0,1]之間的浮點數據（如果不是，要首先通過數據變換把它們映射到[0,1]區間）；神經網絡結構：隱含層節點數目；神經網絡每個節點的、參數化了的特征函數。輸出：神經網絡每個節點特征函數的參數。（1）按照有序導數計算公式計算總體誤差對于每個參數的有序導數公式（函數）；（2）任意選擇一組數據作為初始參數，一般選取（0,0,…,0），把這組初始參數作為當前參數；（3）根據當前參數和總體誤差計算公式計算總體誤差，如果誤差足夠小，就把當前參數作為輸出，退出；否則，繼續下面的步驟；（4）根據參數調整公式和當前參數數值，計算總體誤差對于各參數的有序導數數值；

（5）計算各個參數的調整大小，并計算調整后的參數大小。把調整后的參數作為當前參數，回到第（3）步。

2/5/2023479.4工具包應用第1步，新建數據庫第2步，新建數據表第3步，安裝補丁第4步，建立數據連接第5步，選擇挖掘結構第6步，進行預測2/5/202348神經網絡的應用人工神經網絡以其具有自學習、自組織、較好的容錯性和優良的非線性逼近能力，受到眾多領域學者的關注。在實際應用中，80%～90%的人工神經