1、人工神經網絡建模人工神經網絡建模（Artificial Neuron Nets） 一、引例 1981年生物學家格若根（W Grogan）和維什（WWirth）發現了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個個體的翼長和觸角長，數據如下：翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.0

2、0 1.28 Apf1.96 1.30 Apf1.74 1.36 Af數數學學模模型型v問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問它們應分別屬于哪一個種類？ 解法一： 把翼長作縱坐標，觸角長作橫坐標；那么每個蚊子的翼長和觸角決定了坐標平面的一個點.其中 6個蚊子屬于 APf類；用黑點“”表示；9個蚊子屬 Af類；用小圓圈“。”表示 得到的結果見圖1 圖1飛蠓的觸角長和翼長 數數學學模模型型v思路：作一直線將兩類飛蠓分開 例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點作一條直線： y 1

3、.47x - 0.017 其中X表示觸角長；y表示翼長 分類規則：設一個蚊子的數據為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類 數學模型數學模型v分類結果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 數學模型數學模型缺陷：根據什么原則確定分類直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變為 y=1.39x+0.071分類結果變為： (1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1

4、.84)屬于Af類 哪一分類直線才是正確的呢？ 因此如何來確定這個判別直線是一個值得研究的問題一般地講，應該充分利用已知的數據信息來確定判別直線數學模型數學模型v再如，如下的情形已經不能用分類直線的辦法： 新思路：將問題看作一個系統，飛蠓的數據作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關系。數學模型數學模型二、神經元與神經網絡二、神經元與神經網絡v大腦可視作為1000多億神經元組成的神經網絡 圖3 神經元的解剖圖數學模型數學模型v神經元的信息傳遞和處理是一種電化學活動樹突由于電化學作用接受外界的刺激；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突

5、末梢傳遞給其它的神經元從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程神經網絡研究的兩個方面 從生理上、解剖學上進行研究 從工程技術上、算法上進行研究數學模型數學模型三、人工神經網絡三、人工神經網絡（Artificial Neuron Nets, Artificial Neuron Nets, 簡稱簡稱ANNANN）v神經元的數學模型 圖4神經元的數學模型 數學模型數學模型v其中x（x1，xm）T 輸入向量，y為輸出，wi是權系數；輸入與輸出具有如下關系：miiixwfy1)( 為閾值，f（X）是激發函數；它可以是線性函數，也可以是非線性函數 數學模型數學模型例如，若記

6、 取激發函數為符號函數 miiixwz1.0,0,0, 1)sgn(xxx則 S型激發函數： miiimiiixwxwzfy11,0, 1)(,11)(xexf; 1)(0 xf數數學學模模型型或或 v注：若將閾值看作是一個權系數，-1是一個固定的輸入，另有m-1個正常的輸入，則（1）式也可表示為： ,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( （1） 參數識別：假設函數形式已知，則可以從已有的輸入輸出數據確定出權系數及閾值。 數數學學模模型型2 2、神經網絡的數學模型、神經網絡的數學模型 v眾多神經元之間組合形成神經網絡，例如下圖的含有中間層（隱層）的B-P網絡 圖5 帶

7、中間層的B-P網絡 數數學學模模型型3 3、量變引起質變、量變引起質變-神經網絡的作用神經網絡的作用（1 1）螞蟻群）螞蟻群 一個螞蟻有50個神經元，單獨的一個螞蟻不能做太多的事；甚至于不能很好活下去但是一窩螞蟻；設有 10萬個體，那么這個群體相當于500萬個神經元（當然不是簡單相加，這里只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等（2）網絡說話）網絡說話 人們把一本教科書用網絡把它讀出來（當然需要通過光電，電聲的信號轉換）；開始網絡說的話像嬰兒學語那樣發出“巴、巴、巴”的聲響；但經過BP算法長時間的訓練竟能正確讀出英語課本中 90的詞匯從此用神經網絡來識別語言和圖象形成一個新的熱

8、潮數學模型數學模型4 4、人工神經網絡的基本特點、人工神經網絡的基本特點 （1）可處理非線性 （2）并行結構對神經網絡中的每一個神經元來說；其運算都是同樣的這樣的結構最便于計算機并行處理 （3）具有學習和記憶能力一個神經網絡可以通過訓練學習判別事物；學習某一種規律或規則神經網絡可以用于聯想記憶（4）對數據的可容性大在神經網絡中可以同時使用量化數據和質量數據（如好、中、差、及格、不及格等）（5）神經網絡可以用大規模集成電路來實現如美國用 256個神經元組成的神經網絡組成硬件用于識別手寫體的郵政編碼數學模型數學模型四、反向傳播算法（四、反向傳播算法（B-PB-P算法）算法） Back propag

9、ation algorithm 1簡單網絡的簡單網絡的B-P算法算法 算法的目的：根據實際的輸入與輸出數據，計算模型的參數（權系數）圖6 簡單網絡數學模型數學模型v假設有P個訓練樣本，即有P個輸入輸出對v（Ip, Tp）,p=1,P, 其中 輸入向量為 , TpmppiiI),.,(1目標輸出向量為（實際上的） TpnppttT),.,(1網絡輸出向量為 （理論上的） TpnppooO),.,(1數學模型數學模型nipipiot12)(min（p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個分量到輸出向量的第i (i=1,n)個分量的權重。通常理論值與實際值有一誤差，網絡學

10、習則是指不斷地把與比較，并根據極小原則修改參數wij，使誤差平方和達最小：記 Delta學習規則: pipipiotPppjpipjPppipiijiiotw11)(（4） ijijijwww （3） ijw表示遞推一次的修改量，則有稱為學習的速率 數學模型數學模型ipm= -1 , wim= (第i個神經元的閾值) （5）注：由（1） 式，第i個神經元的輸出可表示為mjpjijpiiwfo1)(特別當f是線性函數時 biwaomjpjijpi1)(（6）數學模型數學模型數學模型數學模型圖7 多層前饋網絡 2多層前饋網絡 （l）輸入層不計在層數之內，它有N0個神經元設網絡 共有L層；輸出層為第

11、L層；第 k層有Nk個神經元假設：假設： (2) 設)( iuk表示第k層第i神經元所接收的信息 wk(i,j) 表示從第k-1層第j個元到第k層第i個元的權重， )(iak表第k層第i個元的輸出 數學模型數學模型（3）設層與層間的神經元都有信息交換（否則，可設它們之間的權重為零）；但同一層的神經元之間無信息傳輸 (4) 設信息傳輸的方向是從輸入層到輸出層方向；因此稱為前向網絡沒有反向傳播信息 （5） 表示輸入的第j個分量 )(0ja假設：假設： 數學模型數學模型在上述假定下網絡的輸入輸出關系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),(

12、)(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中表示第k層第i個元的閾值. 數學模型數學模型定理2 對于具有多個隱層的前饋神經網絡；設激發函數為S 函數；且指標函數取 PppEE1（8 8）LNipLppiaitE12)()()()(21（9）則每個訓練循環中按梯度下降時；其權重迭代公式為),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll （ 10 ）表示第-1層第個元對第層第個元輸入的第次迭代時的權重 ),()(jiwpl

13、其中其中 )()()()()()()()(iufiaitipLpLppL（11）（12）11)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11Ll數學模型數學模型BP算法 Step1 選定學習的數據,p=1,P, 隨機確定初始權矩陣W（0）Step2 用（10）式反向修正,直到用完所有學習數據. 用學習數據計算網絡輸出Step3 ),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll 數學模型數學模型五應用之例：蚊子的分類五應用之例：蚊子的分類 已知的兩類蚊子的數據如表1： v翼長 觸角長 類別v1.78 1.14 Apfv1.9

14、6 1.18 Apfv1.86 1.20 Apfv1.72 1.24 Afv2.00 1.26 Apfv2.00 1.28 Apfv1.96 1.30 Apfv1.74 1.36 Af目標值目標值0.90.1 v翼長 觸角長 類別v 1.64 1.38 Afv 1.82 1.38 Afv 1.90 1.38 Afv 1.70 1.40 Afv 1.82 1.48 Afv 1.82 1.54 Afv 2.08 1.56 Af目標t0.1 數學模型數學模型v輸入數據有15個，即 , p=1,15; j=1, 2; 對應15個輸

15、出。v建模：（輸入層，中間層，輸出層，每層的元素應取多少個？）v建立神經網絡數學模型數學模型v規定目標為： 當t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。v設兩個權重系數矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中數學模型數學模型分析如下： 為第一層的輸出，同時作為第二層的輸入。)2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (1010

16、11101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為激勵函數if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經元相應的權系數） jjw)3,(12,1j數數學學模模型型3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xexf11)(取激勵函數為)()(11iufia= )(exp(111iu2

17、, 1i則同樣，取 , 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj數數學學模模型型（1）隨機給出兩個權矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據輸入數據利用公式算出網絡的輸出 3101010101131010101011)(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 () 3() 3 , 1 ()2()2 , 1 () 1 () 1

18、, 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i數數學學模模型型, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取取（3）計算 xexf11)(因為 所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat（4）取 （或其他正數，可調整大小） 1 . 0數數學學模模型型)()1(1ip(5) 計算 和 :),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),() 1(0) 1(1)(1) 1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 計算 j=1,2,3 ), 1()1(2jWP )() 1 (), 1 (), 1 () 1(1) 1(2)(2) 1(2jajWjWppppj=1,2,3數數學學模模型型v(6) p=p+1，轉（2） 注：僅計算一圈（p=1，2，15）是不夠的，直到當各權重變