數學建模

經典算法神經網絡與神經網絡算法1整理ppt學習目標拓寬視野感受神經網絡算法的應用背景能夠用神經網絡算法解決一些簡單問題不探究詳細的理論根底2整理ppt內容安排人工神經網絡簡介人工神經網絡的根本功能人工神經網絡的開展歷史人工神經網絡的生物學根底M-P模型前饋神經網絡單層感知器多層感知器BP算法BP網絡應用案例〔MATLAB計算〕3整理ppt1.人工神經網絡簡介生物神經網絡人類的大腦大約有1.4×1011個神經細胞，亦稱為神經元。每個神經元有數以千計的通道同其它神經元廣泛相互連接，形成復雜的生物神經網絡。人工神經網絡以數學和物理方法以及信息處理的角度對人腦神經網絡進行抽象，并建立某種簡化模型，就稱為人工神經網絡〔ArtificialNeuralNetwork，縮寫ANN〕。對人類大腦系統的一階特性的一種描述。〔生理角度的模擬〕4整理ppt根本原理存在一些輸入和相應的輸出，而對如何由輸入得到輸出的機理并不清楚把輸入與輸出之間的未知過程看成是一個“網絡〞，通過不斷地給這個網絡輸入和相應的輸出來“訓練〞這個網絡，網絡根據輸入和輸出不斷地調節自己的各節點之間的權值來滿足輸入和輸出。當訓練結束后，給定一個輸入，網絡便會根據已調節好的權值計算出相應的輸出。5整理ppt嚴格定義——ANN最典型的定義由Simpson在1987年提出人工神經網絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。ANN算法根據人的認識過程而開發出的一種算法6整理ppt2.人工神經網絡的根本功能〔1〕聯想記憶功能由于神經網絡具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯想記憶的能力。聯想記憶有兩種根本形式自聯想記憶異聯想記憶7整理ppt自聯想記憶網絡中預先存儲〔記憶)多種模式信息當輸入某個已存儲模式的局部信息或帶有噪聲干擾的信息時，網絡能通過動態聯想過程回憶起該模式的全部信息異聯想記憶網絡中預先存儲了多個模式對每一對模式均由兩局部組成，當輸入某個模式對的一局部時，即使輸入信息是殘缺的或迭加了噪聲的，網絡也能回憶起與其對應的另一局部8整理ppt不完整模式的自聯想神經網絡通過預先存儲信息和學習機制進行自適應訓練，可以從不完整的信息和噪聲干擾中恢復原始的完整信息這一能力使其在圖象復原、圖像和語音處理、模式識別、分類等方面具有巨大的潛在應用價值9整理ppt2.人工神經網絡的根本功能〔續〕〔2〕非線性映射功能10整理ppt非線性映射功能在客觀世界中，許多系統的輸入與輸出之間存在復雜的非線性關系，對于這類系統，往往很難用傳統的數理方法建立其數學模型。設計合理的神經網絡，通過對系統輸入輸出樣本對進行自動學習，能夠以任意精度逼近任意復雜的非線性映射。神經網絡的這一優良性能使其可以作為多維非線性函數的通用數學模型。該模型的表達是非解析的，輸入輸出數據之間的映射規那么由神經網絡在學習階段自動抽取并分布式存儲在網絡的所有連接中。具有非線性映射功能的神經網絡應用十分廣闊，幾乎涉及所有領域。11整理ppt2.人工神經網絡的根本功能〔續〕〔3〕分類與識別功能12整理ppt分類與識別功能神經網絡對外界輸入樣本具有很強的識別與分類能力。對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區域，每個區域內的樣本屬于一類。傳統分類方法只適合解決同類相聚，異類別離的的識別與分類問題。但客觀世界中許多事物〔例如，不同的圖象、聲音、文字等等〕在樣本空間上的區域分割曲面是十分復雜的，相近的樣本可能屬于不同的類，而遠離的樣本可能同屬一類。神經網絡可以很好地解決對非線性曲面的逼近，因此比傳統的分類器具有更好的分類與識別能力。13整理ppt2.人工神經網絡的根本功能〔續〕〔4〕優化計算功能14整理ppt優化計算功能優化計算是指在的約束條件下，尋找一組參數組合，使由該組合確定的目標函數到達最小值。某些類型的神經網絡可以把待求解問題的可變參數設計為網絡的狀態，將目標函數設計為網絡的能量函數。神經網絡經過動態演變過程到達穩定狀態時對應的能量函數最小，從而其穩定狀態就是問題的最優解。這種優化計算不需要對目標函數求導，其結果是網絡自動給出的。15整理ppt2.人工神經網絡的根本功能〔續〕〔5〕知識處理功能16整理ppt知識處理功能知識是人們從客觀世界的大量信息以及自身的實踐中總結歸納出來的經驗、規那么和判據。神經網絡獲得知識的途徑與人類似，也是從對象的輸入輸出信息中抽取規律而獲得關于對象的知識，并將知識分布在網絡的連接中予以存儲。神經網絡的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入數據中提取特征，發現規律，并通過自組織過程將自身構建成適合于表達所發現的規律。另一方面，人的先驗知識可以大大提高神經網絡的知識處理能力，兩者相結合會使神經網絡智能得到進一步提升。17整理ppt神經網絡的開展歷程經過了4個階段。〔1〕啟蒙期〔1890-1969年〕1890年，W.James發表專著?心理學?，討論了腦的結構和功能。1943年，心理學家W.S.McCulloch和數學家W.Pitts提出了描述腦神經細胞動作的數學模型，即M-P模型〔第一個神經網絡模型〕。1949年，心理學家Hebb實現了對腦細胞之間相互影響的數學描述，從心理學的角度提出了至今仍對神經網絡理論有著重要影響的Hebb學習法那么。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數學模型，即著名的感知機模型〔Perceptron〕。1962年，Widrow和Hoff提出了自適應線性神經網絡，即Adaline網絡，并提出了網絡學習新知識的方法，即Widrow和Hoff學習規那么〔即δ學習規那么〕，并用電路進行了硬件設計。3.神經網絡的開展歷史18整理ppt3.神經網絡的開展歷史〔續〕〔2〕低潮期〔1969-1982〕受當時神經網絡理論研究水平的限制，以及馮·諾依曼式計算機開展的沖擊等因素的影響，神經網絡的研究陷入低谷。在美、日等國有少數學者繼續著神經網絡模型和學習算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復雜的ART網絡，該網絡可以對任意復雜的二維模式進行自組織、自穩定和大規模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。19整理ppt3.神經網絡的開展歷史〔續〕〔3〕復興期〔1982-1986〕1982年，物理學家Hoppield提出了Hoppield神經網絡模型，該模型通過引入能量函數，實現了問題優化求解，1984年他用此模型成功地解決了旅行商路徑優化問題(TSP)。在1986年，在Rumelhart和McCelland等出版?ParallelDistributedProcessing?一書，提出了一種著名的多層神經網絡模型，即BP網絡。該網絡是迄今為止應用最普遍的神經網絡。20整理ppt3.神經網絡的開展歷史〔續〕〔4〕新連接機制時期〔1986-現在〕神經網絡從理論走向應用領域，出現了神經網絡芯片和神經計算機。神經網絡主要應用領域有模式識別與圖象處理〔語音、指紋、故障檢測和圖象壓縮等〕控制與優化預測與管理〔市場預測、風險分析〕等21整理ppt 神經生理學和神經解剖學的研究結果說明，神經元(Neuron)是腦組織的根本單元，是人腦信息處理系統的最小單元。4.人工神經網絡的生物學根底22整理ppt神經元及其聯接；神經元之間的聯接強度決定信號傳遞的強弱；神經元之間的聯接強度是可以隨訓練改變的；信號可以是起刺激作用的，也可以是起抑制作用的；一個神經元接受的信號的累積效果斷定該神經元的狀態；每個神經元可以有一個“閾值〞23整理ppt4.1生物神經元的信息處理機理〔1〕信息的產生

神經元間信息的產生、傳遞和處理是一種電化學活動。

神經元狀態靜息興奮抑制

膜電位極化去極化超極化24整理ppt25整理ppt4.1生物神經元的信息處理機理〔續〕〔2〕信息的傳遞與接收26整理ppt4.1生物神經元的信息處理機理〔續〕〔3〕信息的整合空間整合同一時刻產生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數和時間整合各輸入脈沖抵達神經元的時間先后不一樣。總的突觸后膜電位為一段時間內的累積27整理ppt4.2神經元的人工模型神經元及其突觸是神經網絡的根本器件。因此，模擬生物神經網絡應首先模擬生物神經元人工神經元(節點),從三個方面進行模擬:節點本身的信息處理能力(數學模型)節點與節點之間連接(拓撲結構)相互連接的強度(通過學習來調整)決定人工神經網絡整體性能的三大要素28整理ppt

神經元的建模(1)每個神經元都是一個多輸入單輸出的信息處理單元；(2)神經元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經元本身是非時變的，即其突觸時延和突觸強度均為常數。(3)神經元具有空間整合特性和閾值特性；(4)神經元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用；模型的六點假設：29整理ppt假設1：多輸入單輸出正如生物神經元有許多鼓勵輸入一樣，人工神經元也應該有許多的輸入信號圖中，每個輸入的大小用確定數值xi表示，它們同時輸入神經元j，神經元的單輸出用oj表示。30整理ppt假設2：輸入類型——興奮性和抑制性生物神經元具有不同的突觸性質和突觸強度，其對輸入的影響是使有些輸入在神經元產生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖中，對神經元的每一個輸入都有一個加權系數wij，稱為權重值，其正負模擬了生物神經元中突觸的興奮和抑制，其大小那么代表了突觸的不同連接強度。31整理ppt假設3：空間整合特性和閾值特性作為ANN的根本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果圖中，表示組合輸入信號的“總和值〞，相應于生物神經元的膜電位。神經元激活與否取決于某一閾值電平，即只有當其輸入總和超過閾值時,神經元才被激活而發放脈沖,否那么神經元不會產生輸出信號。32整理ppt神經元的輸出圖中，人工神經元的輸出也同生物神經元一樣僅有一個如，用oj表示神經元輸出，那么輸出與輸入之間的對應關系可用圖中的某種非線性函數來表示。33整理ppt神經元模型示意圖34整理ppt4.2.1人工神經元的數學模型人工神經元模擬生物神經元的一階特性，具有生物神經元的六大特征一個人工神經元一般有多個輸入和一個輸出一個人工神經元有一個轉移函數〔激發函數〕，不同的轉移函數對應了不同的網絡，也決定了網絡的用途35整理ppt4.2.1人工神經元的數學模型τij——輸入輸出間的突觸時延；

Tj——神經元j的閾值；

wij——神經元i到j的突觸連接系數或稱權重值；

f()——神經元轉移函數。(4.1)36整理ppt為簡單起見，將4.1上式中的突觸時延取為單位時間，那么式(4.1)可寫為4.2式。上式描述的神經元數學模型全面表達了神經元模型的6點假定。其中輸入xi的下標i=1,2,…,n，輸出oj的下標j表達了神經元模型假定(1)中的“多輸入單輸出〞。權重值wij的正負表達了假定(2)中“突觸的興奮與抑制〞。Tj代表假定(3)中神經元的“閾值〞；“輸入總和〞常稱為神經元在t時刻的凈輸入，用下面的式子表示：(4.2)37整理ppt(4.3)

net’j=WjTX

Wj=(w1w2

…wn)TX=(x1x2

…xn)T令x0=-1，w0=Tj那么有-Tj=x0w0(4.4)4.2.1人工神經元的數學模型〔續〕38整理ppt4.2.1人工神經元的數學模型〔續〕net’j(t)表達了神經元j的空間整合特性而未考慮時間整合，當net’j-Tj>0時，神經元才能被激活。oj(t+1)與xI(t之間的單位時差代表所有神經元具有相同的、恒定的工作節律，對應于假定(4)中的“突觸延擱〞；wij與時間無關表達了假定(6)中神經元的“非時變〞。為簡便起見，在后面用到式(2.3)時，常將其中的(t)省略。式(2.3)還可表示為權重向量Wj和輸入向量X的點積WTX。其中Wj和X均為列向量，定義為Wj=(w1w2…wn〕T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，那么有-Tj=x0w0，因此凈輸入與閾值之差可表達為:39整理ppt(4.5)oj=f(netj)=f(WjTX)(4.6)4.2.1人工神經元的數學模型〔續〕綜合以上各式，神經元模型可簡化為：40整理ppt人工神經元的轉移函數神經元各種不同數學模型的主要區別在于采用了不同的轉移函數，從而使神經元具有不同的信息處理特性。神經元的信息處理特性是決定人工神經網絡整體性能的三大要素之一，反映了神經元輸出與其激活狀態之間的關系，最常用的轉移函數有4種形式。41整理ppt(1)閾值型轉移函數 1x≥0 f(x)=(4.7)

0x＜0 人工神經元的轉移函數單位階躍函數，也稱為硬限幅函數42整理ppt(2)非線性轉移函數人工神經元的轉移函數43整理ppt非線性轉移函數為實數域R到[0.1]閉集的非減連續函數，代表了狀態連續型神經元模型。非線性轉移函數稱為sigmoid，簡稱S型函數。特點是函數本身及其導數都是連續的，因而在處理上十分方便。

S型函數函數又分為單極性和雙極性兩種。44整理ppt(3)分段線性轉移函數 0x≤0 f(x)= cx0＜

x≤xc(4.9) 1xc＜

x 人工神經元的轉移函數神經元的輸入與輸出在一定區間內滿足線性關系，模擬了實際系統中的飽和特性也稱為偽線性函數45整理ppt(4)概率型轉移函數溫度參數人工神經元的轉移函數采用概率型轉移函數的神經元模型其輸入與輸出之間的關系是不確定的，需用一個隨機函數來描述輸出狀態為1或為0的概率。上式中，T稱為溫度參數。由于采用該轉移函數的神經元輸出狀態分布與熱力學中的玻爾茲曼〔Boltzmann〕分布類似，因此這種神經元模型也稱為熱力學模型。46整理ppt4.2.2神經網絡模型分多層，層數根據實際需求設定：輸入層、隱含層、輸出層層數越多越準確，計算時間越長人工神經元——圖中的每個節點47整理ppt人工神經網絡模型分類按網絡連接的拓撲結構分類層次型結構互連型網絡結構按網絡內部的信息流向分類前饋型網絡反響型網絡48整理ppt〔一〕網絡拓撲結構類型層次型結構將神經元按功能分成假設干層，如輸入層、中間層〔隱層〕和輸出層，各層順序相連。互連型網絡結構網絡中任意兩個節點之間都可能存在連接路徑.49整理ppt層次型網絡模型層次型結構的神經網絡將神經元按功能分成假設干層，如輸入層、中間層〔也稱為隱層〕和輸出層，各層順序相連。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間各隱層神經元；隱層是神經網絡的內部信息處理層，負責信息變換，根據信息變換能力的需要，隱層可為設計一層或多層；最后一個隱層傳遞到輸出層各神經元的信息經進一步處理后即完成一次信息處理，由輸出層向外界輸出信息處理結果。層次型網絡結構有3種典型的結合方式。50整理ppt層次型模型(1)單純型層次網絡結構神經元分層排列，各層神經元接收前一層輸入并輸出到下一層；層內神經元自身以及神經元之間不存在連接通路。51整理ppt層次型模型〔2〕輸出層到輸入層有連接輸入層神經元既可接收輸入，也具有信息處理功能52整理ppt層次型模型〔3〕層內有連接層次型結構同一層內神經元有互連；特點是在同一層內引入神經元間的側向作用，使得能同時激活的神經元個數可控，以實現各層神經元的自組織。53整理ppt互聯型網絡結構

網絡中任意兩個節點之間都可能存在連接路徑，因此可以根據網絡中節點的互連程度將互連型網絡結構細分為三種情況：(1)全互連型：網絡中的每個節點均與所有其它節點連接54整理ppt互聯型網絡結構〔2〕局部互連型網絡結構網絡中的每個節點只與其鄰近的節點有連接〔3〕稀疏連接型：網絡中的節點只與少數相距較遠的節點相連

55整理ppt說明：神經網絡的分層結構與激發函數一起決定了神經網絡的不同還可分為單級網多級網反響網循環網等56整理ppt簡單單級網……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 57整理ppt簡單單級網W=〔wij〕輸出層的第j個神經元的網絡輸入記為netj：netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=〔net1，net2，…，netm〕NET=XWO=F〔NET〕58整理ppt單級橫向反響網輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V59整理ppt單級橫向反響網反響權值矩陣：V=〔vij〕神經元的網絡輸入：NET=XW+OV網絡輸出：O=F〔NET〕反響網中可以引入時間參數神經元的狀態在主時鐘的控制下同步變化NET〔t+1〕=X〔t〕W+O〔t〕V O(t+1)=F(NET(t+1))O〔0〕=060整理ppt多級網輸出層隱藏層輸入層o1o2om…x1x2xn………………61整理ppt層次劃分信號只被允許從較低層流向較高層。層號確定層的上下：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網絡外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………多級網62整理ppt第j層：第j-1層的直接后繼層〔j>0〕，它直接接受第j-1層的輸出。輸出層：它是網絡的最后一層，具有該網絡的最大層號，負責輸出網絡的計算結果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………多級網63整理ppt約定:輸出層的層號為該網絡的層數：n層網絡，或n級網絡。第j-1層到第j層的聯接矩陣為第j層聯接矩陣，輸出層對應的矩陣叫輸出層聯接矩陣。今后，在需要的時候，一般我們用W〔j〕表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)多級網64整理ppt多級網——h層網絡輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)65整理ppt多級網非線性激活函數F(X)=kX+C每層的網絡輸出舉例F1(XW(1))F3(F2(F1(XW(1))W(2))W(3))66整理ppt循環網x1o1輸出層隱藏層輸入層x2o2omxn…………………67整理ppt循環網

將輸出信號反響到輸入端輸入的原始信號被逐步地“加強〞、被“修復〞符合大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的網絡的穩定性反響信號會引起網絡輸出的不斷變化我們希望這種變化逐漸減小，并且最后能消失當變化最后消失時，網絡到達了平衡狀態。如果這種變化不能消失，那么稱該網絡是不穩定的。68整理ppt〔二〕網絡信息流向類型前饋型網絡前饋:網絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行反響型網絡在反響網絡中所有節點都具有信息處理功能，而且每個節點既可以從外界接收輸入，同時又可以向外界輸出。69整理ppt〔二〕網絡信息流向類型〔1〕前饋型網絡前饋是因網絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名70整理ppt單純前饋型〔上圖〕從信息處理能力看，網絡中的節點可分為兩種一種是輸入節點，只負責從外界引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節點，包括各隱層和輸出層節點。前饋網絡中一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反響環路。因此這類網絡很容易串聯起來建立多層前饋網絡。71整理ppt多層前饋網絡可用一個有向無環路的圖表示輸入層常記為網絡的第一層，第一個隱層記為網絡的第二層，其余類推。所以，當提到具有單層計算神經元的網絡時，指的應是一個兩層前饋網絡〔輸入層和輸出層〕當提到具有單隱層的網絡時，指的應是一個三層前饋網絡72整理ppt〔二〕網絡信息流向類型〔2〕反響型網絡在反響網絡中所有節點都具有信息處理功能，而且每個節點既可以從外界接收輸入，同時又可以向外界輸出。73整理ppt單純反響型網絡單層全互連結構網絡：是一種典型的反響型網絡，可以用上圖所示的完全的無向圖表示。注意上面介紹的分類方法、結構形式和信息流向只是對目前常見的網絡結構的概括和抽象。實際應用的神經網絡可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次網絡中可能出現局部的互連；從信息流向看，前饋網絡中可能出現局部反響。74整理ppt4.2.3

神經網絡學習神經網絡能夠通過對樣本的學習訓練，不斷改變網絡的連接權值以及拓撲結構，以使網絡的輸出不斷地接近期望的輸出。這一過程稱為神經網絡的學習或訓練，其本質是可變權值的動態調整。神經網絡的學習方式是決定神經網絡信息處理性能的第三大要素〔神經網絡研究的重點〕。改變權值的規那么稱為學習規那么或學習算法〔亦稱訓練規那么或訓練算法〕。在單個處理單元層次，無論采用哪種學習規那么進行調整，其算法都十分簡單。但當大量處理單元集體進行權值調整時，網絡就呈現出“智能〞特性，其中有意義的信息就分布地存儲在調節后的權值矩陣中。75整理ppt4.2.3神經網絡學習：分類有導師學習(有監督學習)這種學習模式采用的是糾錯規那么。在學習訓練過程中需要不斷給網絡成對提供一個輸入模式和一個期望網絡正確輸出的模式，稱為“教師信號〞。將神經網絡的實際輸出同期望輸出進行比較，當網絡的輸出與期望的教師信號不符時，根據過失的方向和大小按一定的規那么調整權值。當網絡對于各種給定的輸入均能產生所期望的輸出時，即認為網絡已經在導師的訓練下“學會〞了訓練數據集中包含的知識和規那么，可以用來進行工作了。76整理ppt無導師學習(無監督學習)學習過程中，需要不斷給網絡提供動態輸入信息，網絡能根據特有的內部結構和學習規那么，在輸入信息流中發現任何可能存在的模式和規律，同時能根據網絡的功能和輸入信息調整權值，這個過程稱為網絡的自組織其結果是使網絡能對屬于同一類的模式進行自動分類。在這種學習模式中，網絡的權值調整不取決于外來教師信號的影響，可以認為網絡的學習評價標準隱含于網絡的內部。77整理ppt死記式學習是指網絡事先設計成能記憶特別的例子，以后當給定有關該例子的輸入信息時，例子便被回憶起來。死記式學習中網絡的權值一旦設計好了就不再變動，因此其學習是一次性的，而不是一個訓練過程。78整理ppt學習的過程〔權值調整的一般情況〕79整理ppt4.2.3

神經網絡學習80整理ppt5.M-P模型M-P〔McCulloch—Pitts〕模型，也稱為處理單元〔PE〕x2w2

∑fo=f（net）xnwn…net=XWx1w1輸入：X=〔x1，x2，…，xn〕聯接權：W=〔w1，w2，…，wn〕T網絡輸入：net=∑xiwi=XW輸出：o=f〔net〕81整理ppt6.前饋神經網絡1958年，美國心理學家FrankRosenblatt提出一種具有單層計算單元的神經網絡，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環境信息，并由神經沖動進行信息傳遞的層次型神經網絡。感知器研究中首次提出了自組織、自學習的思想，而且對所能解決的問題存在著收斂算法，并能從數學上嚴格證明，因而對神經網絡研究起了重要推動作用。82整理ppt6.1單層感知器單層感知器的結構與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經網絡研究中具有重要意義，是研究其它網絡的根底，而且較易學習和理解，適合于作為學習神經網絡的起點。單層感知器是指只有一層處理單元的感知器，如果包括輸入層在內，應為兩層。圖中輸入層也稱為感知層，有n個神經元節點，這些節點只負責引入外部信息，自身無信息處理能力，每個節點接收一個輸入信號，n個輸入信號構成輸入列向量X。輸出層也稱為處理層，有m個神經元節點，每個節點均具有信息處理能力，m個節點向外部輸出處理信息，構成輸出列向量O。兩層之間的連接權值用權值列向量Wj表示，m個權向量構成單層感知器的權值矩陣W。83整理ppt感知器模型單層感知器

最早也是最簡單的一種神經網絡，它的神經元激發函數為階躍函數，主要用于分類感知器神經元84整理pptj=1,2,…,m

感知器模型85整理ppt凈輸入：輸出：感知器模型令x0=-1，w0=Tj那么有-Tj=x0w086整理ppt(1)設輸入向量X=(x1,x2)T輸出：那么由方程wijx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2感知器的功能87整理ppt〔1〕輸入是二維w1jx1+w2jx2–Tj=0 w1jx1=Tj-w2jx2 x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c

88整理ppt感知器的功能〔二維〕89整理ppt感知器的功能線上方的樣本用*表示，它們使netj>0，從而使輸出為1；線下方的樣本用o表示，它們使netj<0，從而使輸出為-1。由感知器權值和閾值確定的直線方程規定了分界線在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。假設分界線的初始位置不能將*類樣本同o類樣本正確分開，改變權值和閾值，分界線也會隨之改變，因此總可以將其調整到正確分類的位置。90整理ppt(2)設輸入向量X=(x1,x2,x3)T輸出：那么由方程wijx1+w2jx2+w3j–Tj=0確定了三維空間上的一個分界平面x2ojx1x3-1感知器的功能91整理ppt〔2〕輸入是三維wijx1+w2jx2+w3j

x3–Tj=0

x1=a

x2+b

x3+c

92整理ppt感知器的功能線上方的樣本用*表示，它們使netj>0，從而使輸出為1；線下方的樣本用o表示，它們使netj<0，從而使輸出為-1。顯然，由感知器權值和閾值確定的直線方程規定了分界平面在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。假設分界平面的初始位置不能將*類樣本同o類樣本正確分開，改變權值和閾值，分界平面也會隨之改變，因此總可以將其調整到正確分類的位置。93整理ppt(3)設輸入向量X=(x1，x2,…，xn)T那么由方程wijx1+w2jx2+…+wnj–Tj=0確定了n維空間上的一個分界平面(超平面〕，該平面可以將輸入樣本分為兩類輸出：wijx1+w2jx2+…+wnj

–Tj=0感知器的功能94整理ppt一個最簡單的單計算節點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權向量〔包含了閾值〕中，由權向量確定的分類判決界面將輸入模式分為兩類。感知器的功能95整理ppt例一用感知器實現邏輯“與〞功能x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表從真值表中可以看出，4個樣本的輸出有兩種情況，一種使輸出為0，另一種使輸出為1，因此屬于分類問題。96整理ppt例一用感知器實現邏輯“與〞功能感知器結構和訓練結果wix1+w2x2-T=0

0.5x1+0.5x2-0.75=0用單計算節點感知器實現，用感知器學習規那么進行訓練，得到的連接權值如右圖97整理ppt例二用感知器實現邏輯“或〞功能x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表98整理ppt例二用感知器實現邏輯“或〞功能感知器結構wix1+w2x2-T=0

x1+x2-0.5=099整理ppt思考并答復分界線的方程是什么？感知器的模型如何表示？圖示？數學表達式？100整理ppt問題：能否用感知器實現“異或〞功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0感知器的局限性4個樣本也分為兩類，但任何直線也不可能把兩類樣本分開；如果兩類樣本可以用直線、平面或超平面分開，稱為線性可分，否那么為線性不可分；由感知器分類的幾何意義可知，由于凈輸入為零確定的分類判決方程是線性方程，因而它只能解決線性可分問題而不可能解決線性不可分問題。由此可知，單計算層感知器的局限性是僅對線性可分問題具有分類能力。101整理ppt感知器的學習關鍵問題就是求102整理ppt感知器的學習算法Perceptron(感知器)學習規那么式中，當實際輸出與期望值相同時，權值不需要調整。感知器學習規那么代表一種有導師學習。103整理ppt感知器學習規那么的訓練步驟：(1)對各權值w0j(0),w1j(0),…,wnj(0)，j=1,2,…,m〔m為計算層的節點數〕賦予較小的非零隨機數；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，dp為期望的輸出向量〔教師信號〕，上標p代表樣本對的模式序號，設樣本集中的樣本總數為P，那么p=1,2,…,P；感知器的學習算法104整理ppt感知器學習規那么的訓練步驟：(3)計算各節點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調整各節點對應的權值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,j=1,2,…,m,其中η為學習率，用于控制調整速度，太大會影響訓練的穩定性，太小那么使訓練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復始直到對所有樣本，感知器的實際輸出與期望輸出相等。感知器的學習算法105整理ppt感知器的學習規那么的訓練步驟〔1〕權值初始化〔2〕輸入樣本對〔3〕計算輸出〔4〕根據感知器學習規那么調整權值〔5〕返回到步驟(2)輸入下一對樣本，周而復始直到對所有樣本，感知器的實際輸出與期望輸出相等。106整理ppt例三單計算節點感知器，3個輸入。給定3對訓練樣本對如下：X1=(-1，1，-2，0)T

d1=

1 X2=(-1，0，1.5，-0.5)T

d2=

1X3=(-1，-1，1，0.5)T

d3=1設初始權向量W(0)=(0.5,1,-1,0)T，η=0.1。注意：輸入向量中第一個分量x0恒等于-1，權向量中第一個分量為閾值試根據以上學習規那么訓練該感知器。感知器的學習算法107整理ppt解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T感知器的學習算法108整理ppt第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。感知器的學習算法109整理ppt第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續訓練直到dp-op=0，p=1,2,3。感知器的學習算法110整理ppt單層感知器的局限性問題：能否用感知器解決如下問題？111整理ppt單層感知器的局限性無法解決“異或〞問題只能解決線性可分問題“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1

1 1 0112整理ppt6.2多層感知器：提出單計算層感知器具有局限性：只能解決線性可分問題，而大量的分類問題是線性不可分的。解決的有效方法在輸入層與輸出層之間引入隱層作為輸入模式的“內部表示〞，將單計算層感知器變成多〔計算〕層感知器。采用非線性連續函數作為轉移函數，使區域邊界線的根本線素由直線變成曲線，從而使整個邊界線變成連續光滑的曲線。113整理ppt雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或〞問題。“異或”的真值表x1x2 y1y2o

00 11001 10 110 01 111 110多層感知器具有單隱層的感知器，其中隱層的兩個節點相當于兩個獨立的符號單元〔單計算節點感知器〕兩個符號單元可分別在x1、x2平面上確定兩條分界直線S1和S2，從而構成上圖所示的開放式凸域114整理ppt通過適當調整兩條直線的位置，可使兩類線性不可分樣本分別位于該開放式凸域內部和外部。對隱節點1來說，直線S1下面的樣本使其輸出為y1=1，而直線上面的樣本使其輸出為y1=0；對隱節點2來說，直線S2上面的樣本使其輸出為y2=1，而直線下面的樣本使其輸出為y2=0。115整理ppt當輸入樣本為o類時，其位置處于開放式凸域內部，即同時處在直線S1下方和直線S2上方。根據以上分析，應有y1=1，y2=1。當輸入樣本為*類時，其位置處于開放式凸域外部，即或者同時處在兩直線S1、S2上方，使y1=0，y2=1；或者同時處在兩直線S1、S2下方，使y1=1，y2=0。輸出層節點以隱層兩節點的輸出y1、y2作為輸入，其結構也相當于一個符號單元。如果經過訓練，使其具有邏輯“與非〞功能，那么異或問題即可得到解決。根據“與非〞邏輯，當隱節點輸出為y1=1，y2=1時，該節點輸出為o=0；當隱節點輸出為y1=1，y2=0時，或y1=0，y2=1時，該節點輸出為o=1。116整理ppt對于一般形式的單隱層感知器，當輸入樣本為二維向量時，隱層中的每個節點確定了二維平面上的一條分界直線。多條直線經輸出節點組合后會構成各種形狀的凸域〔所謂凸域是指其邊界上任意兩點之連線均在域內〕。通過訓練調整凸域的形狀，可將兩類線性不可分樣本分為域內和域外。輸出層節點負責將域內外的兩類樣本進行分類。單隱層節點數量增加可以使多邊形凸域的邊數增加，從而在輸出層構建出任意形狀的凸域。如果在此根底上再增加第二個隱層，那么該層的每個節點確定一個凸域，各種凸域經輸出層節點組合后成為任意形狀。117整理ppt如圖，由凸域組合成任意形狀后，意味著雙隱層的分類能力比單隱層大大提高。分類問題越復雜，不同類別樣本在樣本空間的布局越趨于犬牙交錯，因而隱層需要的神經元節點數也越多。Kolmogorov理論指出：雙隱層感知器足以解決任何復雜的分類問題。該結論已經過嚴格的數學證明。118整理ppt具有不同隱層數的感知器的分類能力比照119整理ppt說明為便于直觀描述感知器分類能力，在上述分析中，將轉移函數限定為符號函數或單位階躍函數。實際上，提高感知器分類能力的另一個途徑是，采用非線性連續函數作為神經元節點的轉移函數。這樣做的好處是能使區域邊界線的根本線素由直線變成曲線，從而使整個邊界線變成連續光滑的曲線120整理ppt連續多輸出感知器訓練算法1.用適當的小偽隨機數初始化權矩陣W；2.初置精度控制參數ε，學習率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；3.2for每個樣本〔X，Y〕do 3.2.1輸入X；//(x1，x2，…，xn) 3.2.2求O=F〔XW〕； 3.2.3修改權矩陣W： fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；//yj與oj之間的差異對wij的影響 3.2.4累積誤差 forj=1tomdo d=d+(yj-oj)2121整理ppt7.BP算法提高網絡性能〔如分類能力〕的有效途徑包含隱層的多層前饋網絡長期以來沒有提出解決權值調整問題的有效算法。非線性連續轉移函數BP(ErrorBackProragation，BP)算法1986年，Rumelhart和McCelland領導的科學家小組?ParallelDistributedProcessing?一書應用對象：多層前饋網絡具有非線性連續轉移函數122整理ppt〔1〕基于BP算法的多層前饋網絡模型誤差反傳〔BP〕算法123整理ppt模型的數學表達輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯系，來描述整個網絡？124整理ppt輸出層：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)隱層：j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)基于BP算法的多層前饋網絡模型125整理ppt雙極性Sigmoid函數：單極性Sigmoid函數：基于BP算法的多層前饋網絡模型126整理ppt一、網絡誤差與權值調整輸出誤差E定義：將以上誤差定義式展開至隱層：BP學習算法127整理ppt一、網絡誤差與權值調整〔續〕進一步展開至輸入層：3.4.2BP學習算法由上式可以看出，網絡輸入誤差是各層權值wjk、vij的函數，因此調整權值可改變誤差E。128整理pptj=0,1,2,…,m;k=1,2,…,li=0,1,2,…,n;j=1,2,…,m式中負號表示梯度下降，常數η∈(0,1)表示比例系數，在訓練中反映學習速率。在全部推導過程中，對輸出層有j=0,1,2,…,m;k=1,2,…,l對隱層有i=0,1,2,…,n;j=1,2,…,m3.4.2BP學習算法調整權值的原那么顯然是使誤差不斷地減小，因此應使權值的調整量與誤差的梯度下降成正比129整理ppt二、BP算法推導對于輸出層，有對隱層，有對輸出層和隱層各定義一個誤差信號，令

3.4.2BP學習算法130整理ppt綜上，可將權值調整式改寫為同理，隱層的權值調整式可改寫為可以看出，只要計算出誤差信號

o和

y，權值調整量的計算推導即可完成。下面繼續推導如何求誤差信號

o和

y

。131整理ppt對于輸出層，

o可展開為對于隱層，

y可展開為下面求網絡誤差對各層輸出的偏導。132整理ppt對于輸出層，利用式對于隱層，利用式可得：可得：133整理ppt將以上結果代入，并應用式得到：134整理ppt將上述結果代入，得到三層前饋網的BP學習算法權值調整計算公式為：可以看出，BP學習算法中，各層權值調整公式形式上都是一樣的，均由3個因素決定，即：學習率η、本層輸出的誤差信號δ、本層輸入信號Y(或X)輸出層誤差信號與網絡的期望輸出和實際輸出之差有關，直接反映了輸出誤差各隱層的誤差信號與前面各層的誤差信號都有關，是從輸出層開始逐層反傳過來的。135整理ppt136整理pptBP網絡〔BackpropagationNetwork〕拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………增加隱藏層數和隱藏層神經元個數不一定總能提高網絡精度和表達能力，所以，BP網一般都選用二級網絡137整理pptBP網絡神經元神經元的網絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經元的輸出：138整理pptBP網絡的應用BP網絡的用途十分廣泛，可用于以下方面：函數逼近：用輸入矢量和相應的輸出矢量訓練一個網絡逼近一個函數模式識別：用一個特定的輸出矢量將它與輸入矢量聯系起來分類：把輸入矢量以所定義的適宜方式進行分類數據壓縮：減少輸出矢量維數以便于傳輸或存儲139整理pptBP算法的根本思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元——各層單元的誤差信號修正各單元權值140整理pptBP算法的學習過程正向傳播：輸入樣本——輸入層——各隱層——輸出層判斷是否轉入反向傳播階段：假設輸出層的實際輸出與期望的輸出〔教師信號〕不符誤差反傳誤差以某種形式在各層表示——修正各層單元的權值網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止141整理ppt訓練過程

樣本：(輸入向量，理想輸出向量)權初始化1、向前傳播階段：〔1〕從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；〔2〕計算相應的實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))142整理ppt訓練過程

2、向后傳播階段——誤差傳播階段：〔1〕計算實際輸出Op與相應的理想輸出Yp的差〔2〕按極小化誤差的方式調整權矩陣〔3〕網絡關于第p個樣本的誤差測度：〔4〕網絡關于整個樣本集的誤差測度：143整理ppt誤差傳播

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop =αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq144整理ppt誤差傳播2、隱藏層權的調整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……145整理ppt誤差傳播δpk-1的值和δ1k，δ2k，…，δmk有關不妨認為δpk-1通過權wp1對δ1k做出奉獻，通過權wp2對δ2k做出奉獻，……，通過權wpm對δmk做出奉獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)vhp=vhp+?vhp?vhp=αδpk-1ohk-2=αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22、隱藏層權的調整146整理ppt根本BP算法樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)，W(2)，…，W(L)各做一次調整，重復這個循環，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現對權矩陣的修改。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程147整理ppt根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對S中的每一個樣本〔Xp,Yp〕： 4.2.1計算出Xp對應的實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4根據相應式子調整W(L)； 4.2.5k=L-1；

4.2.6whilek≠0do

根據相應式子調整W(k)；

k=k-14.3E=E/2.0148整理pptBP算法的程序實現(1)初始化；

(4)計算各層誤差信號；

(5)調整各層權值；

(6)檢查是否對所有樣本完成一次輪訓；

(7)檢查網絡總誤差是否到達精度要求。(2)輸入訓練樣本對X

Xp、d

dp，計算各層輸出；(3)計算網絡輸出誤差；149整理pptBP算法的程序實現然后根據總誤差計算各層的誤差信號并調整權值。另一種方法是在所有樣本輸入之后，計算網絡的總誤差：150整理ppt多層前饋網的主要能力(1)非線性映射能力

多層前饋網能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數學方程。只要能提供足夠多的樣本模式對供BP網絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。151整理ppt多層前饋網的主要能力(2)泛化能力

當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力。(3)容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出規律影響很小。152整理ppt誤差曲面與BP算法的局限性誤差函數的可調整參數的個數nw等于各層權值數加上閾值數，即：誤差E是nw+1維空間中一個形狀極為復雜的曲面該曲面上的每個點的“高度〞對應于一個誤差值，每個點的坐標向量對應著nw個權值，因此稱這樣的空間為誤差的權空間。153整理ppt誤差曲面的分布——BP算法的局限性曲面的分布特點——算法的局限性(1)存在平坦區域——誤差下降緩慢，影響收斂速度(2)存在多個極小點——易陷入局部最小點

154整理ppt曲面分布特點1：存在平坦區域平坦：誤差的梯度變化小〔接近于零〕155整理ppt存在平坦區域的原因分析

接近于零的情況分析造成平坦區的原因：各節點的凈輸入過大對應著誤差的某個谷點

平坦區

156整理ppt曲面分布特點2：存在多個極小點誤差梯度為零多數極小點都是局部極小，即使是全局極小往往也不是唯一的。單權值雙權值157整理ppt曲面分布特點2：存在多個極小點BP算法以誤差梯度下降為權值調整原那么誤差曲面的這一特點使之無法區分極小點的性質導致的結果：因而訓練經常陷入某個局部極小點而不能自拔，從而使訓練無法收斂于給定誤差。158整理ppt標準BP算法的改進誤差曲面的形狀——固有的算法的作用是什么？調整權值，找到最優點那么如何更好地調整權值？利用算法使得權值在更新的過程中，‘走’適宜的路徑，比方跳出平坦區來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區或局部最小點時進行一些判斷，通過改變某些參數來使得權值的調整更為合理。159整理ppt標準的BP算法內在的缺陷：易形成局部極小而得不到全局最優；訓練次數多使得學習效率低，收斂速度慢；隱節點的選取缺乏理論指導；訓練時學習新樣本有遺忘舊樣本的趨勢。 針對上述問題，國內外已提出不少有效的改進算法， 下面僅介紹其中3種較常用的方法。160整理ppt標準BP算法的改進改進1：增加動量項改進2：自適應調節學習率改進3：引入陡度因子161整理ppt改進1：增加動量項提出的原因：標準BP算法只按t時刻誤差的梯度降方向調整，而沒有考慮t時刻以前的梯度方向從而常使訓練過程發生振蕩，收斂緩慢。方法：α為動量系數，一般有α∈(0，1)162整理ppt改進1：增加動量項實質：從前一次權值調整量中取出一局部迭加到本次權值調整量中作用：動量項反映了以前積累的調整經驗，對于t時刻的調整起阻尼作用。當誤差曲面出現驟然起伏時，可減小振蕩趨勢，提高訓練速度。163整理ppt改進2：自適應調節學習率提出的原因：標準BP算法中，學習率η也稱為步長，確定一個從始至終都適宜的最正確學習率很難。平坦區域內，η太小會使訓練次數增加；在誤差變化劇烈的區域，η太大會因調整量過大而跨過較窄的“坑凹〞處，使訓練出現振蕩，反而使迭代次數增加。164整理ppt改進2：自適應調節學習率根本思想：自適應改變學習率，使其根據環境變化增大或減小。根本方法：設一初始學習率，假設經過一批次權值調整后使總誤差↑，那么本次調整無效，且=β(β<1)；假設經過一批次權值調整后使總誤差↓，那么本次調整有效，且=θ(θ>1)。165整理ppt改進3：引入陡度因子提出的原因：誤差曲面上存在著平坦區域。權值調整進入平坦區的原因是神經元輸出進入了轉移函數的飽和區。根本思想：如果在調整進入平坦區后，設法壓縮神經元的凈輸入，使其輸出退出轉移函數的不飽和區，就可以改變誤差函數的形狀，從而使調整脫離平坦區。166整理ppt改進3：引入陡度因子根本方法：在原轉移函數中引入一個陡度因子λ當發現ΔE接近零而d-o仍較大時，可判斷已進入平坦區，此時令λ>1；當退出平坦區后，再令λ=1。167整理ppt改進3：引入陡度因子作用分析：λ>1：net坐標壓縮了λ倍，神經元的轉移函數曲線的敏感區段變長，從而可使絕對值較大的net退出飽和值。λ=1：轉移函數恢復原狀，對絕對值較小的net具有較高的靈敏度。應用結果說明該方法對于提高BP算法的收斂速度十分有效。168整理ppt總結基于BP算法的多層前饋網絡模型BP算法的實現根本思想推導過程程序實現BP學習算法的功能BP學習算法的局限性BP學習算法的改進169整理ppt8.BP網絡設計一、訓練樣本集的準備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數據的歸一化三、網絡訓練與測試170整理ppt一、訓練樣本集的準備輸出量的選擇輸出量:代表系統要實現的功能目標系統的性能指標分類問題的類別歸屬非線性函數的函數值輸入量的選擇輸入量選擇的兩條根本原那么必須選擇那些對輸出影響大且能夠檢測或提取的變量各輸入變量之間互不相關或相關性很小1.輸出、輸入量的選擇171整理ppt1.輸出、輸入量的選擇輸入輸出量的性質從輸入、輸出量的性質來看，可分為兩類數值變量語言變量。數值變量的值是數值確定的連續量或離散量。語言變量是用自然語言表示的概念，其“語言值〞是用自然語言表示的事物的各種屬性。中選用語言變量作為網絡的輸入或輸出變量時，需將其語言值轉換為離散的數值量。172整理ppt2.輸入量的提取與表示XC=(111100111)T

XI=(010010010)T

XT=(111010010)T(1)文字符號輸入173整理ppt〔2〕曲線輸入p=1,2,…,P174整理ppt〔3〕函數自變量輸入一般有幾個輸入量就設幾個分量，1個輸入分量對應1個輸入層節點。〔4〕圖象輸入在這類應用中，一般先根據識別的具體目的從圖象中提取一些有用的特征參數，再根據這些參數對輸入的奉獻進行篩選，這種特征提取屬于圖象處理的范疇。175整理ppt3.輸出量的表示(1)“n中取1〞表示法“n中取1〞是令輸出向量的分量數等于類別數，輸入樣本被判為哪一類，對應的輸出分量取1，其余n-1個分量全取0。例如，用0001、0010、0100和1000可分別表示優、良、中、差4個類別。(2)“n-1〞表示法如果用n-1個全為0的輸出向量表示某個類別，那么可以節省一個輸出節點。例如，用000、001、010和100也可表示優、良、中、差4個類別。(3)數值表示法

對于漸進式的分類，可以將語言值轉化為二值之間的數值表示。數值的選擇要注意保持由小到大的漸進關系，并要根據實際意義拉開距離。176整理ppt二、輸入輸出數據的歸一化

歸一化也稱為或標準化，是指通過變換處理將網絡的輸入、輸出數據限制在[0，1]或[-1，1]區間內。歸一化的原因：網絡的各個輸入數據常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網的神經元均采用Sigmoid轉移函數，變換后可防止因凈輸入的絕對值過大而使神經元輸出飽和，繼而使權值調整進入誤差曲面的平坦區；Sigmoid轉移函數的輸出在0-1或-1-1之間。教師信號如不進行歸一化處理，勢必使數值大的輸出分量絕對誤差大，數值小的輸出分量絕對誤差小。177整理ppt歸一化的方法將輸入輸出數據變換為[0，1]區間的值常用以下變換式其中，xI代表輸入或輸出數據，xmin代表數據變化的最小值，xman代表數據的最大值。將輸入輸出數據變換為[-1，1]區間的值常用以下變換式其中，xmid代表數據變化范圍的中間值。178整理ppt三、網絡訓練與測試網絡的性能好壞主要看其是否具有很好的泛化能力，對泛化能力的測試不能用訓練集的數據進行，而要用訓練集以外的測試數據來進行檢驗。179整理ppt在隱節點數一定的情況下，為獲得好的泛化能力，存在著一個最正確訓練次數。180整理ppt9.人工神經網絡應用案例1981年生物學家格假設根〔W．Grogan〕和維什〔W．Wirth〕發現了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數據如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af181整理ppt蚊子的分類

的兩類蚊子的數據如表1：翼長觸角長類別目標值1.781.14Apf0.91.961.18Apf0.91.861.20Apf0.91.721.24Af0.92.001.26Apf0.92.001.28Apf0.91.961.30Apf0.91.741.36Af0.1翼長觸角長類別目標值

1.641.38Af0.11.821.38Af0.11.901.38Af0.11.701.40Af0.11.821.48Af0.11.821.54Af0.12.081.56Af0.1182整理ppt輸入數據有15個，即,p=1,…,15;j=1,2;對應15個輸出。建模：〔輸入層，中間層，輸出層，每層的元素應取多少個？〕建立神經網絡183整理ppt規定目標為：當t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設兩個權重系數矩陣為：為閾值

其中184整理ppt分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為激勵函數若令（作為一固定輸入）（閾值作為固定輸入神經元相應的權系數）185整理ppt則有：

取激勵函數為=則同樣，取186整理ppt〔1〕隨機給出兩個權矩陣的初值；例如用MATLAB軟件時可以用以下語句：令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據輸入數據利用公式算出網絡的輸出=187整理ppt取〔3〕計算因為

所以

〔4〕取〔或其他正數，可調整大小〕188整理ppt(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,3189整理ppt(6)p=p+1，轉〔2〕注：僅計算一圈〔p=1，2，…，15〕是不夠的，直到當各權重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結果是：190整理ppt即網絡模型的解為：=191整理ppt9.神經網絡案例—工地施工平安預測192整理ppt運用MATLAB計算神經網絡工具箱提供了建立神經網絡的專用函數newff()該函數的調用方法為net＝newff(PR，[S1S2…SN]，{TF1TF2…TFN}，BTF，BLF，PF)net——存放所建立的網絡屬性和網絡參數PR——輸入向量的取值范圍；Si——第i層的神經元個數，總共N層；Tfi——第i層的傳遞函數，缺省值為“tansig〞；BTF——BP網絡的訓練函數，缺省值為“trainlm