1人工智能

ArtificialIntelligence主講：鮑軍鵬博士西安交通大學電信學院計算機系電子郵箱：版本：年1月第一頁，共67頁。第七章 人工神經網絡7.1概述7.2感知器7.3前饋神經網絡7.4反響神經網絡7.5隨機神經網絡7.6自組織神經網絡2第二頁，共67頁。7.1概述在廣義上，神經網絡可以泛指生物神經網絡也可以指人工神經網絡。所謂人工神經網絡〔ArtificialNeuralNetwork〕是指模擬人腦神經系統的構造和功能，運用大量的處理部件，由人工方式建立起來的網絡系統。人腦是ANN的原型，ANN是對人腦神經系統的模擬。在人工智能領域中，在不引起混淆的情況下，神經網絡一般都指的是ANN。3第三頁，共67頁。7.1.1人腦神經系統

1875年意大利解剖學家C.Golgi用銀浸透法最先識別出單個神經細胞。1889年Cajal創立神經元學說，認為整個神經系統都是由構造上相對獨立的神經細胞構成。神經細胞即神經元是神經系統中獨立的營養和功能單元。生物神經系統，包括中樞神經系統和大腦，均是由各類神經元組成。其獨立性是指每一個神經元均有自己的核和自己的分界限或原生質膜。生物神經系統是一個有高度組織和互相作用的數量宏大的細胞組織群體。據估計，人腦神經系統的神經細胞約為1011－1013個。它們按不同的結合方式構成了復雜的神經網絡。通過神經元及其聯接的可塑性，使得大腦具有學習、記憶和認知等各種智能。4第四頁，共67頁。生物神經元神經細胞是構成神經系統的根本單元，稱之為生物神經元，或者簡稱為神經元。神經元主要由三個部分組成：細胞體、軸突、樹突。5神經元解剖構造第五頁，共67頁。生物神經元細胞體(CellBody或者Soma)：由細胞核、細胞質、細胞膜等組成。細胞膜內外有電位差，稱為膜電位，大小約為幾十微伏。膜電壓承受其它神經元的輸入后，電位上升或者下降。假設輸入沖動的時空整合結果使膜電位上升，并超過動作電位閾值時，神經元進入興奮狀態，產生神經沖動，由軸突輸出。假設整合結果使膜電位下降并低于動作電壓閾值時，神經元進入抑制狀態，無神經沖動輸出。軸突(Axon)：細胞體向外伸出的最長的一條分枝，即神經纖維，相當于神經元的輸出端。一般一個神經元只有一個軸突，有個別神經元沒有。樹突(Dendrite)：細胞體向外伸出的觸軸突之外其它分枝。一般較短，但分枝很多，相當于神經元的輸入端。6第六頁，共67頁。生物神經元興奮脈沖神經元的興奮過程電位變化7第七頁，共67頁。生物神經元突觸構造突觸構造8第八頁，共67頁。突觸傳遞過程9第九頁，共67頁。生物神經元生理學的研究說明，突觸可以有以下幾個方面的變化：(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產生的突觸后膜外表積擴大，從而突觸所釋放出的傳遞物質增多，使得突觸的傳遞效率進步。其次是突觸傳遞物質質量的變化，包括比例成分的變化所引起傳遞效率的變化。(2)突觸接觸間隙的變化。在突觸外表有許多形狀各異的小凸芽，調節其形狀變化可以改變接觸間隙，并影響傳遞效率。(3)突觸的發芽。當某些神經纖維被破壞后，可能又會長出新芽，并重新產生附著于神經元上的突觸．形成新的回路。由于新的回路的形成，使得結合形式發生變化，也會引起傳遞效率的變化。(4)突觸數目的增減。由于種種復雜環境條件的刺激等原因，或者由于動物本身的生長或衰老，神經系統的突觸數目會發生變化，并影響神經元之間的傳遞效率。10第十頁，共67頁。神經元的整合功能神經元對信息的承受和傳遞都是通過突觸來進展的。單個神經元可以從別的細胞承受多個輸入。由于輸入分布于不同的部位，對神經元影響的比例(權重)是不一樣的。另外，各突觸輸入抵達神經元的先后時間也不一祥。因此，一個神經元承受的信息，在時間和空間上常呈現出一種復雜多變的形式，需要神經元對它們進展積累和整合加工，從而決定其輸出的時機和強度。正是神經元這種整合作用，才使得億萬個神經元在神經系統中有條不紊、夜以繼日地處理各種復雜的信息，執行著生物中樞神經系統的各種信息處理功能。多個神經元以突觸聯接形成了一個神經網絡。研究說明，生物神經網絡的功能決不是單個神經元生理和信息處理功能的簡單疊加，而是一個有層次的、多單元的動態信息處理系統。它們有其獨特的運行方式和控制機制，以承受生物內外環境的輸入信息，加以綜合分折處理，然后調節控制機體對環境作出適當的反響。11第十一頁，共67頁。人腦神經系統的特征〔1〕從信息系統研究的觀點出發，對于人腦這個智能信息處理系統，有如下一些固有特征：(1)并行分布處理的工作形式。實際上大腦中單個神經元的信息處理速度是很慢的，每次約1毫秒(ms)。但是人腦對某一復雜過程的處理和反響卻很快，一般只需幾百毫秒。可見，大腦信息處理的并行速度已到達了極高的程度。(2)神經系統的可塑性和自組織性。神經系統的可塑性和自組織性與人腦的生長發育過程有關。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓練和學習而得到加強。神經網絡的學習機制就是基于這種可塑性現象，并通過修正突觸的結合強度來實現的。(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機結合在一起的，而不像現行計算機那樣．存貯地址和存貯內容是彼此分開的。由于大腦神經元兼有信息處理和存貯功能，所以在進展回億時，不但不存在先找存貯地址而后再調出所存內容的問題，而且還可以由一部分內容恢復全部內容。12第十二頁，共67頁。人腦神經系統的特征〔2〕(4)信息處理的系統性大腦是一個復雜的大規模信息處理系統，單個的元件“神經元〞不能表達全體宏觀系統的功能。實際上，可以將大腦的各個部位看成是一個大系統中的許多子系統。各個子系統之間具有很強的互相聯絡，一些子系統可以調節另一些子系統的行為。例如，視覺系統和運動系統就存在很強的系統聯絡，可以互相協調各種信息處理功能。(5)能承受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是準確解。人類處理日常行為時，往往都不是一定要按最優或最準確的方式去求解，而是以能解決問題為原那么，即求得滿意解就行了。(7)系統的恰當退化和冗余備份(魯棒性和容錯性)。13第十三頁，共67頁。7.1.2人工神經網絡研究內容與特點

人工神經網絡的研究方興末艾，很難準確地預測其開展方向。但就目前來看，人工神經網絡的研究首先須解決全局穩定性、構造穩定性、可編程性等問題。14第十四頁，共67頁。根本研究內容〔1〕(1)人工神經網絡模型的研究。神經網絡原型研究，即大腦神經網絡的生理構造、思維機制；神經元的生物特性如時空特性、不應期、電化學性質等的人工模擬；易于實現的神經網絡計算模型；利用物理學的方法進展單元間互相作用理論的研究，如：聯想記憶模型；神經網絡的學習算法與學習系統。(2)神經網絡根本理論研究。神經網絡的非線性特性，包括自組織、自適應等作用；神經網絡的根本性能，包括穩定性、收斂性、容錯性、魯棒性、動力學復雜性；神經網絡的計算才能與信息存貯容量；結合認知科學的研究，探究包括感知、考慮、記憶和語言等的腦信息處理模型。15第十五頁，共67頁。根本研究內容〔2〕(3)神經網絡的軟件模擬和硬件實現。在通用計算機、專用計算機或者并行計算機上進展軟件模擬，或由專用數字信號處理芯片構成神經網絡仿真器。由模擬集成電路、數字集成電路或者光器件在硬件上實現神經芯片。軟件模擬的優點是網絡的規模可以較大，合適于用來驗證新的模型和復雜的網絡特性。硬件實現的優點是處理速度快，但由于受器件物理因素的限制，根據目前的工藝條件，網絡規模不可能做得太大。僅幾千個神經元。但代表了將來的開展方向，因此特別受到人們的重視。(4)神經網絡計算機的實現。計算機仿真系統；專用神經網絡并行計算機系統，例如數字、模擬、數—模混合、光電互連等。光學實現；生物實現；16第十六頁，共67頁。重要應用神經網絡智能信息處理系統的一些重要應用：認知與人工智能：包括形式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯想記憶、邏輯推理、知識工程、專家系統、故障診斷、智能機器人等。優化與控制：包括優化求解、決策與管理、系統辨識、魯棒性控制、自適應控制、并行控制、分布控制、智能控制等。信號處理：自適應信號處理(自適應濾波、時間序列預測、譜估計、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預測、非線性譜估計、非線性編碼、中值處理)。傳感器信息處理：形式預處理變換、信息集成、多傳感器數據交融。ANN擅長于兩個方面：–對大量的數據進展分類，并且只有較少的幾種情況；–必須學習一個復雜的非線性映射。17第十七頁，共67頁。人工神經網絡的特點

具有大規模并行協同處理才能。每一個神經元的功能和構造都很簡單，但是由大量神經元構成的整體卻具有很強的處理才能。具有較強的容錯才能和聯想才能。單個神經元或者連接對網絡整體功能的影響都比較微小。在神經網絡中，信息的存儲與處理是合二為一的。信息的分布存提供容錯功能–由于信息被分布存放在幾乎整個網絡中。所以當其中的某一個點或者某幾個點被破壞時信息仍然可以被存取。系統在受到部分損傷時還可以正常工作。并不是說可以任意地對完成學習的網絡進展修改。也正是由于信息的分布存放，對一類網來說，當它完成學習后，假如再讓它學習新的東西，這時就會破壞原來已學會的東西。具有較強的學習才能。神經網絡的學習可分為有老師學習與無老師學習兩類。由于其運算的不準確性，表現成“去噪音、容殘缺〞的才能，利用這種不準確性，比較自然地實現形式的自動分類。具有很強的普化〔Generalization〕才能與抽象才能。是大規模自組織、自適應的非線性動力系統。具有一般非線性動力系統的共性，即不可預測性、耗散性、高維性、不可逆性、廣泛連接性和自適應性等等。18第十八頁，共67頁。物理符號系統和人工神經網絡系統的差異項目物理符號系統人工神經網絡處理方式邏輯運算模擬運算執行方式串行并行存儲方式局部集中全局分布處理數據離散為主連續為主基本開發方法設計規則、框架、程序，用樣本數據進行調試定義結構原型，通過樣本完成學習自適應性由人根據已知環境構造模型，依賴于人為適應環境自動從樣本中抽取內涵，自動適應應用環境適應領域精確計算：符號處理、數值計算非精確計算：模擬處理、感覺、大規模數據并行處理模擬對象左腦（邏輯思維）右腦（形象思維）19第十九頁，共67頁。7.1.3人工神經網絡根本形態MP模型MP模型是由美國McCulloch和Pitts提出的最早神經元模型之一。MP模型是大多數神經網絡模型的根底。它屬于一種非線性閾值元件模型。20第二十頁，共67頁。MP模型21wij——代表神經元i與神經元j之間的連接強度(模擬生物神經元之間突觸連接強度)，稱之為連接權；ui——代表神經元i的活潑值，即神經元狀態；yj——代表神經元j的輸出。對于多層網絡而言，也是另外一個神經元的一個輸入；θi——代表神經元i的閾值。第二十一頁，共67頁。MP模型函數f表達了神經元的輸入輸出特性。在MP模型中，f定義為階躍函數：假如把閾值θi看作為一個特殊的權值，那么可改寫為:其中，w0i＝-θi，v0＝122第二十二頁，共67頁。MP模型為用連續型的函數表達神經元的非線性變換才能，常采用s型函數:

MP模型在發表時并沒有給出一個學習算法來調整神經元之間的連接權。但是，我們可以根據需要，采用一些常見的算法來調整神經元連接權，以到達學習目的。23第二十三頁，共67頁。PDP模型Rumellhart，McClelland，Hinton提出的并行分布處理(ParallelDistributedProcessing)模型是一個通用的神經網絡模型。1〕一組處理單元；2〕處理單元的激活狀態〔ai〕；3〕每個處理單元的輸出函數〔fi〕；4〕處理單元之間的聯接形式；5〕傳遞規那么〔∑wijoi〕；6〕把處理單元的輸入及當前狀態結合起來產生激活值的激活規那么〔Fi〕；7〕通過經歷修改聯接強度的學習規那么；8〕系統運行的環境〔樣本集合〕。24第二十四頁，共67頁。人工神經網絡拓撲前向網絡 神經元分層排列，分別組成輸入層、中間層〔隱層〕和輸出層。每一層神經元只接收來自前一層神經元的輸出。25第二十五頁，共67頁。從輸出層到輸入層有反響的網絡26第二十六頁，共67頁。層內有互連的網絡同層神經元之間有橫向聯絡。所以同層神經元之間有互相作用，可以形成競爭。27第二十七頁，共67頁。全互連網絡任意兩個神經元之間都有可能互相連接。這種拓撲的人工神經網絡很少見。因為這種系統太復雜了，是一個極度非線性的動力學系統。現有理論還缺乏對其穩定性的認識28第二十八頁，共67頁。人工神經網絡中的學習規那么學習是神經網絡最重要的特征之一。神經網絡可以通過訓練〔學習〕，改變其內部表示，使輸入、輸出變換向好的方向開展，這個過程稱之為學習過程。神經網絡按照一定的規那么〔學習/訓練規那么〕自動調節神經元之間的連接權值或者拓撲構造，一直到網絡實際輸出滿足期望的要求，或者趨于穩定為止。29第二十九頁，共67頁。學習技術的分類按照神經網絡構造的變化來分，學習技術分為三種：權值修正、拓撲變化、權值與拓撲修正。其中應用權值修正學習技術的神經網絡比較多,即。wij(t+1)=wij(t)+Δwij按照確定性，學習可分為：確定性學習和隨機性學習。例如梯度最快下降法是一種確定性權值修正方法。波爾茲曼機所用的模擬退火算法是一種隨機性權值修正方法。典型的權值修正方法有兩類：相關學習和誤差修正學習。相關學習方法中常用的方法為Hebb學習規那么。其思想最早在1949年由心理學家Hebb作為假設提出，并已經得到神經細胞學說的證實，所以人們稱之為Hebb學習規那么。誤差修正學習方法是另一類很重要的學習方法。最根本的誤差修正學習方法被稱為δ學習規那么。30第三十頁，共67頁。Hebb規那么31Hebb學習規那么調整神經元間連接權值(wij)的原那么為：假設第i和第j個神經元同時處于興奮狀態，那么它們之間的連接應當加強。 即：Δwij＝ηui(t)uj(t)這一規那么與“條件反射〞學說一致，并已得到神經細胞學說的證實。η是一個正常量，表示學習速率的比例常數,又稱為學習因子。第三十一頁，共67頁。δ規那么δ學習規那么調整神經元間連接權值(wij)的原那么為：假設某神經元的輸出值與期望值不符，那么根據期望值與實際值之間的差值來調整該神經元的權重。 即：Δwij＝η[dj-yj(t)]xij(t)這是一種梯度下降學習方法。32第三十二頁，共67頁。Widrow-Hoff規那么這是δ學習規那么的一個特例，也稱為最小均方誤差(LeastMeanSquare)學習規那么。其原那么是使神經元的輸出與期望輸出之間的均方誤差最小。即，Δwij＝[η/(|xij(t)|2)]εi(t)xij(t)εi(t)=dj-yj(t)33第三十三頁，共67頁。競爭學習規那么這種學習規那么的原那么就是“勝者全盈〞。假如在一層神經元中有一個對輸入產生的相應最大，那么該神經元即為勝者。然后只對連接到勝者的權值進展調整，使其更接近于對輸入樣本形式的估值。 即，Δwij＝η[g(xj)-wij(t)]34第三十四頁，共67頁。7.2感知器感知器是一種早期的神經網絡模型，由美國學者于1957年提出。感知器中第一次引入了學習的概念，使人腦所具備的學習功能在基于符號處理的數學到了一定程度的模擬，所以引起了廣泛的關注。35第三十五頁，共67頁。7.2.1簡單感知器簡單感知器模型實際上仍然是MP模型的構造，但是它通過采用監視學習來逐步增強形式劃分的才能，到達所謂學習的目的。其構造如以下圖所示感知器處理單元對n個輸入進展加權和操作y即：其中，wi為第i個輸入到處理單元的連接權值,θ為閾值,f取階躍函數36第三十六頁，共67頁。感知器的運算才能感知器在形式上與MP模型差不多，它們之間的區別在于神經元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。利用簡單感知器可以實現邏輯代數中的一些運算。Y=f(w1x1+w2x2-θ)(1)“與〞運算 當取w1＝w2＝1，θ＝時，上式完成邏輯“與〞的運算。(2)“或〞運算， 當取wl＝w2＝1，θ＝時，上式完成邏輯“或〞的運算。(3)“非〞運算， 當取wl=-1，w2＝0，θ＝-1時,完成邏輯“非〞的運算。37第三十七頁，共67頁。感知器的幾何意義與許多代數方程一樣，上式中不等式(階躍函數)具有一定的幾何意義。對于一個兩輸入的簡單感知器，每個輸入取值為0和1，如上面結出的邏輯運算，所有輸入樣本有四個，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構成了樣本輸入空間。例如，在二維平面上，對于“或〞運算，各個樣本的分布如以下圖所示。直線1*x1+1*x2＝0將二維平面分為兩部分，上部為激發區(y=1，用★表示)，下部為抑制區(y＝0，用☆表示)。38第三十八頁，共67頁。感知器的學習簡單感知器中的學習算法是δ學習規那么。其詳細過程如下：(1)選擇一組初始權值wi(0)。(2)計算某一輸入形式對應的實際輸出與期望輸出的誤差δ(3)假如δ小于給定值，完畢，否那么繼續。(4)更新權值(閾值可視為輸入恒為1的一個權值)：Δwi(t+1)＝wi(t+1)-wi(t)=η[d-y(t)]xi(t) 式中η為在區間(0，1)上的一個常數，稱為學習步長，它的取值與訓練速度和w收斂的穩定性有關；d、y為神經元的期望輸出和實際輸出；xi為神經元的第i個輸入。 (5)返回(2)，重復，直到對所有訓練樣本形式，網絡輸出均能滿足要求。39第三十九頁，共67頁。感知器的學習過程40第四十頁，共67頁。簡單感知器的致命缺陷不能解決線性不可分問題。線性不可分問題就是無法用一個平面〔直線〕把超空間〔二維平面〕中的點正確劃分為兩部分的問題。感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學習才能到達收效。41第四十一頁，共67頁。7.2.2多層感知器線性不可分問題的抑制用多個單級網組合在一起，并用其中的一個去綜合其它單級網的結果，我們就可以構成一個兩級網絡，該網絡可以被用來在平面上劃分出一個封閉或者開放的凸域來。一個非凸域可以拆分成多個凸域。按照這一思路，三級網將會更一般一些，我們可以用它去識別出一些非凸域來42第四十二頁，共67頁。多層感知器在輸入和輸出層間加上一層或多層的神經元(隱層神經元)，就可構成多層前向網絡，這里稱為多層感知器。這里需指出的是：多層感知器只允許調節一層的連接權。這是因為按感知器的概念，無法給出一個有效的多層感知器學習算法。上述三層感知器中，有兩層連接權，輸入層與隱層單元間的權值是隨機設置的固定值，不被調節；輸出層與隱層間的連接權是可調節的。43第四十三頁，共67頁。用多層感知器解決異或問題對于上面述及的異或問題，用一個簡單的二層感知器就可得到解決

44第四十四頁，共67頁。多層感知器的才能可以證明，只要隱層和隱層單元數足夠多，多層感知器網絡可實現任何形式分類。1962年，Rosenblatt宣布：人工神經網絡可以學會它能表示的任何東西感知器收斂定理對于一個N個輸入的感知器，假如樣本輸入函數是線性可分的，那么對任意給定的一個輸入樣本x，要么屬于某一區域F+，要么不屬于這一區域，記為F-。F+，F-兩類樣本構成了整個線性可分樣本空間。[定理]假如樣本輸入函數是線性可分的，那么感知器學習算法經過有限次迭代后，可收斂到正確的權值或權向量。[定理]假定隱含層單元可以根據需要自由設置，那么用雙隱層的感知器可以實現任意的二值邏輯函數。45第四十五頁，共67頁。感知器構造與決策區域類型46可在數據空間中劃分出任意形狀〔復雜度由隱層單元數目決定〕可在數據空間中劃分出開凸區域或者閉凸域區有一個超平面把數據空間劃分成兩部分區域形狀決策區域類型網絡構造第四十六頁，共67頁。多層感知器的問題多層網絡的權值如何確定，即網絡如何進展學習，在感知器上沒有得到解決。當年Minsky等人就是因為對于非線性空間的多層感知器學習算法未能得到解決，使其對神經網絡的研究作出悲觀的結論。47第四十七頁，共67頁。7.3前饋神經網絡7.3.1反向傳播算法BP算法的提出：UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描繪1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法優點：廣泛的適應性和有效性。弱點：訓練速度非常慢、部分極小點的逃離問題、算法不一定收斂到全局最小點。48第四十八頁，共67頁。根本BP算法網絡拓撲與多層感知器一樣。一般為3層。神經元的網絡輸入：

netj=x1jw1j+x2jw2j+…+xnjwnj神經元的輸出：

o=f(net)=1/(1+exp(-net))f`(net)=exp(-net)/(1+exp(-net))2 =o-o2=o(1-o)49第四十九頁，共67頁。BP算法中的激活函數50可以用其它的函數作為激活函數，只要該函數是處處可導的。第五十頁，共67頁。BP算法根本思想樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok及其誤差E1，然后對各層神經元的權值W(1)，W(2)，…，W(L)各做一次調整，重復這個循環，直到∑Ep<ε〔所有樣本的誤差之和〕。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現對權矩陣的修改。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。51第五十一頁，共67頁。BP算法根本過程樣本：(輸入向量，理想輸出向量)1、權初始化：“小隨機數〞與飽和狀態；“不同〞的權值保證網絡可以學。2、向前傳播階段：〔1〕從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；〔2〕計算相應的實際輸出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L))3、向后傳播階段——誤差傳播階段：〔1〕計算實際輸出Op與相應的理想輸出Yp的差。〔2〕按極小化誤差的方式調整權矩陣。〔3〕累計網絡關于整個樣本集的誤差。4、假如網絡誤差足夠小，那么停頓訓練。否那么重復第2、3步。52第五十二頁，共67頁。根本BP算法的偽碼1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對S中的每一個樣本〔Xp,Yp〕： 4.2.1計算出Xp對應的實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4根據相應式子調整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 4.2.6.1根據相應式子調整W(k)； 4.2.6.2k=k-153第五十三頁，共67頁。輸出層權值的調整BP算法應用的不是根本的δ學習，而是一種擴展的δ學習規那么。但是對于所有的δ學習規那么而言，某神經元的權值修正量都正比于該神經元的輸出誤差和輸入。BP算法輸出層對誤差調整為f’(net)(y-o)。

54第五十四頁，共67頁。隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk有關。不妨認為第k-1層產生的誤差通過連接權傳遞到了第k層神經元上。即，認為δpk-1 通過權wp1對δ1k做出奉獻， 通過權wp2對δ2k做出奉獻， …… 通過權wpm對δmk做出奉獻。

55第五十五頁，共67頁。BP算法的理論解釋該算法中δ學習規那么的本質是利用梯度最速下降法，使權值沿誤差函數的負梯度方向改變。誤差測度方法：用理想輸出與實際輸出的方差作為相應的誤差測度：E=∑Ep56第五十六頁，共67頁。最速下降法最速下降法，要求E的極小點57第五十七頁，共67頁。58

第五十八頁，共67頁。輸出層權值調整量59第五十九頁，共67頁。隱層〔第K-1層〕權值調整量60第六十頁，共67頁。隱層〔第K-1層〕權值調整量61第六十一頁，共67頁。7.3.2BP算法中的問題收斂速