人工神經網絡ppt主題知識人工神經網絡ppt主題知識第1頁4/26/20232蔣宗禮軟件學科部聯絡電話：67392508Email：jiangzl@辦公地點：信息北樓214人工神經網絡ppt主題知識第2頁4/26/20233教材書名：《人工神經網絡導論》出版社：高等教育出版社出版日期：年8月定價：12.4元作者：蔣宗禮人工神經網絡ppt主題知識第3頁4/26/20234主要參考書目1、PhilipD.Wasserman，

NeuralComputing:TheoryandPractice，VanNostrandReinhold，19892、胡守仁、余少波、戴葵，神經網絡導論，國防科技大學出版社，1993年10月3、楊行峻、鄭君里，人工神經網絡，高等教育出版社，1992年9月4、聞新、周露、王丹力、熊曉英，MATLAB神經網絡應用設計，科學出版社，.5.人工神經網絡ppt主題知識第4頁4/26/20235課程目標和基礎要求

作為人工神經網絡入門課程，用于將學生引入人工神經網絡及其應用研究領域。介紹人工神經網絡及其基礎網絡模型，使學生了解智能系統描述基礎模型掌握人工神經網絡基礎概念、單層網、多層網、循環網等各種基礎網絡模型結構、特點、經典訓練算法、運行方式、經典問題掌握軟件實現方法。人工神經網絡ppt主題知識第5頁4/26/20236課程目標和基礎要求了解人工神經網絡相關研究思想，從中學習開拓者們個別問題求解方法。經過試驗深入體會相關模型使用方法和性能，獲取一些初步經驗。查閱適當參考文件，將所學知識與自己未來研究課題（包含碩士論文階段研究課題）相結合起來，到達既豐富學習內容，又有一定研究和應用目標。人工神經網絡ppt主題知識第6頁4/26/20237主要內容

智能及其實現ANN基礎PerceptronBPCPN統計方法Hopfield網與BAMART人工神經網絡ppt主題知識第7頁4/26/20238主要內容第一章：引論智能概念、智能系統特點及其描述基礎模型，物理符號系統與連接主義觀點及其比較；人工神經網絡特點、發展歷史。

人工神經網絡ppt主題知識第8頁4/26/20239主要內容第二章

人工神經網絡基礎本章在介紹了基礎神經元后，將概要介紹人工神經網絡普通特征。主要包含，生物神經網絡模型，人工神經元模型與經典激勵函數；人工神經網絡基礎拓撲特征，存放類型（CAM──LTM，AM──STM）及映象，Supervised訓練與Unsupervised訓練。人工神經網絡ppt主題知識第9頁4/26/202310主要內容第三章

感知器感知器與人工神經網絡早期發展；單層網能處理線性可分問題，而無法處理線形不可分問題，要想處理這一問題，必須引入多層網；Hebb學習律，Delta規則，感知器訓練算法。試驗：實現一個感知器。

人工神經網絡ppt主題知識第10頁4/26/202311主要內容第四章

向后傳輸BP（Backpropagation）網絡組成及其訓練過程；隱藏層權調整方法直觀分析，BP訓練算法中使用Delta規則（最速下降法）理論推導；算法收斂速度及其改進討論；BP網絡中幾個主要問題。試驗：實現BP算法。

人工神經網絡ppt主題知識第11頁4/26/202312主要內容第五章

對傳網生物神經系統與異構網引入；對傳網網絡結構，Kohonen層與Grossberg層正常運行，對傳網輸入向量預處理，Kohonen層訓練算法及其權矩陣初始化方法；Grossberg層訓練；完整對傳網。試驗：實現基礎對傳網。

人工神經網絡ppt主題知識第12頁4/26/202313主要內容第六章

統計方法統計方法是為了處理局部極小點問題而引入，統計網絡基礎訓練算法，模擬退火算法與收斂分析，Cauchy訓練，人工熱處理與臨界溫度在訓練中使用，BP算法與Cauchy訓練相結合。試驗：實現模擬退火算法。

人工神經網絡ppt主題知識第13頁4/26/202314主要內容第七章循環網絡循環網絡組織，穩定性分析；相聯存放；統計Hopfield網與Boltzmann機；Hopfield網用于處理TSP問題。BAM(BidirectionalAssociativeMemory)用于實現雙聯存放；基礎雙聯存放網絡結構及訓練；其它幾個相聯存放網絡。試驗：實現一個Hopfield網。

人工神經網絡ppt主題知識第14頁4/26/202315主要內容第八章

自適應共振理論人腦穩定性與可塑性問題；ART模型總體結構與分塊描述；比較層與識別層之間兩個聯接矩陣初始化，識別過程與比較過程，查找實現；訓練討論。

人工神經網絡ppt主題知識第15頁4/26/202316第1章

引言主要內容：智能與人工智能；ANN特點；歷史回顧與展望重點：智能本質；ANN是一個非線性大規模并行處理系統難點：對智能刻畫

人工神經網絡ppt主題知識第16頁4/26/202317第1章

引言1.1人工神經網絡提出1.2人工神經網絡特點1.3歷史回顧人工神經網絡ppt主題知識第17頁4/26/202318第1章

引言人類對人工智能研究能夠分成兩種方式對應著兩種不一樣技術：傳統人工智能技術——心理角度模擬基于人工神經網絡技術——生理角度模擬人工神經網絡ppt主題知識第18頁4/26/2023191.1人工神經網絡提出

人工神經網絡（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統一階特征一個描述。簡單地講，它是一個數學模型，能夠用電子線路來實現，也能夠用計算機程序來模擬，是人工智能研究一個方法。

人工神經網絡ppt主題知識第19頁4/26/2023201.1人工神經網絡提出1.1.1智能與人工智能

一、

智能含義智能是個體有目標行為，合理思維，以及有效、適應環境綜合能力。

智能是個體認識客觀事物和利用知識處理問題能力。

人類個體智能是一個綜合能力。人工神經網絡ppt主題知識第20頁4/26/2023211.1人工神經網絡提出智能能夠包含8個方面感知與認識客觀事物、客觀世界和自我能力感知是智能基礎——最基礎能力

經過學習取得經驗與積累知識能力這是人類在世界中能夠不停發展最基礎能力。了解知識，利用知識和經驗分析、處理問題能力這一能力能夠算作是智能高級形式。是人類對世界進行適當改造，推進社會不停發展基礎能力。人工神經網絡ppt主題知識第21頁4/26/2023221.1人工神經網絡提出聯想、推理、判斷、決議語言能力這是智能高級形式又首先。預測和認識“主動”和“被動”之分。聯想、推理、判斷、決議能力是“主動”基礎。利用進行抽象、概括能力上述這5種能力，被認為是人類智能最為基礎能力

人工神經網絡ppt主題知識第22頁4/26/2023231.1人工神經網絡提出作為5種能力綜合表現形式3種能力發覺、創造、創造、創新能力實時、快速、合理地應付復雜環境能力預測、洞察事物發展、改變能力

人工神經網絡ppt主題知識第23頁4/26/2023241.1人工神經網絡提出二、人工智能人工智能：研究怎樣使類似計算機這么設備去模擬人類這些能力。研究人工智能目標增加人類探索世界，推進社會前進能力深入認識自己三大學術流派符號主義（或叫做符號/邏輯主義）學派聯接主義（或者叫做PDP）學派進化主義（或者叫做行動/響應）學派人工神經網絡ppt主題知識第24頁4/26/2023251.1人工神經網絡提出1.1.2物理符號系統

人腦反應形式化

現實信息數據

物理系統物理符號系統

表現智能人工神經網絡ppt主題知識第25頁4/26/2023261.1人工神經網絡提出Newell和Simon假說：一個物理系統表現智能行為充要條件是它有一個物理符號系統概念：物理符號系統需要有一組稱為符號實體組成，它們都是物理模型，能夠在另一類稱為符號結構實體中作為成份出現，以組成更高等級系統人工神經網絡ppt主題知識第26頁4/26/2023271.1人工神經網絡提出困難：抽象——舍棄一些特征，同時保留一些特征形式化處理——用物理符號及對應規則表示物理系統存在和運行。局限：對全局性判斷、含糊信息處理、多粒度視覺信息處理等是非常困難。人工神經網絡ppt主題知識第27頁4/26/2023281.1人工神經網絡提出1.1.3聯接主義觀點

關鍵：智能本質是聯接機制。

神經網絡是一個由大量簡單處理單元組成高度復雜大規模非線性自適應系統

ANN力爭從四個方面去模擬人腦智能行為物理結構

計算模擬

存放與操作

訓練

人工神經網絡ppt主題知識第28頁4/26/2023291.1人工神經網絡提出1.1.4兩種模型比較

心理過程邏輯思維高級形式（思維表象）

生理過程

形象思維

低級形式（思維根本）

仿生

人工神經網絡聯結主義觀點物理符號系統人工神經網絡ppt主題知識第29頁4/26/2023301.1人工神經網絡提出物理符號系統和人工神經網絡系統差異

項目物理符號系統人工神經網絡處理方式邏輯運算模擬運算執行方式串行并行動作離散連續存放局部集中全局分布人工神經網絡ppt主題知識第30頁4/26/2023311.1人工神經網絡提出兩種人工智能技術比較項目傳統AI技術ANN技術

基礎實現方式串行處理；由程序實現控制

并行處理；對樣本數據進行多目標學習；經過人工神經元之間相互作用實現控制基礎開發方法設計規則、框架、程序；用樣本數據進行調試（由人依據已知環境去結構一個模型）定義人工神經網絡結構原型，經過樣本數據，依據基礎學習算法完成學習——自動從樣本數據中抽取內涵（自動適應應用環境）適應領域

準確計算：符號處理，數值計算非準確計算：模擬處理，感覺，大規模數據并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）人工神經網絡ppt主題知識第31頁4/26/2023321.2人工神經網絡特點信息分布表示運算全局并行和局部操作處理非線性

人工神經網絡ppt主題知識第32頁4/26/2023331.2.1人工神經網絡概念1、定義

1）Hecht—Nielsen（1988年）人工神經網絡是一個并行、分布處理結構，它由處理單元及其稱為聯接無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）含有局部內存，并能夠完成局部操作。每個處理單元有一個單一輸出聯接，這個輸出能夠依據需要被分枝成希望個數許多并行聯接，且這些并行聯接都輸出相同信號，即對應處理單元信號，信號大小不因分支多少而改變。人工神經網絡ppt主題知識第33頁4/26/2023341.2.1人工神經網絡概念（1）Hecht—Nielsen（1988年）（續）處理單元輸出信號能夠是任何需要數學模型，每個處理單元中進行操作必須是完全局部。也就是說，它必須僅僅依賴于經過輸入聯接抵達處理單元全部輸入信號當前值和存放在處理單元局部內存中值。人工神經網絡ppt主題知識第34頁4/26/2023351.2.1人工神經網絡概念強調：

①

并行、分布處理結構；②一個處理單元輸出能夠被任意分枝，且大小不變；③輸出信號能夠是任意數學模型；④處理單元完全局部操作

人工神經網絡ppt主題知識第35頁4/26/2023361.2.1人工神經網絡概念（2）Rumellhart，McClelland，HintonPDP1）

一組處理單元（PE或AN）；2）

處理單元激活狀態（ai）；3）

每個處理單元輸出函數（fi）；4）

處理單元之間聯接模式；5）

傳遞規則（∑wijoi）；6）

把處理單元輸入及當前狀態結合起來產生激活值激活規則（Fi）；7）

經過經驗修改聯接強度學習規則；8）

系統運行環境（樣本集合）。

人工神經網絡ppt主題知識第36頁4/26/2023371.2.1人工神經網絡概念（3）Simpson（1987年）人工神經網絡是一個非線性有向圖，圖中含有能夠經過改變權大小來存放模式加權邊，而且能夠從不完整或未知輸入找到模式。

人工神經網絡ppt主題知識第37頁4/26/2023381.2.1人工神經網絡概念2、關鍵點（1）

信息分布表示（2）

運算全局并行與局部操作（3）

處理非線性特征3、對大腦基礎特征模擬1）

形式上：神經元及其聯接；BN對AN2）

表現特征：信息存放與處理人工神經網絡ppt主題知識第38頁4/26/2023391.2.1人工神經網絡概念4、別名人工神經系統（ANS）神經網絡（NN）自適應系統（AdaptiveSystems）、自適應網（AdaptiveNetworks）聯接模型（Connectionism）神經計算機（Neurocomputer）人工神經網絡ppt主題知識第39頁4/26/2023401.2.2學習（Learning）能力人工神經網絡能夠依據所在環境去改變它行為自相聯網絡異相聯網絡：它在接收樣本集合A時，能夠抽取集合A中輸入數據與輸出數據之間映射關系。——“抽象”功效。不一樣人工神經網絡模型，有不一樣學習/訓練算法人工神經網絡ppt主題知識第40頁4/26/2023411.2.3基礎特征自動提取

因為其運算不準確性，表現成“去噪音、容殘缺”能力，利用這種不準確性，比較自然地實現模式自動分類。普化（Generalization）能力與抽象能力

人工神經網絡ppt主題知識第41頁4/26/2023421.2.4信息分布存放信息分布存提供容錯功效因為信息被分布存放在幾乎整個網絡中，所以，當其中某一個點或者某幾個點被破壞時，信息依然能夠被存取。系統在受到局部損傷時還能夠正常工作。并不是說能夠任意地對完成學習網絡進行修改。也正是因為信息分布存放，對一類網來說，當它完成學習后，假如再讓它學習新東西，這時就會破壞原來已學會東西。

人工神經網絡ppt主題知識第42頁4/26/2023431.2.5適應性(Applicability)問題

擅長兩個方面：對大量數據進行分類，而且只有較少幾個情況；必須學習一個復雜非線性映射。當前應用：大家主要將其用于語音、視覺、知識處理、輔助決議等方面。在數據壓縮、模式匹配、系統建模、含糊控制、求組合優化問題最正確解近似解（不是最正確近似解）等方面也有很好應用。

人工神經網絡ppt主題知識第43頁4/26/2023441.3歷史回顧

1.3.1萌芽期（20世紀40年代）人工神經網絡研究最早能夠追溯到人類開始研究自己智能時期，到1949年止。1943年，心理學家McCulloch和數學家Pitts建立起了著名閾值加權和模型，簡稱為M-P模型。發表于數學生物物理學會刊《BulletinofMethematicalBiophysics》1949年，心理學家D.O.Hebb提出神經元之間突觸聯絡是可變假說——Hebb學習律。

人工神經網絡ppt主題知識第44頁4/26/2023451.3.2第一高潮期（1950~1968）

以MarvinMinsky，FrankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。大家樂觀地認為幾乎已經找到了智能關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。

人工神經網絡ppt主題知識第45頁4/26/2023461.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運算不可表示

二十世紀70年代和80年代早期研究結果

認識規律：認識——實踐——再認識

人工神經網絡ppt主題知識第46頁4/26/2023471.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出循環網絡用Lyapunov函數作為網絡性能判定能量函數，建立ANN穩定性判別依據說明了ANN與動力學關系用非線性動力學方法來研究ANN特征指出信息被存放在網絡中神經元聯接上

人工神經網絡ppt主題知識第47頁4/26/2023481.3.4第二高潮期（1983~1990）2）1984年，

J.Hopfield設計研制了以后被大家稱為Hopfield網電路。很好地處理了著名TSP問題，找到了最正確解近似解，引發了較大轟動。3）1985年，UCSDHinton、Sejnowsky、Rumelhart等人所在并行分布處理（PDP）小組研究者在Hopfield網絡中引入了隨機機制，提出所謂Boltzmann機。

人工神經網絡ppt主題知識第48頁4/26/2023491.3.4第二高潮期（1983~1990）4）1986年，并行分布處理小組Rumelhart等研究者重新獨立地提出多層網絡學習算法——BP算法，很好地處理了多層網絡學習問題。（Paker1982和Werbos1974年）我國首屆神經網絡大會是1990年12月在北京舉行。

人工神經網絡ppt主題知識第49頁4/26/2023501.3.5再認識與應用研究期（1991~）

問題：1）應用面還不夠寬2）結果不夠準確3）存在可信度問題

人工神經網絡ppt主題知識第50頁4/26/2023511.3.5再認識與應用研究期（1991~）

研究：1）開發覺有模型應用，并在應用中依據實際運行情況對模型、算法加以改造，以提升網絡訓練速度和運行準確度。2）充分發揮兩種技術各自優勢是一個有效方法3）希望在理論上尋找新突破，建立新專用/通用模型和算法。4）深入對生物神經系統進行研究，不停地豐富對人腦認識。

人工神經網絡ppt主題知識第51頁4/26/202352第2章人工神經網絡基礎主要內容：BN與AN；拓撲結構；存放；訓練重點：AN；拓撲結構；訓練難點：訓練人工神經網絡ppt主題知識第52頁4/26/202353第2章人工神經網絡基礎2.1生物神經網2.2人工神經元2.3人工神經網絡拓撲特征2.4存放與映射2.5人工神經網絡訓練人工神經網絡ppt主題知識第53頁4/26/2023542.1生物神經網1、組成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程人工神經網絡ppt主題知識第54頁4/26/2023552.1生物神經網3、六個基礎特征：1）神經元及其聯接；2）神經元之間聯接強度決定信號傳遞強弱；3）神經元之間聯接強度是能夠隨訓練改變；4）信號能夠是起刺激作用，也能夠是起抑制作用；5）一個神經元接收信號累積效果決定該神經元狀態；6)每個神經元能夠有一個“閾值”。人工神經網絡ppt主題知識第55頁4/26/2023562.2人工神經元

神經元是組成神經網絡最基礎單元（構件）。人工神經元模型應該含有生物神經元六個基礎特征。

人工神經網絡ppt主題知識第56頁4/26/2023572.2.1人工神經元基礎組成

人工神經元模擬生物神經元一階特征。輸入：X=（x1，x2，…，xn）聯接權：W=（w1，w2，…，wn）T網絡輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…人工神經網絡ppt主題知識第57頁4/26/2023582.2.2激活函數(ActivationFunction)

激活函數——執行對該神經元所取得網絡輸入變換，也能夠稱為激勵函數、活化函數：o=f（net）

1、線性函數（LinerFunction）

f（net）=k*net+c

netooc人工神經網絡ppt主題知識第58頁4/26/2023592、非線性斜面函數(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數，被稱為飽和值，為該神經元最大輸出。

人工神經網絡ppt主題知識第59頁4/26/2023602、非線性斜面函數（RampFunction）γ-γθ

-θ

net

o

人工神經網絡ppt主題知識第60頁4/26/2023613、閾值函數（ThresholdFunction）階躍函數

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

人工神經網絡ppt主題知識第61頁4/26/2023623、閾值函數（ThresholdFunction）階躍函數β

-γθonet0人工神經網絡ppt主題知識第62頁4/26/2023634、S形函數

壓縮函數（SquashingFunction）和邏輯斯特函數（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數。它飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數飽和值為0和1。S形函數有很好增益控制

人工神經網絡ppt主題知識第63頁4/26/2023644、S形函數

a+bo(0,c)netac=a+b/2人工神經網絡ppt主題知識第64頁4/26/2023652.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

人工神經網絡ppt主題知識第65頁4/26/202366上次課內容回顧擅長兩個方面當前應用語音、視覺、知識處理數據壓縮、模式匹配、系統建模、含糊控制、求組合優化問題最正確解近似解（不是最正確近似解）輔助決議——預報與智能管理通信——自適應均衡、回波抵消、路由選擇、ATM中呼叫接納、識別與控制空間科學——對接、導航、制導、飛行程序優化人工神經網絡ppt主題知識第66頁4/26/202367上次課內容回顧發展過程萌芽期（20世紀40年代）M-P模型Hebb學習律第一高潮期（1950~1968）Perceptron興衰反思期（1969~1982）第二高潮期（1983~1990）4個標志性結果再認識與應用研究期（1991~）人工神經網絡ppt主題知識第67頁4/26/202368上次課內容回顧生物神經網六個基礎特征神經元及其聯接、信號傳遞、訓練、刺激與抑制、累積效果、“閾值”。人工神經元基礎組成xnwn∑x1w1x2w2net=XW…人工神經網絡ppt主題知識第68頁4/26/202369上次課內容回顧激活函數與M-P模型

線性函數、非線性斜面函數、閾值函數

S形函數

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w1人工神經網絡ppt主題知識第69頁4/26/2023702.3人工神經網絡拓撲特征

連接拓撲表示

ANi wij ANj

人工神經網絡ppt主題知識第70頁4/26/2023712.3.1聯接模式

用正號（“+”，可省略）表示傳送來信號起刺激作用，它用于增加神經元活躍度；用負號（“-”）表示傳送來信號起抑制作用，它用于降低神經元活躍度。層次（又稱為“級”）劃分，造成了神經元之間三種不一樣互連模式：

人工神經網絡ppt主題知識第71頁4/26/2023722.3.1聯接模式

1、

層（級）內聯接層內聯接又叫做區域內（Intra-field）聯接或側聯接（Lateral）。用來加強和完成層內神經元之間競爭2、

循環聯接反饋信號。

人工神經網絡ppt主題知識第72頁4/26/2023732.3.1聯接模式3、層（級）間聯接

層間（Inter-field）聯接指不一樣層中神經元之間聯接。這種聯接用來實現層間信號傳遞前饋信號反饋信號

人工神經網絡ppt主題知識第73頁4/26/2023742.3.2網絡分層結構

單級網

簡單單級網

人工神經網絡ppt主題知識第74頁4/26/202375簡單單級網……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 人工神經網絡ppt主題知識第75頁4/26/202376簡單單級網W=（wij）輸出層第j個神經元網絡輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）人工神經網絡ppt主題知識第76頁4/26/202377單級橫向反饋網輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V人工神經網絡ppt主題知識第77頁4/26/202378單級橫向反饋網

V=（vij）NET=XW+OVO=F（NET）時間參數——神經元狀態在主時鐘控制下同時改變考慮X總加在網上情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X情況。

穩定性判定人工神經網絡ppt主題知識第78頁4/26/202379多級網輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經網絡ppt主題知識第79頁4/26/202380層次劃分

信號只被允許從較低層流向較高層。層號確定層高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網絡外部信息輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經網絡ppt主題知識第80頁4/26/202381第j層：第j-1層直接后繼層（j>0），它直接接收第j-1層輸出。輸出層：它是網絡最終一層，含有該網絡最大層號，負責輸出網絡計算結果。隱藏層：除輸入層和輸出層以外其它各層叫隱藏層。隱藏層不直接接收外界信號，也不直接向外界發送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經網絡ppt主題知識第81頁4/26/202382約定

:輸出層層號為該網絡層數：n層網絡，或n級網絡。第j-1層到第j層聯接矩陣為第j層聯接矩陣，輸出層對應矩陣叫輸出層聯接矩陣。今后，在需要時候，普通咱們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)人工神經網絡ppt主題知識第82頁4/26/202383多級網——h層網絡輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)人工神經網絡ppt主題知識第83頁4/26/202384多級網非線性激活函數

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))人工神經網絡ppt主題知識第84頁4/26/202385循環網x1o1輸出層隱藏層輸入層x2o2omxn…………………人工神經網絡ppt主題知識第85頁4/26/202386循環網

假如將輸出信號反饋到輸入端,就可組成一個多層循環網絡。輸入原始信號被逐步地“加強”、被“修復”。大腦短期記憶特征——看到東西不是一下子就從腦海里消失。穩定：反饋信號會引發網絡輸出不停改變。咱們希望這種改變逐步減小，而且最終能消失。當改變最終消失時，網絡到達了平衡狀態。假如這種改變不能消失，則稱該網絡是不穩定。

人工神經網絡ppt主題知識第86頁4/26/2023872.4存放與映射

空間模式（SpatialModel）時空模式（SpatialtemporalModel）空間模式三種存放類型1、

RAM方式（RandomAccessMemory）隨機訪問方式是將地址映射到數據。2、

CAM方式（ContentAddressableMemory）內容尋址方式是將數據映射到地址。3、

AM方式（AssociativeMemory）相聯存放方式是將數據映射到數據。

人工神經網絡ppt主題知識第87頁4/26/2023882.4存放與映射后續兩種方式是人工神經網絡工作方式。在學習/訓練期間，人工神經網絡以CAM方式工作；權矩陣又被稱為網絡長久存放（LongTermMemory，簡記為LTM）。網絡在正常工作階段是以AM方式工作；神經元狀態表示模式為短期存放（ShortTermMemory，簡記為STM）。

人工神經網絡ppt主題知識第88頁4/26/2023892.4存放與映射自相聯（Auto-associative）映射：訓練網絡樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網絡在完成訓練后，其權矩陣存放將是上面所給向量集合。

人工神經網絡ppt主題知識第89頁4/26/2023902.4存放與映射異相聯（Hetero-associative）映射

{（A1，B1），（A2，B2），…，（An，Bn）}該網絡在完成訓練后，其權矩陣存放將是上面所給向量集合所蘊含對應關系。當輸入向量A不是樣本第一分量時，樣本中不存在這么元素（Ak，Bk），使得

Ai≤Ak≤A或者A≤Ak≤Aj且此時有

Ai≤A≤Aj則向量B是Bi與Bj插值。

人工神經網絡ppt主題知識第90頁4/26/2023912.5人工神經網絡訓練

人工神經網絡最含有吸引力特點是它學習能力。1962年，Rosenblatt給出了人工神經網絡著名學習定理：人工神經網絡能夠學會它能夠表示任何東西。人工神經網絡表示能力大大地限制了它學習能力。人工神經網絡學習過程就是對它訓練過程人工神經網絡ppt主題知識第91頁4/26/2023922.5.1無導師學習

無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應

抽取樣本集合中蘊含統計特征，并以神經元之間聯接權形式存于網絡中。人工神經網絡ppt主題知識第92頁4/26/2023932.5.1無導師學習Hebb學習律、競爭與協同（CompetitiveandCooperative）學習、隨機聯接系統（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]關鍵：當兩個神經元同時處于激發狀態時被加強，不然被減弱。數學表示式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）人工神經網絡ppt主題知識第93頁4/26/2023942.5.2有導師學習

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應輸出向量組成一個“訓練對”。有導師學習訓練算法主要步驟包含：

1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網絡實際輸出O；

3）

求D=Bi-O；

4）

依據D調整權矩陣W；

5）對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超出要求范圍。

人工神經網絡ppt主題知識第94頁4/26/202395Delta規則

Widrow和Hoff寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也能夠寫成：Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更普通Delta規則為：?Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))人工神經網絡ppt主題知識第95頁4/26/202396其它再例學習外部環境對系統輸出結果給出評價，學習系統經過強化受獎動作來改進本身性能。學習規則誤差糾錯學習Hebb學習競爭學習人工神經網絡ppt主題知識第96頁4/26/202397練習題P291、4、6、10、15

人工神經網絡ppt主題知識第97頁4/26/202398上次課內容回顧:網絡分層結構聯接模式刺激聯接與抑制聯接前饋信號與反饋信號層（級）內聯接循環聯接層（級）間聯接簡單單級網：NET=XW；O=F(NET)單級橫向反饋網:NET=XW+O(t)V;O(t)=F(NET)人工神經網絡ppt主題知識第98頁4/26/202399上次課內容回顧:網絡分層結構非循環多級網層次劃分非線性激活函數：

F3(F2(F1(XW1)W2)W3)循環網短期記憶特征及其對輸入信號修復作用時間參數與主時鐘穩定性人工神經網絡ppt主題知識第99頁4/26/2023100上次課內容回顧：存放與映射模式空間模式時空模式模式三種存放類型RAM、CAM、AM模式存放與運行CAM——LTM——訓練AM——STM——運行相聯：自相聯映射、異相聯映射人工神經網絡ppt主題知識第100頁4/26/2023101上次課內容回顧：訓練Rosenblatt學習定理無導師學習抽取樣本集合中蘊含統計特征樣本集：{A1，A2，…，An}Hebb算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導師學習抽取樣本蘊含映射關系樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}

訓練算法Delta規則人工神經網絡ppt主題知識第101頁4/26/2023102第3章

感知器

主要內容：感知器與人工神經網絡早期發展；線性可分問題與線性不可分問題；Hebb學習律；Delta規則;感知器訓練算法。重點：感知器結構、表示能力、學習算法難點：感知器表示能力

人工神經網絡ppt主題知識第102頁4/26/2023103第3章

感知器3.1感知器與人工神經網絡早期發展

3.2感知器學習算法

3.2.1離散單輸出感知器訓練算法

3.2.2離散多輸出感知器訓練算法3.2.3連續多輸出感知器訓練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題克服

實現！問題發覺與處理！人工神經網絡ppt主題知識第103頁4/26/20231043.1感知器與ANN早期發展McCulloch和Pitts1943年，發表第一個系統ANN研究——閾值加權和(M-P)數學模型。1947年，開發出感知器。1949年，提出Hebb學習律。單輸出感知器(M-P模型)x2x1oxn…人工神經網絡ppt主題知識第104頁4/26/20231053.1感知器與ANN早期發展1962年，Rosenblatt宣告：人工神經網絡能夠學會它能表示任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層人工神經網絡ppt主題知識第105頁4/26/20231063.2感知器學習算法

感知器學習是有導師學習感知器訓練算法基礎原理起源于著名Hebb學習律基礎思想：逐步地將樣本集中樣本輸入到網絡中,依據輸出結果和理想輸出之間差異來調整網絡中權矩陣

人工神經網絡ppt主題知識第106頁4/26/20231073.2.1離散單輸出感知器訓練算法

二值網絡：自變量及其函數值、向量分量值只取0和1函數、向量。權向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓練樣本集：{(X，Y)|Y為輸入向量X對應輸出}人工神經網絡ppt主題知識第107頁4/26/2023108算法3-1離散單輸出感知器訓練算法

1.初始化權向量W；2.重復以下過程，直到訓練完成：

2.1對每個樣本（X，Y），重復以下過程：

2.1.1輸入X；

2.1.2計算o=F（XW）；

2.1.3假如輸出不正確，則 當o=0時，取W=W+X， 當o=1時，取W=W-X人工神經網絡ppt主題知識第108頁4/26/20231093.2.2離散多輸出感知器訓練算法

樣本集：{(X,Y)|Y為輸入向量X對應輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數：F

權矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層人工神經網絡ppt主題知識第109頁4/26/2023110算法3-2離散多輸出感知器訓練算法

1.初始化權矩陣W；2.重復以下過程，直到訓練完成：

2.1對每個樣本（X，Y），重復以下過程：

2.1.1輸入X；

2.1.2計算O=F（XW）；

2.1.3forj=1tomdo執行以下操作：

ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi人工神經網絡ppt主題知識第110頁4/26/2023111算法3-2離散多輸出感知器訓練算法算法思想：將單輸出感知器處理逐一地用于多輸出感知器輸出層每一個神經元處理。第1步，權矩陣初始化：一系列小偽隨機數。

人工神經網絡ppt主題知識第111頁4/26/2023112算法3-2離散多輸出感知器訓練算法第2步，循環控制。方法1：循環次數控制法：對樣本集執行要求次數迭代改進——分階段迭代控制：設定一個基礎迭代次數N，每當訓練完成N次迭代后，就給出一個中間結果人工神經網絡ppt主題知識第112頁4/26/2023113算法3-2離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數精度度量：實際輸出向量與理想輸出向量對應分量差絕對值之和；實際輸出向量與理想輸出向量歐氏距離和

“死循環”：網絡無法表示樣本所代表問題人工神經網絡ppt主題知識第113頁4/26/2023114算法3-2離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用

注意：精度參數設置。依據實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際精度要求。人工神經網絡ppt主題知識第114頁4/26/20231153.2.3連續多輸出感知器訓練算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中多個判斷yj與oj之間差異對wij影響由α（yj-oj）xi表現出來好處：不但使得算法控制在結構上更輕易了解，而且還使得它適應面更寬

人工神經網絡ppt主題知識第115頁4/26/2023116算法3-3連續多輸出感知器訓練算法

1．用適當小偽隨機數初始化權矩陣W；2.初置精度控制參數ε，學習率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改權矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)2人工神經網絡ppt主題知識第116頁4/26/2023117算法3-3連續多輸出感知器訓練算法

1、程序實現:ε、α、d、i、j、n、m為簡單變量來表示，W為n行m列二維數組。樣本集二維數組2、系統調試3、Minsky在1969年證實，有許多基礎問題是感知器無法處理4、問題線性可分性可能與時間相關5、極難從樣本數據集直接看出問題是否線性可分6、未能證實，一個感知器終究需要經過多少步才能完成訓練。人工神經網絡ppt主題知識第117頁4/26/20231183.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

g（x，y）y01x001110人工神經網絡ppt主題知識第118頁4/26/2023119用于求解XOR單神經元感知器

xyo單神經元感知器圖像ax+by=θ1yx1(0,0)(1,1)人工神經網絡ppt主題知識第119頁4/26/2023120線性不可分函數變量函數及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101人工神經網絡ppt主題知識第120頁4/26/2023121線性不可分函數R.O.Windner1960年

自變量個數函數個數線性可分函數個數144216143256104465,536188254.3*10994,57261.8*10195,028,134人工神經網絡ppt主題知識第121頁4/26/20231223.3.2線性不可分問題克服

用多個單級網組合在一起，并用其中一個去綜合其它單級網結果，咱們就能夠組成一個兩級網絡，該網絡能夠被用來在平面上劃分出一個封閉或者開放凸域來一個非凸域能夠拆分成多個凸域。按照這一思緒，三級網將會更普通一些，咱們能夠用它去識別出一些非凸域來。處理好隱藏層聯接權調整問題是非常關鍵

人工神經網絡ppt主題知識第122頁4/26/2023123兩級單輸出網在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o人工神經網絡ppt主題知識第123頁4/26/2023124第1次課堂測試（5分*4）Newell和Simon物理符號系統所基于假說是什么？它在什么層面上怎樣實現對人類智能模擬？聯接主義觀點所基于假說是什么？它在什么層面上怎樣實現對人類智能模擬？畫出有導師算法流程圖。證實：一個激活函數為線性函數3級非循環網等價于一個單級網。人工神經網絡ppt主題知識第124頁4/26/2023125習題P381、6人工神經網絡ppt主題知識第125頁4/26/2023126第1次課堂測試解答關鍵點Newell和Simon物理符號系統所基于假說是什么？它在什么層面上怎樣實現對人類智能模擬？關鍵點：物理符號系統；心理；符號對事務及變換描述聯接主義觀點所基于假說是什么？它在什么層面上怎樣實現對人類智能模擬？

關鍵點：聯接機制；生理；模式、聯接權調整與對變換表示人工神經網絡ppt主題知識第126頁4/26/2023127第1次課堂測試解答關鍵點畫出有導師學習算法流程圖。

關鍵點：怎樣處理精度與樣本集兩層循環證實：一個激活函數為線性函數3級非循環網等價于一個單級網。

關鍵點：一級網與多級網數學模型人工神經網絡ppt主題知識第127頁4/26/2023128上次課內容回顧:學習算法離散單輸出感知器訓練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓練算法Wj=Wj+(yj-oj)X連續多輸出感知器訓練算法wij=wij+α(yj-oj)xi人工神經網絡ppt主題知識第128頁4/26/2023129上次課內容回顧:線性不可分問題ax+by=θ1yx1(0,0)(1,1)線性不可分問題克服兩級網絡能夠劃分出封閉或開放凸域多級網將能夠識別出非凸域隱藏層聯接權調整問題是非常關鍵人工神經網絡ppt主題知識第129頁4/26/2023130第4章

BP網絡

主要內容：BP網絡組成隱藏層權調整分析Delta規則理論推導算法收斂速度及其改進討論BP網絡中幾個主要問題

重點：BP算法難點：Delta規則理論推導

人工神經網絡ppt主題知識第130頁4/26/2023131第4章

BP網絡4.1概述

4.2基礎BP算法

4.3算法改進

4.4算法實現

4.5算法理論基礎

4.6幾個問題討論

人工神經網絡ppt主題知識第131頁4/26/20231324.1概述

1、BP算法出現非循環多級網絡訓練算法UCSDPDP小組Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單描述1982年，Paker就完成了相同工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點逃離問題、算法不一定收斂。3、優點：廣泛適應性和有效性。人工神經網絡ppt主題知識第132頁4/26/20231334.2基礎BP算法

4.2.1網絡組成

神經元網絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經元輸出：人工神經網絡ppt主題知識第133頁4/26/2023134輸出函數分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net值盡可能控制在收斂比較快范圍內能夠用其它函數作為激活函數，只要該函數是處處可導人工神經網絡ppt主題知識第134頁4/26/2023135網絡拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)人工神經網絡ppt主題知識第135頁4/26/2023136網絡拓撲結構

BP網結構輸入向量、輸出向量維數、網絡隱藏層層數和各個隱藏層神經元個數決定試驗：增加隱藏層層數和隱藏層神經元個數不一定總能夠提升網絡精度和表示能力。BP網普通都選取二級網絡。人工神經網絡ppt主題知識第136頁4/26/2023137網絡拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV人工神經網絡ppt主題知識第137頁4/26/20231384.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數”與飽和狀態；“不一樣”確保網絡能夠學。1、向前傳輸階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；（2）計算對應實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))人工神經網絡ppt主題知識第138頁4/26/20231394.2.2訓練過程概述

2、向后傳輸階段——誤差傳輸階段：（1）計算實際輸出Op與對應理想輸出Yp差；（2）按極小化誤差方式調整權矩陣。（3）網絡關于第p個樣本誤差測度：（4）網絡關于整個樣本集誤差測度：人工神經網絡ppt主題知識第139頁4/26/20231404.2.3誤差傳輸分析

1、輸出層權調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq人工神經網絡ppt主題知識第140頁4/26/20231412、隱藏層權調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……人工神經網絡ppt主題知識第141頁4/26/20231422、隱藏層權調整δpk-1值和δ1k，δ2k，…，δmk

相關不妨認為δpk-1經過權wp1對δ1k做出貢獻，經過權wp2對δ2k做出貢獻，……經過權wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)人工神經網絡ppt主題知識第142頁4/26/20231432、隱藏層權調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……人工神經網絡ppt主題知識第143頁4/26/2023144上次課內容回顧基礎BP算法neti=x1w1i+x2w2i+…+xnwni

人工神經網絡ppt主題知識第144頁4/26/2023145上次課內容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV人工神經網絡ppt主題知識第145頁4/26/2023146上次課內容回顧樣本權初始化向前傳輸階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度人工神經網絡ppt主題知識第146頁4/26/2023147上次課內容回顧向后傳輸階段——誤差傳輸階段輸出層權調整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隱藏層權調整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2人工神經網絡ppt主題知識第147頁4/26/20231484.2.4基礎BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基礎思想：逐一地依據樣本集中樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調整，重復這個循環，直到∑Ep<ε。用輸出層誤差調整輸出層權矩陣，并用此誤差預計輸出層直接前導層誤差，再用輸出層前導層誤差預計更前一層誤差。如此取得全部其它各層誤差預計，并用這些預計實現對權矩陣修改。形成將輸出端表現出誤差沿著與輸入信號相反方向逐層向輸入端傳遞過程

人工神經網絡ppt主題知識第148頁4/26/2023149算法4-1

基礎BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo

4.1E=0;

人工神經網絡ppt主題知識第149頁4/26/2023150算法4-1

基礎BP算法4.2對S中每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4依據對應式子調整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 依據對應式子調整W(k)；

k=k-1

4.3E=E/2.0

人工神經網絡ppt主題知識第150頁4/26/20231514.3算法改進

1、BP網絡接收樣本次序對訓練結果有較大影響。它更“偏愛”較后出現樣本2、給集中樣本安排一個適當次序，是非常困難。3、樣本次序影響結果原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

人工神經網絡ppt主題知識第151頁4/26/2023152算法4-2消除樣本次序影響BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對全部i，j，k：?w(k)ij=0；

人工神經網絡ppt主題知識第152頁4/26/20231534.3對S中每一個樣本（Xp,Yp）：

4.3.1計算出Xp對應實際輸出Op；

4.3.2計算出Ep；

4.3.3E=E+Ep；

4.3.4對全部i，j依據對應式子計算?pw(L)ij；

4.3.5對全部i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 對全部i,j依據對應式子計算?pw(k)ij；

對全部i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

k=k-1

4.4對全部i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

人工神經網絡ppt主題知識第153頁4/26/2023154算法4-2分析

很好地處理了因樣本次序引發精度問題和訓練抖動問題

收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加緊收斂速度沖量：聯接權此次修改要考慮上次修改影響，以降低抖動問題

人工神經網絡ppt主題知識第154頁4/26/2023155算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次修改量，β為沖量系數，普通可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次修改量，β在0和1之間取值

人工神經網絡ppt主題知識第155頁4/26/20231564.4算法實現

主要數據結構W[H，m]——輸出層權矩陣；V[n，H]——輸入（隱藏）層權矩陣；?o[m]——輸出層各聯接權修改量組成向量；?h[H]——隱藏層各聯接權修改量組成向量；O1——隱藏層輸出向量；O2——輸出層輸出向量；(X，Y)——一個樣本。

人工神經網絡ppt主題知識第156頁4/26/2023157算法主要實現步驟

用不一樣小偽隨機數初始