人工神經網絡

ArtificialNeuralNetworks電氣工程學院張健2/2/20231第1章

引言1.1人工神經網絡的提出1.2人工神經網絡的特點1.3歷史回顧2/2/20232第1章

引言人類對人工智能的研究可以分成兩種方式對應著兩種不同的技術：傳統的人工智能技術——心理的角度模擬基于人工神經網絡的技術——生理的角度模擬2/2/202331.1人工神經網絡的提出

人工神經網絡（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統的一階特性的一種描述。簡單地講，它是一個數學模型，可以用電子線路來實現，也可以用計算機程序來模擬，是人工智能研究的一種方法。

2/2/202341.1人工神經網絡的提出1.1.1智能與人工智能

一、

智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應環境的綜合能力。

智能是個體認識客觀事物和運用知識解決問題的能力。

人類個體的智能是一種綜合能力。2/2/202351.1人工神經網絡的提出智能可以包含8個方面感知與認識客觀事物、客觀世界和自我的能力感知是智能的基礎——最基本的能力

通過學習取得經驗與積累知識的能力這是人類在世界中能夠不斷發展的最基本能力。理解知識，運用知識和經驗分析、解決問題的能力這一能力可以算作是智能的高級形式。是人類對世界進行適當的改造，推動社會不斷發展的基本能力。2/2/202361.1人工神經網絡的提出聯想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預測和認識“主動”和“被動”之分。聯想、推理、判斷、決策的能力是“主動”的基礎。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力

2/2/202371.1人工神經網絡的提出作為5種能力綜合表現形式的3種能力發現、發明、創造、創新的能力實時、迅速、合理地應付復雜環境的能力預測、洞察事物發展、變化的能力

2/2/202381.1人工神經網絡的提出二、人工智能人工智能：研究如何使類似計算機這樣的設備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認識自己三大學術流派符號主義（或叫做符號/邏輯主義）學派聯接主義（或者叫做PDP）學派進化主義（或者叫做行動/響應）學派2/2/202391.1人工神經網絡的提出1.1.2物理符號系統

人腦的反映形式化

現實信息數據

物理系統物理符號系統

表現智能2/2/2023101.1人工神經網絡的提出Newell和Simon假說：一個物理系統表現智能行為的充要條件是它有一個物理符號系統概念：物理符號系統需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現，以構成更高級別的系統2/2/2023111.1人工神經網絡的提出困難：抽象——舍棄一些特性，同時保留一些特性形式化處理——用物理符號及相應規則表達物理系統的存在和運行。局限：對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2/2/2023121.1人工神經網絡的提出1.1.3聯接主義觀點

核心：智能的本質是聯接機制。

神經網絡是一個由大量簡單的處理單元組成的高度復雜的大規模非線性自適應系統

ANN力求從四個方面去模擬人腦的智能行為物理結構

計算模擬

存儲與操作

訓練

2/2/2023131.1人工神經網絡的提出1.1.4兩種模型的比較

心理過程邏輯思維高級形式（思維的表象）

生理過程

形象思維

低級形式（思維的根本）

仿生

人工神經網絡聯結主義觀點物理符號系統2/2/2023141.1人工神經網絡的提出物理符號系統和人工神經網絡系統的差別

項目物理符號系統人工神經網絡處理方式邏輯運算模擬運算執行方式串行并行動作離散連續存儲局部集中全局分布2/2/2023151.1人工神經網絡的提出兩種人工智能技術的比較項目傳統的AI技術

ANN技術

基本實現方式

串行處理；由程序實現控制

并行處理；對樣本數據進行多目標學習；通過人工神經元之間的相互作用實現控制

基本開發方法

設計規則、框架、程序；用樣本數據進行調試（由人根據已知的環境去構造一個模型）

定義人工神經網絡的結構原型，通過樣本數據，依據基本的學習算法完成學習——自動從樣本數據中抽取內涵（自動適應應用環境）

適應領域

精確計算：符號處理，數值計算非精確計算：模擬處理，感覺，大規模數據并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）2/2/2023161.2人工神經網絡的特點信息的分布表示運算的全局并行和局部操作處理的非線性

2/2/2023171.2.1人工神經網絡的概念1、定義

1）Hecht—Nielsen（1988年）人工神經網絡是一個并行、分布處理結構，它由處理單元及其稱為聯接的無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）具有局部內存，并可以完成局部操作。每個處理單元有一個單一的輸出聯接，這個輸出可以根據需要被分枝成希望個數的許多并行聯接，且這些并行聯接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。2/2/2023181.2.1人工神經網絡的概念（1）Hecht—Nielsen（1988年）（續）處理單元的輸出信號可以是任何需要的數學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。2/2/2023191.2.1人工神經網絡的概念強調：

①

并行、分布處理結構；②一個處理單元的輸出可以被任意分枝，且大小不變；③輸出信號可以是任意的數學模型；④處理單元完全的局部操作

2/2/2023201.2.1人工神經網絡的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一組處理單元（PE或AN）；2）

處理單元的激活狀態（ai）；3）

每個處理單元的輸出函數（fi）；4）

處理單元之間的聯接模式；5）

傳遞規則（∑wijoi）；6）

把處理單元的輸入及當前狀態結合起來產生激活值的激活規則（Fi）；7）

通過經驗修改聯接強度的學習規則；8）

系統運行的環境（樣本集合）。

2/2/2023211.2.1人工神經網絡的概念（3）Simpson（1987年）人工神經網絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。

2/2/2023221.2.1人工神經網絡的概念2、關鍵點（1）

信息的分布表示（2）

運算的全局并行與局部操作（3）

處理的非線性特征3、對大腦基本特征的模擬1）

形式上：神經元及其聯接；BN對AN2）

表現特征：信息的存儲與處理2/2/2023231.2.1人工神經網絡的概念4、別名人工神經系統（ANS）神經網絡（NN）自適應系統（AdaptiveSystems）、自適應網（AdaptiveNetworks）聯接模型（Connectionism）神經計算機（Neurocomputer）2/2/2023241.2.2學習（Learning）能力人工神經網絡可以根據所在的環境去改變它的行為自相聯的網絡異相聯的網絡：它在接受樣本集合A時，可以抽取集合A中輸入數據與輸出數據之間的映射關系。——“抽象”功能。不同的人工神經網絡模型，有不同的學習/訓練算法2/2/2023251.2.3基本特征的自動提取

由于其運算的不精確性，表現成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現模式的自動分類。普化（Generalization）能力與抽象能力

2/2/2023261.2.4信息的分布存放信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網絡中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學習的網絡進行修改。也正是由于信息的分布存放，對一類網來說，當它完成學習后，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。

2/2/2023271.2.5適應性(Applicability)問題

擅長兩個方面：對大量的數據進行分類，并且只有較少的幾種情況；必須學習一個復雜的非線性映射。目前應用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數據壓縮、模式匹配、系統建模、模糊控制、求組合優化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應用。

2/2/2023281.3歷史回顧

1.3.1萌芽期（20世紀40年代）人工神經網絡的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發表于數學生物物理學會刊《BulletinofMethematicalBiophysics》1949年，心理學家D.O.Hebb提出神經元之間突觸聯系是可變的假說——Hebb學習律。

2/2/2023291.3.2第一高潮期（1950~1968）

以MarvinMinsky，FrankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。

2/2/2023301.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運算不可表示

二十世紀70年代和80年代早期的研究結果

認識規律：認識——實踐——再認識

2/2/2023311.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出循環網絡用Lyapunov函數作為網絡性能判定的能量函數，建立ANN穩定性的判別依據闡明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網絡中神經元的聯接上

2/2/2023321.3.4第二高潮期（1983~1990）2）1984年，J.Hopfield設計研制了后來被人們稱為Hopfield網的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網絡中引入了隨機機制，提出所謂的Boltzmann機。

2/2/2023331.3.4第二高潮期（1983~1990）4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網絡的學習算法——BP算法，較好地解決了多層網絡的學習問題。（Paker1982和Werbos1974年）國內首屆神經網絡大會是1990年12月在北京舉行的。

2/2/2023341.3.5再認識與應用研究期（1991~）

問題：1）應用面還不夠寬2）結果不夠精確3）存在可信度的問題

2/2/2023351.3.5再認識與應用研究期（1991~）

研究：1）開發現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。2）充分發揮兩種技術各自的優勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經系統進行研究，不斷地豐富對人腦的認識。

2/2/202336第2章人工神經網絡基礎2.1生物神經網2.2人工神經元2.3人工神經網絡的拓撲特性2.4存儲與映射2.5人工神經網絡的訓練2/2/2023372.1生物神經網1、構成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程2/2/2023382.1生物神經網3、六個基本特征：1）神經元及其聯接；2）神經元之間的聯接強度決定信號傳遞的強弱；3）神經元之間的聯接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經元接受的信號的累積效果決定該神經元的狀態；6)每個神經元可以有一個“閾值”。2/2/2023392.2人工神經元

神經元是構成神經網絡的最基本單元（構件）。人工神經元模型應該具有生物神經元的六個基本特性。

2/2/2023402.2.1人工神經元的基本構成

人工神經元模擬生物神經元的一階特性。輸入：X=（x1，x2，…，xn）聯接權：W=（w1，w2，…，wn）T網絡輸入： net=∑xiwi向量形式： net=XWxnwn∑x1w1x2w2net=XW…2/2/2023412.2.2激活函數(ActivationFunction)

激活函數——執行對該神經元所獲得的網絡輸入的變換，也可以稱為激勵函數、活化函數：o=f（net）

1、線性函數（LinerFunction）

f（net）=k*net+c

netooc2/2/2023422、非線性斜面函數(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數，被稱為飽和值，為該神經元的最大輸出。

2/2/2023432、非線性斜面函數（RampFunction）γ-γθ

-θ

net

o

2/2/2023443、閾值函數（ThresholdFunction）階躍函數

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

2/2/2023453、閾值函數（ThresholdFunction）階躍函數β

-γθonet02/2/2023464、S形函數

壓縮函數（SquashingFunction）和邏輯斯特函數（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數的飽和值為0和1。S形函數有較好的增益控制

2/2/2023474、S形函數

a+bo(0,c)netac=a+b/22/2/2023482.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2/2/2023492.3人工神經網絡的拓撲特性

連接的拓撲表示

ANi wij ANj

2/2/2023502.3.1聯接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經元的活躍度。層次（又稱為“級”）的劃分，導致了神經元之間的三種不同的互連模式：

2/2/2023512.3.1聯接模式

1、層（級）內聯接層內聯接又叫做區域內（Intra-field）聯接或側聯接（Lateral）。用來加強和完成層內神經元之間的競爭2、

循環聯接反饋信號。

2/2/2023522.3.1聯接模式3、層（級）間聯接

層間（Inter-field）聯接指不同層中的神經元之間的聯接。這種聯接用來實現層間的信號傳遞前饋信號反饋信號

2/2/2023532.3.2網絡的分層結構

單級網

簡單單級網

2/2/202354簡單單級網……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 2/2/202355簡單單級網W=（wij）輸出層的第j個神經元的網絡輸入記為netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2/2/202356單級橫向反饋網輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V2/2/202357單級橫向反饋網

V=（vij）NET=XW+OVO=F（NET）時間參數——神經元的狀態在主時鐘的控制下同步變化考慮X總加在網上的情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X的情況。

穩定性判定2/2/202358多級網輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202359層次劃分

信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網絡外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202360第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網絡的最后一層，具有該網絡的最大層號，負責輸出網絡的計算結果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202361約定:輸出層的層號為該網絡的層數：n層網絡，或n級網絡。第j-1層到第j層的聯接矩陣為第j層聯接矩陣，輸出層對應的矩陣叫輸出層聯接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/2/202362多級網——h層網絡輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/2/202363多級網非線性激活函數

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2/2/202364循環網x1o1輸出層隱藏層輸入層x2o2omxn…………………2/2/202365循環網

如果將輸出信號反饋到輸入端,就可構成一個多層的循環網絡。輸入的原始信號被逐步地“加強”、被“修復”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩定：反饋信號會引起網絡輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網絡達到了平衡狀態。如果這種變化不能消失，則稱該網絡是不穩定的。

2/2/2023662.4存儲與映射

空間模式（SpatialModel）時空模式（SpatialtemporalModel）空間模式三種存儲類型1、

RAM方式（RandomAccessMemory）隨機訪問方式是將地址映射到數據。2、

CAM方式（ContentAddressableMemory）內容尋址方式是將數據映射到地址。3、

AM方式（AssociativeMemory）相聯存儲方式是將數據映射到數據。

2/2/2023672.4存儲與映射后續的兩種方式是人工神經網絡的工作方式。在學習/訓練期間，人工神經網絡以CAM方式工作；權矩陣又被稱為網絡的長期存儲（LongTermMemory，簡記為LTM）。網絡在正常工作階段是以AM方式工作的；神經元的狀態表示的模式為短期存儲（ShortTermMemory，簡記為STM）。

2/2/2023682.4存儲與映射自相聯（Auto-associative）映射：訓練網絡的樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合。

2/2/2023692.4存儲與映射異相聯（Hetero-associative）映射

{（A1，B1），（A2，B2），…，（An，Bn）}該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合所蘊含的對應關系。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得 Ai≤Ak≤A或者A≤Ak≤Aj且此時有 Ai≤A≤Aj則向量B是Bi與Bj的插值。

2/2/2023702.5人工神經網絡的訓練

人工神經網絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西。人工神經網絡的表達能力大大地限制了它的學習能力。人工神經網絡的學習過程就是對它的訓練過程2/2/2023712.5.1無導師學習

無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應

抽取樣本集合中蘊含的統計特性，并以神經元之間的聯接權的形式存于網絡中。2/2/2023722.5.1無導師學習Hebb學習律、競爭與協同（CompetitiveandCooperative）學習、隨機聯接系統（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]的核心：當兩個神經元同時處于激發狀態時被加強，否則被減弱。數學表達式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）2/2/2023732.5.2有導師學習

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。2/2/202374訓練算法的主要步驟 1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網絡的實際輸出O；

3）

求D=Bi-O； 4）

根據D調整權矩陣W； 5）對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規定范圍。2/2/202375Delta規則

Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成：Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)2/2/202376Delta規則Grossberg的寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規則為：?Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))2/2/202377第3章

感知器

主要內容：感知器與人工神經網絡的早期發展；線性可分問題與線性不可分問題；Hebb學習律；Delta規則;感知器的訓練算法。重點：感知器的結構、表達能力、學習算法難點：感知器的表達能力

2/2/202378第3章

感知器3.1感知器與人工神經網絡的早期發展

3.2感知器的學習算法

3.2.1離散單輸出感知器訓練算法

3.2.2離散多輸出感知器訓練算法3.2.3連續多輸出感知器訓練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

實現！問題的發現與解決！2/2/2023793.1感知器與ANN的早期發展McCulloch和Pitts1943年，發表第一個系統的ANN研究——閾值加權和(M-P)數學模型。1947年，開發出感知器。1949年，提出Hebb學習律。單輸出的感知器(M-P模型)x2x1oxn…2/2/2023803.1感知器與ANN的早期發展1962年，Rosenblatt宣布：人工神經網絡可以學會它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2/2/2023813.2感知器的學習算法

感知器的學習是有導師學習感知器的訓練算法的基本原理來源于著名的Hebb學習律基本思想：逐步地將樣本集中的樣本輸入到網絡中,根據輸出結果和理想輸出之間的差別來調整網絡中的權矩陣

2/2/2023823.2.1離散單輸出感知器訓練算法

二值網絡：自變量及其函數的值、向量分量的值只取0和1函數、向量。權向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓練樣本集：{(X，Y)|Y為輸入向量X對應的輸出}2/2/202383算法3-1離散單輸出感知器訓練算法

1.初始化權向量W；2.重復下列過程，直到訓練完成： 2.1對每個樣本（X，Y），重復如下過程： 2.1.1輸入X； 2.1.2計算o=F（XW）； 2.1.3如果輸出不正確，則 當o=0時，取W=W+X， 當o=1時，取W=W-X2/2/2023843.2.2離散多輸出感知器訓練算法

樣本集：{(X,Y)|Y為輸入向量X對應的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數：F

權矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2/2/202385算法3-2離散多輸出感知器訓練算法

1.初始化權矩陣W；2.重復下列過程，直到訓練完成：2.1對每個樣本（X，Y），重復如下過程： 2.1.1輸入X； 2.1.2計算O=F（XW）； 2.1.3forj=1tomdo執行如下操作： ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi2/2/202386算法3-2離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經元的處理。第1步，權矩陣的初始化：一系列小偽隨機數。

2/2/202387算法3-2離散多輸出感知器訓練算法第2步，循環控制。方法1：循環次數控制法：對樣本集執行規定次數的迭代改進——分階段迭代控制：設定一個基本的迭代次數N，每當訓練完成N次迭代后，就給出一個中間結果2/2/202388算法3-2離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和

“死循環”：網絡無法表示樣本所代表的問題2/2/202389算法3-2離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用

注意：精度參數的設置。根據實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。2/2/2023903.2.3連續多輸出感知器訓練算法

用公式wij