突觸動力學Ⅱ有監督學習第五章突觸動力學Ⅱ：有監督學習上圖即為前饋神經網絡的結構示意圖。各神經元接受前一級輸入，并輸出到下一級，無反饋。輸入、輸出節點稱為可見層，其他中間層稱為隱層。第五章突觸動力學Ⅱ：有監督學習

當現有的先驗知識不完全時，就需要學習。學習的方式取決于這一先驗信息不完全的程度。在監督學習過程中，假設已知未來學習系統的期望響應，并且使用期望值與實際值的差值（即學習系統的誤差）去修正系統的行為。而在非監督學習中是不了解學習系統的期望響應的。神經網絡通過向環境獲取知識并改進自身性能。一般是按某種預定的度量調節自身的參數（如權值）隨時間逐步達到的。第五章突觸動力學Ⅱ：有監督學習

監督學習有時也叫有教師學習，“教師”在這里要對一組給定的輸入提供應有的輸出結果。這組已知的輸入－輸出數據就稱為訓練樣本集。學習系統如下圖：第五章突觸動力學Ⅱ：有監督學習

非監督學習不存在外部教師，學習系統完全按照環境所提供數據的某些統計規律來調節自身參數或結構（這是一種自組織過程），以表示外部輸入的某種固有特征，如聚類。學習算法主要有：

1、Hebb學習算法：2、競爭學習算法：3、誤差糾正學習算法若神經元j獲勝若神經元j失敗第五章突觸動力學Ⅱ：有監督學習1、有監督函數估計神經網絡引進的函數估計的概念為：已知隨機樣本矢量對，要從這些樣本中估計出產生這些樣本矢量對的函數，即：下面從不同角度分析監督學習：其中：是輸入空間是輸出空間是要估計的泛函所采用的方法為是使一個未知期望的誤差函數（也叫目標函數）最小化。第五章突觸動力學Ⅱ：有監督學習2、作為有效條件的有監督學習有效條件強化響應(Operantconditioningreinforceresponses)。條件聚類強化了刺激，例如，一個生物體學會了一刺激響應對：

，那么在條件刺激S中加一個條件進行學習，即：這樣不斷強化刺激，直到輸入B時反應為R。這樣就有：也就是學會了一條規則。這樣的例子如巴普洛夫條件反射試驗。第五章突觸動力學Ⅱ：有監督學習3、用已知的類隸屬度作為隨機模式學習的有監督學習模式：定義為模式空間的一個點；

時變模式：空間中的一條軌跡線；映射定義了從時間區間到模式空間中單點的映射。概率密度為模式x在中的分布的一種描述模式類：為空間的子集現在的任務是用已知的樣本及模式類，估計第五章突觸動力學Ⅱ：有監督學習定義是集合的指示函數：指示函數指出了模式x的類隸屬度。如果S是將映射到而不是，那么S就是一個連續的或者說多值的（模糊的）集合，即模式x以不同的程度隸屬于不同的類。假設將模式樣本空間分為k個不相交的子集：第五章突觸動力學Ⅱ：有監督學習則類概率密度為：為求期望值，且有：

有監督和無監督模式學習的區別依賴于已有的信息以及學習系統如何利用它。在兩種情況下系統都不知道如果知道確定的類，并且學習系統利用了這些信息，那么模式學習就是監督學習。如果不知道或沒用類隸屬度（指示函數），則模式學習就是非監督的。第五章突觸動力學Ⅱ：有監督學習監督隨機競爭學習定律：先看噪聲隨機競爭學習定律:由于上式沒有使用類成員信息校正突觸矢量，所以是非監督學習。監督隨機競爭學習定律為：增強函數為：獎勵正確的模式分類＋1，懲罰錯誤的模式分類為－1。第五章突觸動力學Ⅱ：有監督學習4、作為隨機逼近的有監督學習隨機逼近用已知的隨機梯度來估計未知的梯度，使用的方法是離散隨機梯度下降迭代算法：是網絡第次迭代的連接強度向量，是與有關的梯度。由于樣本是隨機的，所以是隨機的，是隨機的。

隨機逼近表明，合適的有監督學習是漸進最優學習。當學習結束時，知道的僅是的一些函數的局部極小點。學習算法有感知器、LMS和BP算法。第五章突觸動力學Ⅱ：有監督學習

學習速率系數的兩個限制條件，使其衰減不快不慢：衰減得越慢，學習得越快；衰減得越快，遺忘學過的模式信息越少。例如就滿足上述要求。

因該指出，大部分監督神經網絡算法都可化為隨機近似。第五章突觸動力學Ⅱ：有監督學習一、感知器學習算法感知器模型如下圖：

感知器是一種雙層神經網絡模型，一層為輸入層，另一層具有計算單元，可以通過監督學習建立模式判別能力。第五章突觸動力學Ⅱ：有監督學習

雙層感知器模型只能用于解決線性可分問題。感知器學習定律指出感知器在有限次迭代中可分離一個線性可分的模式集。對于兩類問題的分類來說，線性可分行性可以理解為：如果存在和使得則稱f是線性可分函數。如下圖所示的XOR函數就不是線性可分函數：第五章突觸動力學Ⅱ：有監督學習

下面推導感知器學習算法，設輸入模式和權向量都是k維的：通過學習希望達到：時時取學習的目標函數為：取微分：第五章突觸動力學Ⅱ：有監督學習代入所以有：上式即為感知器的學習算法。第五章突觸動力學Ⅱ：有監督學習二、LMS算法LMS算法也是一種梯度下降算法。與感知器的算法不同的是它采用的準則函數是均方誤差函數：定義輸入自相關矩陣，互相關矢量，代入上式，對M求偏導并令其為零，解得最優均方誤差突觸矢量第五章突觸動力學Ⅱ：有監督學習然而，通常是不知道R和P的。用測量值估計，估計梯度下降算法得：最后得LMS算法為：收斂域區間為：第五章突觸動力學Ⅱ：有監督學習下面舉一個例子：

樣本：單變量樣本4個，用線性閥值單元第一類d=1第二類d=-1考慮閥值后變量增廣到2維：如果學習系數選c=0.25，則有學習算法：選取初值：計算步驟為：輸入第五章突觸動力學Ⅱ：有監督學習輸入輸入第五章突觸動力學Ⅱ：有監督學習如此下去，最后結果為：三、反向傳播(BP)算法

多層網絡可以解決非線性可分問題，但由于隱層的存在使得學習比較困難，限制了多層網絡的發展。反向傳播的出現解決了這一困難。BP算法中有兩種信號，工作信號向前傳播，是輸入和權值的函數；誤差信號是實際輸出和應有輸出差值，由輸出端開始逐層向后傳播。第五章突觸動力學Ⅱ：有監督學習

反向傳播算法中常采用梯度法修正權值，為此要求輸出函數可微，通常采用Sigmoid函數作為輸出函數。正向算法：對輸出層：為了簡化，定義局部梯度：第五章突觸動力學Ⅱ：有監督學習于是有：修正量為：如果節點j是輸出單元，則：如果節點j不是輸出單元，則節點j對后層的全部節點都有影響，因此應用鏈式法則有：第五章突觸動力學Ⅱ：有監督學習對于Sigmoid函數有：綜合起來，反向傳播算法步驟如下：（1）選取權系數初始值。（2）重復下述過程直至收斂。第五章突觸動力學Ⅱ：有監督學習1、從前向后各層計算各單元輸出：2、對輸出層計算3、從后向前計算各隱層4、計算并保存各權值修正量：5、修正權值：第五章突觸動力學Ⅱ：有監督學習

上述算法的學習速率系數選擇很重要，c大則收斂快，過大則可能引起不穩定。c小可避免振蕩，但收斂速度變慢。解決這一矛盾的最簡單方式是加入“動量項”，即：權值修正量可以表示為：

[權值修正量]＝[學習步長]×[局部梯度]

×[單元的輸入信號]

訓練網絡時有兩種方式，一種是每輸入一個樣本修改一次權值；另一種是批處理方式，即待全部樣本全輸入后計算總的平均誤差。第五章突觸動力學Ⅱ：有監督學習

步長c對收斂性的影響很大，而且對于不同的問題其最佳值相差也很大，常可以在0.1到3之間試探，且對加復雜的問題用較大的值，動量項的值可以在0.9到1之間選擇。輸入、輸出層的單元數往往由問題本身決定，如作模式判別時輸入單元數是特征維數，輸出單元數是類數。但隱層的決定是較復雜的問題。反向傳播算法直接用于多于三層的前饋網絡時，陷入局部極小點而不收斂的可能性較大。第五章突觸動力學Ⅱ：有監督學習

多層網絡可以逼近任何非線性映射，當用作函數逼近時，網絡輸出可以理解為y對x的回歸函數，作分類時，輸出是相應類別的后驗概率。