機器學習For2013級計算機應用技術研究生主講李鶴喜機器學習——人工神經網絡1、概述人工神經網絡（ArtificialNeuralNetworks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（ConnectionistModel），是對人腦或自然神經網絡（NaturalNeuralNetwork）若干基本特性的抽象和模擬。人工神經網絡以對大腦的生理研究成果為基礎的，其目的在于模擬大腦的某些機理與機制，實現某個方面的功能。國際著名的神經網絡研究專家，第一家神經計算機公司的創立者與領導人HechtNielsen給人工神經網絡下的定義就是：“人工神經網絡是由人工建立的以有向圖為拓撲結構的動態系統，它通過對連續或斷續的輸入作狀態相應而進行信息處理。”2、人工神經網絡的提出人工神經網絡是對人類大腦系統的一階特性的一種描述。簡單地講，它是一個數學模型，可以用電子線路來實現，也可以用計算機程序來模擬，是人工智能研究的一種方法。3、人工神經網絡的特點人工神經網絡的以下幾個突出的優點使它近年來引起人們的極大關注：

(1)可以充分逼近任意復雜的非線性關系；

(2)所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，故有很強的魯棒性和容錯性；

(3)采用并行分布處理方法，使得快速進行大量運算成為可能；

(4)可學習和自適應不知道或不確定的系統；

(5)能夠同時處理定量（函數逼近）、定性（分類判別）知識。4、生物神經元模型1、生物神經網絡由樹突軸突突觸其他神經元構成軸突——細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經元興奮的信息傳出到其它神經元的出口。

樹突——細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳入的信息的入口。突觸——是一個神經元與另一個神經元之間相聯系并進行信息傳送的結構3、生物神經元模型神經元的六個基本特征：1）神經元相互聯接，呈網狀結構；2）神經元之間的聯接強度決定信號傳遞的強弱；3）神經元之間的聯接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經元接受的信號的累積效果決定該神經元的狀態；6)每個神經元可以有一個“閾值”。4、神經元的MP模型MP-模型如圖所示，神經元由輸入量x1，x2，…，

xn，對應每個輸入量的權值wi、門限和輸出y組成，f為傳遞函數x1x2xnfy…w1w2wnf(v)v4、一般神經元模型一組連接（對應于生物神經元的突觸），連接強度由各連接上的權值表示，權值為正表示激活，為負表示抑制。一個求和單元，用于求取各輸入信號的加權和（線性組合).一個非線性激活函數(作用函數)，起非線性映射作用并將神經元拘出幅度限制在一定范圍內.此外還有一個閾值4、一般神經元模型4、一般神經元模型兩種閾值，一種為負起抑制作用，一種為偏置激活函數的作用1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數轉換；3、將可能無限域的輸入變換成指定的有限范圍內的輸出。幾種常見的激活函數

1、閾值函數．

M-P模型2，分段線性函數它類似于一個放大系數為1的非線性放大器，當工作于線性區時它是一個線性組合器，放大系數趨于無窮大時變成一個閾值單元。幾種常見的激活函數3。Sigmoid函數雙曲正切函數這類具有平滑和漸近性，并保持單調性．幾種常見的激活函數神經網絡的基本模型4、神經網絡結構模型1、前向神經網絡結構（feed-forwardNetworks）所謂前向網絡，是各神經元接收前一層的輸入，并輸出給下一層，沒有反饋。節點分為兩類，即輸入節點和計算節點，每一個計算節點可有多個輸入，但只有一個輸出，通常前饋型網絡可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入與輸出節點與外界相連，而其他中間層則稱為隱層。4、神經網絡結構模型2、反饋神經網絡結構（feedbackneuralnetwork）反饋神經網絡是一種反饋動力學系統。在這種網絡中，每個神經元同時將自身的輸出信號作為輸入信號反饋給其他神經元，它需要工作一段時間才能達到穩定。Hopfield神經網絡是反饋網絡中最簡單且應用廣泛的模型，它具有聯想記憶的功能，如果將李雅普諾夫函數定義為尋優函數，Hopfield神經網絡還可以用來解決快速尋優問題。4、神經網絡結構模型3、隨機型神經網絡結構（RandomNeuralNetworks）前向型和反饋型的網絡是確定性的網絡，即給定輸入則輸出是確定的，但實際上按照神經生理學的觀點,生物神經元本質上是隨機的.因為神經網絡重復地接受相同的刺激,其響應并不相同,這意味著隨機性在生物神經網絡中起著重要的作用.隨機神經網絡正是仿照生物神經網絡的這種機理進行設計的.隨機神經網絡一般有兩種:一種是采用隨機性神經元激活函數;另一種是采用隨機型加權連接,即是在普通人工神經網絡中加入適當的隨機噪聲。4、神經網絡結構模型3、自組織神經網絡（SelfOrganizing

neural

Networks）自組織神經網絡是一種無導師學習方式，更類似于人類大腦中生物神經網絡的學習，其最重要特點是通過自動尋找樣本中的內在規律和本質屬性，自組織自適應地改變網絡參數與結構。這種學習方式大大拓寬神經網絡在模式識別與分類方面的應用。輸入模式輸出模式競爭層人工神經網絡的學習

ANN研究中的核心問題：Howtodeterminetheweights(權值)人工神經網絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西。人工神經網絡的表達能力大大地限制了它的學習能力。人工神經網絡的學習過程就是對它的訓練過程

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。有導師學習的訓練算法的主要步驟包括：

1）

從樣本集合中取一個樣本（Ai，Di）；

2）

計算出網絡的實際輸出O；

3）

求E=Di-O；

4）

根據E調整權矩陣W；

5）對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規定范圍。監督學習(有教師學習)監督學習(有教師學習)無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應抽取樣本集合中蘊含的統計特性，并以神經元之間的聯接權的形式存于網絡中。非監督學習(無導師學習)強化學習（reinforcementlearning再勵學習）這種學習介于上述兩種情況之間，外部環境對系統構出結果只給出評價（獎或懲）而不是給出正確答案，學習系統通過強化那些受獎勵的動作來改善自身性能神經網絡的學習規則1）直接設計計算例如

Hopfield作優化計算2）學習得到,即通過訓練(training)神經網絡學習規則a)誤差糾正學習令為輸入時神經元在n時刻的實際輸出，表示相應的應有的輸出（由訓練樣本給出）誤差：訓練指標：權值調整：b)Hebb學習

神經心理學家Hebb提出的學習規則可歸結為”當某一突觸（連接）兩端的神經元的激活同步（同為激括或同為抑制）時，該連接的強度應增強，反之則應減弱”。

Heb規則：權值調整函數：神經網絡的學習規則c)競爭學習顧名思義，在竟爭學習時網絡各輸出單元互相竟爭，最后達到只有一個最強者激活。最常見的一種情況是輸出神經元之間有側向抑制性連接，這樣眾多輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元，最后只有比較強者處于激活狀態。神經網絡的學習規則BP反向傳播神經網絡

BP（BackPropagation）網絡是1986年由Rumelhart

和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用誤差最速下降法，通過誤差反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)。BP反向傳播神經網絡

Rumelhart，McClelland于1985年提出了BP網絡的誤差反向后傳BP(BackPropagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。J.McClellandDavidRumelhart

BP神經網絡模型多層BP神經網絡（這里是4層）BP神經網絡算法的推導在第n次迭代中輸出端的第j個單元的輸出為,則該單元的誤差信號為定義單元j的平方誤差為,則輸出端總的平方誤差的值為:其中c包括所有輸出單元,設訓練集中樣本總數為N,則平方誤差的均值為采用誤差下降法，就是根據誤差E(n)變化情況調整權值w，另一個角度說就是，權值w變化對誤差E信號有何影響。即要求取，如果為正，表示隨著w增加E增加，顯然應該減少w,如果為負，表示隨著w增加E減少，當然應該增加w,即按下列算式調節，η是比例因子，也稱學習效率：BP神經網絡算法的推導故取w為:故問題的關鍵在于如何求誤差前級輸入BP神經網絡算法的推導設E（n)為學習的目標函數,學習的目的是使E（n)達到最小.下面就逐個樣本學習的情況推導BP算法.上圖表示第j個單元接收到前一層i信號并產生誤差信號的過程求和傳遞函數實際輸出期望函數誤差前級輸入權重前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入誤差前級輸入前級輸入前級輸入前級輸入前級輸入BP神經網絡算法的推導第j節點匯聚輸入的加權和為定義傳遞函數為φ(.),則節點j的輸出為:求誤差E(n)對各權值wji(n)的偏導BP神經網絡算法的推導由于故有:按梯度下降法，權值的修正量為：其中負號表示修正量按梯度下降方式，δj(n)稱為局部梯度其記為：BP神經網絡算法的推導對兩種節點進行討論1、單元j是輸出節點2、單元j是隱節點

其結構如下圖所示神經元k神經元jBP神經網絡算法的推導將此式對yj(n)求導得：2、單元j是隱節點

其結構如下圖所示j節點后面是輸出節點k,則誤差平方和由于所以BP神經網絡算法的推導上式式對yj(n)求導得：而其中q

為單元

的輸入端個數所以有代入式得：即當j為隱層節點時，其局部梯度等于下一層局部梯度加權和與激活函數的乘積。BP神經網絡算法的推導(1)對于輸出節點j,δj(n)為與誤差信號ej(n)之積;總結以上推導,對于節點j權值修正量可寫為的計算有兩種情況:(2)對于隱節點j,δj(n)為與與后面一層的δk(n)加權和之積;BP神經網絡算法的推導權值訓練周期:

學習時每輸入一次全部訓練樣本稱為一個訓練周期,學習一個周期一個周期地進行,直到目標函數達到最小值或小于某一給定值.訓練網絡有兩種方式:(1)每輸入一個樣本修改一次權值;(2)批處理方式,待組成一個訓練周期的全部N個樣本都依此輸入后計算總的平均誤差:權值調整:其中計算方法與前面一樣BP神經網絡算法的推導BP算法的步驟如下:(1)初始化,選定一結構合理的網絡,置所有可調參數(權和閾值)為均勻分布的較小數值;(2)對每個輸入樣本做如下計算:

①前向計算

對

l層的j單元其中

為前一層（l-1)的單元送來的工作信號.

i=0時BP神經網絡算法的推導設單元j的傳遞函數（激活函數）為sigmoid函數，則求導:當l=1時，有若j屬于輸出層(l=L),BP神經網絡算法的推導②反向計算δ對輸出單元

③按下式修正權值（3）n=n+1輸入新的樣本(或新一周期樣本),直至Eav

達到預定要求,訓練時各周期中樣本的輸入順序要重新隨即排序。對隱層單元BP網絡的標準學習算法學習的過程：神經網絡在外界輸入樣本的刺激下不斷改變網絡的連接權值,以使網絡的輸出不斷地接近期望的輸出。學習的本質：對各連接權值的動態調整學習規則：權值調整規則，即在學習過程中網絡中各神經元的連接權變化所依據的一定的調整規則。BP網絡的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值6.4.2BP網絡的標準學習算法第一步，網絡初始化給各連接權值分別賦一個區間（-1，1）內的隨機數，設定誤差函數e，給定計算精度值ε

和最大學習次數M。第二步,隨機選取第k個輸入樣本及對應期望輸出第三步，計算隱含層各神經元的輸入和輸出BP網絡的標準學習算法第四步，利用網絡期望輸出和實際輸出，計算誤差函數對輸出層的各神經元的偏導數。第五步，利用隱含層到輸出層的連接權值、輸出層和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數。第六步，利用輸出層各神經元和隱含層各神經元的輸出來修正連接權值。第七步，利用隱含層各神經元的和輸入層各神經元的輸入修正連接權。6.4.2BP網絡的標準學習算法第八步，計算全局誤差第九步，判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。BP網絡的標準學習算法BP算法直觀解釋情況一直觀表達當誤差對權值的偏導數大于零時，權值調整量為負，實際輸出大于期望輸出，權值向減少方向調整，使得實際輸出與期望輸出的差減少。whoe>0，此時Δwho<06.4.2BP網絡的標準學習算法BP算法直解釋情況二直觀表達當誤差對權值的偏導數小于零時，權值調整量為正，實際輸出少于期望輸出，權值向增大方向調整，使得實際輸出與期望輸出的差減少。e<0,此時Δwho>0whoBP神經網絡的特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數學方程。只要能提供足夠多的樣本模式對供網絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出規律影響很小。BP神經網絡學習算法的矩陣實現設BP神經網絡有輸入層、隱層和輸出層三層結構，其節點數分別為n1,n2,n3BP神經網絡學習算法批訓練的矩陣實現設有Ｎ個訓練樣本集Ｘ＝｛X1,X2,…,XN},Xi是n1維向量，將訓練樣本按列排布，得到批輸入矩陣考慮到閾值θ，輸入矩陣增加一行-1，即將X擴充成：BP神經網絡學習算法批訓練的矩陣實現隱層有n2個節點，設輸入層與隱層節點間的權值矩陣為IW（含有閾值），則有則N個樣本的輸入加權求和v1矩陣為：BP神經網絡學習算法批訓練的矩陣實現設隱層的傳遞函數（激活函數)=1/(1+e-v),隱層輸出Y矩陣為：與隱層類似，對輸出層加權求和v2矩陣為：BP神經網絡學習算法的矩陣實現設輸出層的傳遞函數（激活函數)=1/(1+e-v),輸出O矩陣為：反向計算，誤差矩陣E為反向計算，輸出層的局部梯度BP神經網絡學習算法的矩陣實現刪除隱層與輸出層的權矩陣HW的第一列有：計算隱層的局部梯度更新隱層與輸出層之間的權值矩陣HWBP神經網絡學習算法的矩陣實現更新輸入層與隱層之間的權值矩陣：計算所有樣本批輸入后的誤差平方和判斷E<E閾值（如0.0001），網絡訓練結束，保存權值IW和HW。6.4.3BP神經網絡學習算法的MATLAB實現MATLAB中BP神經網絡的重要函數和基本功能函數名功能newff()生成一個前饋BP網絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數logsig()對數S型(Log-Sigmoid)傳輸函數traingd()梯度下降BP訓練函數BP神經網絡學習算法的MATLAB實現MATLAB中BP神經網絡的重要函數和基本功能newff()功能建立一個前向BP網絡格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創建的新BP神經網絡；PR為網絡輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網絡隱含層和輸出層神經元的個數；{TFlTF2…TFN1}表示網絡隱含層和輸出層的傳輸函數，默認為‘tansig’；BTF表示網絡的訓練函數，默認為‘trainlm’；BLF表示網絡的權值學習函數，默認為‘learngdm’；PF表示性能數，默認為‘mse’。BP神經網絡學習算法的MATLAB實現MATLAB中BP神經網絡的重要函數和基本功能tansig()功能正切sigmoid激活函數格式a=tansig(n)說明雙曲正切Sigmoid函數把神經元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導函數，適用于BP訓練的神經元。logsig()功能對數Sigmoid激活函數格式

a=logsig(N)說明對數Sigmoid函數把神經元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導函數，適用于BP訓練的神經元。x1x2xixny1ykyq實際輸入x實際輸出y期望輸出d根據誤差e=d-y網絡權值w調節wBP神經網絡算法的基本思想MATlABNN工具箱多層BP神經網MATlABNN工具箱多層BP神經網MATlABNNT傳遞函數類型net=newff([-12;05],[3,1],{'tansig','purelin'},'traingd');在MATLAB7.0下使用newff創建BP神經網。例如我們創建一個2維輸入向量，具有3個隱層節點和一個輸出節點的3層結構的BP神經網絡：隱節點數輸出節點數BP神經網絡的創建、訓練與仿真1、BP神經網絡的創建隱層傳遞函數輸出層傳遞函數輸入分量范圍訓練方式2、BP神經網絡的訓練當確定完神經網絡的具體結構—輸入向量維數、隱層節點數、輸出節點數，就要采用一定的訓練方法對神經網絡進行訓練，目前應用最多的是—梯度下降法。在Matlab神經網絡工具箱中，設置了這一算法。并通過train()函數來實現神經網絡的訓練。基本語法為：Trained_net=train(net,P,T)待訓練的網完成的訓練網輸入的特征向量訓練目標BP神經網絡的創建、訓練與仿真仿真是對已經訓練完成的BP神經網絡進行應用模擬，以檢查神經網絡的響應性能。即當網絡權值w,偏移值確定后，通過給定輸入Pgiven，檢查實際輸出y與期望是否相符。對于仿真結果滿足要求的網絡就可定型。仿真采用下列函數：y=sim(trained_net,P);完成的訓練網輸入的特征向量網絡的實際輸出3、BP神經網絡的仿真

BP神經網絡的創建、訓練與仿真1、手寫數字字符的識別2、人臉的識別3、車型的識別4、車牌的識別5、指紋的識別6、虹膜的識別6、剛體目標的識別7、人體目標的識別基于BP神經網絡的圖像識別的應用領域神經網絡手寫數字識別設計實例1、手寫數字圖像的歸一化處理將圖像歸一到16×8的像素矩陣2、將16×8的像素矩陣按列堆疊成128維向量矩陣→向量3、BP神經網絡結構的設計

(1)輸入節點數的確定根據輸入特征向量是128維，故選輸入節點為128個。（2）輸出節點數的確定辨識10個手寫數字，以每個節點為1代表一個數字的標識，所以輸出節點可選10個節點；（3）隱層節點數的確定可按下列公式估計

式中n為輸入節點m為輸出節點數，a=1~10為可調常數。這里取隱層節點20神經網絡手寫數字識別設計實例3、BP神經網絡結構的設計

(4)傳遞函數設計輸入節點數的確定由于以1作為類別的數值表示，即輸出最大限為1，故隱層與輸出層傳遞函數都選擇為logsig。（5）輸入數據和期望值按向量排成的矩陣組織，即220神經網絡手寫數字識別設計實例神經網絡手寫數字識別設計實例—實施神經網絡手寫數字識別設計實例—實施SOM自組織神經網絡

采用有導師學習規則的神經網絡是以網絡的誤差或能量函數作為算法準則。而在很多情況下，人在認知過程中沒有預知的正確模式，人獲得大量知識常常是靠“無師自通”，即通過對客觀事物的反復觀察，分析與比較，自行揭示其內在規律，并對具有共同特征的事物進行正確歸類。對于人的這種學習方式，基于有導師學習策略的神經網絡是無能為力的。自組織神經網絡的無導師學習方式更類似于人類大腦中生物神經網絡的學習，其最重要特點是通過自動尋找樣本中的內在規律和本質屬性，自組織自適應地改變網絡參數與結構。這種學習方式大大拓寬神經網絡在模式識別與分類方面的應用。自組織網結構上屬于層次型網絡，有多種類型。如：自組織特征映射（SelfOrganizingFeatureMap）網絡—SOM）；對偶（向）傳播（CounterPropagationNetwork)網絡—CPN)；自適應共振理論（AdaptiveResonanceTheory)網絡—ART等。其共同特點是都具有競爭層。最簡單的網絡結構具有一個輸入層和一個競爭層。輸入模式輸出模式競爭層輸入層負責接受外界信息并將輸入模式向競爭層傳遞，起觀察作用。競爭層負責對該模式進行“分析比較”，找出規律以正確分類。這種功能是通過下面要介紹的競爭機制實現的。SOM自組織神經網絡競爭學習是自組織網絡中最常用的一種學習策略，首先說明與之相關的幾個基本概念。1基本概念模式、分類、聚類與相似性模式：一般當網絡涉及識別、分類問題時，常用輸入模式（而不稱輸入樣本）；分類：將待識別的輸入模式劃分為各自的模式類中去；聚類：無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類；相似性：輸入模式的聚類依據。2相似性測量神經網絡的輸入模式用向量表示，比較不同模式的相似性可轉化為比較兩個向量的距離，因而可用模式向量間的距離作為聚類判據。模式識別中常用到的兩種聚類判據是歐式最小距離法和余弦法。一、競爭學習的概念與原理（1）歐式距離法

X和Xi兩向量歐式距離:

兩個模式向量的歐式距離越小，兩個模式越相似，當兩個模式完全相同時，其歐式距離為零。如果對同一類內各個模式向量間的歐式距離作出規定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據。（2）余弦法計算兩個模式向量夾角的余弦：兩個模式向量越接近，其類角越小，余弦越大。當兩個模式向量完全相同時，其夾角余弦為1。若同類內各模式向量間的夾角規定不大于ΨT，則Ψ成為一種聚類判據。余弦法適合模式向量長度相同或模式特征只與向量方向相關的相似性測量。2相似性測量3側抑制與競爭自組織網絡（競爭型神經網絡）構成的基本思想是網絡的競爭層各神經元競爭對輸入模式響應的機會，最后僅有一個神經元成為競爭的“勝者”，這一獲勝神經元則表示對輸入模式的識別。——體現了生物生神經細胞的側抑制競爭機制。實驗表明，人眼的視網膜、脊髓和海馬中存一種側抑制現象，即，當一個神經細胞興奮后，會對其周圍的神經細胞產生抑制作用。這種側抑制使神經細胞之間呈現出競爭，開始時可能多個細胞同時興奮，但一個興奮程度最強的神經細胞對周圍神經細胞的抑制作用也最強，其結果使其周圍神經細胞興奮程度減弱，從而該神經細胞是這次競爭的“勝者”，其它神經細胞在競爭中失敗。自組織網絡在競爭層神經元之間的連線，它們是模擬生物神經網絡層內神經元相互抑制現象的權值，這類抑制性權值滿足一定的分布關系，如距離近的抑制強，距離遠的抑制弱。這種權值（或說側抑制關系）一般是固定的，訓練過程中不需要調整，在各類自組織網絡拓樸圖中一般予以省略。（不省略時，也只看成抑制關系的表示，不作為網絡權來訓練）。最強的抑制關系是競爭獲勝者“惟我獨興”，不允許其它神經元興奮，這種抑制方式也稱為勝者為王。3側抑制與競爭4向量歸一化不同的向量有長短和方向區別，向量歸一化的目的是將向量變成方向不變長度為1的單位向量。單位向量進行比較時，只需比較向量的夾角。X向量的歸一化：

競爭學習原理（規則）競爭學習采用的規則是勝者為王，該算法可分為3個步驟。得到：(1)向量歸一化將自組織網絡中的當前輸入模式向量X和競爭層中各神經元對應的內星權向量Wj(j=1,2,…m)全部進行歸一化處理。(2)尋找獲勝神經元此式看出，欲兩單位向量的歐式距離最小，須使兩向量的點積最大。即因此，求最小歐式距離的問題就轉化為按此式求最大點積的問題，而且權向量與輸入向量的點積正是競爭層神經元的凈輸入。(3)網絡輸出與權值調整勝者為王競爭學習算法規定，獲勝神經元輸出為1，其余輸出為零。即只有獲勝神經元才有權調整其權向量，調整后權向量為式中為學習率，一般其值隨著學習的進展而減小。可以看出，當時，對應神經無的權值得不到調整，其實質是“勝者”對它們進行了強側抑制，不允許它們興奮。應注意，歸一化后的權向量經過調整后得到的新向量不再是單位向量，需要重新歸一化。步驟（3）完成后回到步驟（1）繼續訓練，直到學習率衰減到零。二、自組織特征映射（SOM）神經網絡1、SOM網絡的生物學基礎

生物學研究表明：人的大腦皮層中，存在許多不同功能的神經網絡區域，每個功能區域完成各自的特定功能，如視覺、聽覺、語言理解和運動控制等等。當人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定區域興奮。每個區域有若干神經元組成，當該區域興奮時，總是以某一個神經元（細胞）為興奮中心，呈現出墨西哥帽（MexicanHat）式興奮分布。

1981年芬蘭學者kohonen提出一個稱為自組織特征映射（SelfOrganizationFeatureMap-SOM或SOFM）網絡，前述大腦神經細胞興奮規律等，在該網絡中都得到了反應。網絡區域中的這種興奮與抑制規律，將依據外界輸入環境的不同，神經元（細胞）要靠競爭機制來決定勝負。大腦的這種區域性結構，雖有遺傳因素，但，各區域的功能大部分是后天通過環境的適應和學習得到的，這就是神經網絡的自組織（selforganization）特征.1、SOM網絡的生物學基礎2、SOM網絡的拓撲結構與權值調整域2.1拓撲結構

SOM網絡共有兩層，輸入層模擬感知外界輸入信息的視網膜。輸出層模擬做出響應的大腦皮層。輸出層也是競爭層，網絡拓撲結構形式常見有一維線陣和二維平面陣。網絡實現將任意維輸入模式在輸出層映射成一維離散圖形。網絡實現將任意維輸入模式在輸出層映射成二維離散圖形。SOM二維平面陣結構3、SOM網絡的運行原理與學習算法SOM網絡的運行原理

SOM網絡表現為：網絡隨機輸入模式時，對某個特定的輸入模式，輸出層會有某個節點產生最大響應而獲勝。按生物區域神經興奮機制，獲勝神經元對其鄰近神經元存在一種側抑制（競爭）機制。

SOM網絡的側抑制方式是：以獲勝神經元為中心權值調整量最強，且由近及遠地逐漸遞減程度不同的調整權向量直到抑制。理論上按墨西哥帽分布調整權值，但其計算上的復雜性影響了網絡訓練的收斂性。因此在SOM網的應用中常采用與墨西哥帽函數類似的簡化函數或其他一些方式（如優勝域）。以獲勝神經元為中心設定一個鄰域——優勝域。優勝鄰域內的所有神經元均按其離開獲勝神經元的距離遠近不同程度地調整權值。優勝鄰域開始可定義得較大，但其大小隨著訓練次數的增加不斷收縮，最終收縮到半徑為零。SOM網絡的學習算法

SOM網絡采用的學習算法稱Kohonen算法，是在勝者為王算法基礎上加以改進而成。其主要區別在于調整權向量的側抑制方式不同。勝者為王算法中，獲勝神經元對周圍神經元的抑制是“封殺”式的（只獲勝神經調整權向量，周圍其它無權調整）

。當輸入模式的類別改變時，獲勝節點也會改變。獲勝節點對周圍的節點因側抑制作用也產生較大的響應，于是，獲勝節點及其優勝鄰域內的所有節點所連接的權向量均向輸入向量的方向作程度不同的調整。網絡通過自組織方式，用大量訓練樣本調整網絡的權值，最后使輸出層各節點成為對特定模式類敏感的神經元，對應的內星權向量成為各輸入模式類的中心向量。并且當兩個模式類的特征接近時，代表這兩類的節點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布情況的有序特征圖。

Kohonen算法采用優勝域思想，模擬生物區域神經興奮競爭機制。3、SOM網絡的運行原理與學習算法Kohonen算法（1）初始化

給定學習率初值η(0)，（0<η(0)<1）；確定初始優勝（鄰）域Nj*(0)的初值；一般用半徑表示，可取競爭層陣列幅度的1/3~1/2,甚至可覆蓋整個競爭層。對各權向量賦隨機小數并進行歸一化，得:（2）接受輸入

從訓練集中隨機選取一個輸入模式進行歸一化處理，得:（3）尋找獲勝節點計算與的點積，j=1,2,…m，得到點積最大的獲勝節點j*；如若輸入模式未歸一化，可計算歐式距離，找出距離最小的為獲勝節點j*。（4）調整權值以j*為中心，對優勝域Nj*(t)內的所有節點調整權值：（6）更新鄰域Nj*(t)及學習率η(t)

Nj*(t)=INT[Nj*(0)(1-t/T)]t——當前學習次數；T——預先設定的最大訓練次數.η(t)=η(0)[1-t/T]——網絡在t時刻的學習率.

Nj*(t)和η(t)不限于上述形勢，也有其他形式。（5）檢查總模式數（P）是否全部參與了學習，否則返（2）Kohonen算法

Nj*(t)可以說是墨西哥帽函數的一種具體體現形勢，更新原則是使鄰域不斷縮小，這樣輸出平面上相鄰神經元對應的權向量之間既有區別又有相當的相似性，從而，保證當獲勝節點對某一類模式產生最大響應時，其臨近節點也能產生較大的響應。鄰域的形狀可以是圓、正方形或六邊形等。當鄰域是半徑為d圓時,鄰域中的神經元描述為:若25個神經元排列成5×5二維格柵拓撲結構,第13神經的指定優勝域半徑的區域內神經元為:d=1d=2Kohonen算法（7）令t=t+1,返回步驟（2）（8）結束檢查

判斷η(t)是否衰減到某預定精度或判斷t=T.Kohonen算法Kohonen學習算法程序流程4.2.4SOM網絡的功能SOM網絡的功能特點之一是：保序映射，即能將輸入空間的樣本模式類有序地映射在輸出層上。例動物屬性特征映射1989年Kohonen給出一個SOM網的著名應用實例，即把不同的動物按其屬性映射到二維輸出平面上，使屬性相似的動物在SOM網輸出平面上的位置也相近。訓練集選了16種動物，每種動物用一個29維向量來表示。前16個分量構成符號向量（不同的動物進行16取1編碼），后13個分量構成屬性向量，描述動物的13種屬性的有或無（用1或0表示）。16種動物的屬性向量（29維向量的后13個分量）動物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿0000000111111111毛0000000111111111蹄0000000000000111動物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛鬃毛0000000000000110羽毛1111111000000000獵0000111101111000跑0000000011011110飛1001111000000000泳0011000000000000

SOM網輸出平面上有10×10個神經元，16個動物模式輪番輸入訓練，最后輸出平面呈現16種動物屬性特征映射，屬性相似的挨在一起，實現了特征的有序分布。16種動物的屬性向量（29維向量的后13個分量）10×10神經元X向量（29維）前16個分量（16取1，表達動物種類。）后13個分量（表達動物屬性）鴨鵝鴿母雞馬斑馬牛隼狼虎獅貓狗狐貓頭鷹鷹動物屬性特征映射

SOM網的功能特點之二是數據壓縮。

將高維空間的樣本在保持拓撲結構不變的條件下投影到低維空間。如上例中輸入樣本空間為29維，通過SOM網后壓縮為二維平面的數據。

SOM網的功能特點之三是特征抽取。（規律的發現）

在高維模式空間，很多模式的分布具有復雜的結構，從數據觀察很難發現其內在規律。當通過SOM網映射到低維輸出空間后，其規律往往一目了然，實現某種特征抽取的映射。即高維空間的向量經過特征抽取后可以在低維特征空間更加清晰地表達，因此映射的意義不僅僅是單純的數據壓縮，更是一種規律發現。如上例29維映射到二維后，相近屬性的動物實現了聚類分布的特點。

SOM網有許多應用實例：解決旅行商最優路經問題，皮革外觀效果分類等。SVM支持向量機

支持向量機(SupportVectorMachine,SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。支持向量機方法是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力。SVM支持向量機

SVM有如下主要幾個特點：(1)非線性映射是SVM方法的理論基礎,SVM利用內積核函數代替向高維空間的非線性映射；(2)對特征空間劃分的最優超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心；(3)支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量。(4)SVM是一種有堅實理論基礎的新穎的小樣本學習方法。它基本上不涉及概率測度及大數定律等,因此不同于現有的統計方法。從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的“轉導推理”,大大簡化了通常的分類和回歸等問題。SVM支持向量機

(5)SVM的最終決策函數只由少數的支持向量所確定,計算的復雜性取決于支持向量的數目,而不是樣本空間的維數,這在某種意義上避免了“維數災難”。(6)少數支持向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現在:①增、刪非支持向量樣本對模型沒有影響;②支持向量樣本集具有一定的魯棒性;③有些成功的應用中,SVM方法對核的選取不敏感SVM支持向量機——線性分類器

假定大小為n

的訓練樣本集{(xi,yi),i=…,n

},由二類別組成,如果xi∈Rd屬于第1類標記為正(yi=1),如果屬于第2類,則標記為負（yi=-1).學習的目標是構造一判別函數,將檢測數據據盡可能正確地分類.針對訓練樣本集為線性和非線性兩種情況分別討論.支持向量機分類器SVM線性可分情況 先考慮二維情況下的線性可分的兩類樣本(○,×),如圖所示,存在很多條可能的分類線能夠將訓練樣本分開。顯然分類線a最好，因為它更遠離每一類樣本，風險小。而其他的分類線離樣本較近，只要樣本有較小的變化，將會導致錯誤的分類結果。因此分類線a是代表一個最優的線性分類器。所謂最優分類線就是要求分類線不但能將兩類無誤地分開，而且要使兩類的分類間隔最大。圖中H是最優分類線，H1和H2分別為過各類樣本中離分類線最近的點且平行于分類線的直線，H1和H2之間的距離叫做兩類的分類空隙或者分類間隔(margin)。 將二維推廣到高維，最優分類線就成為最優分類超平面。abcHH1H2SVM線性分類器線性可分情況 設線性可分樣本集為(xi,yi),i=1,2,…,n,x∈Rd,y∈{+1,-1}是類別號。d維空間中線性判別函數的一般形式為g(x)=wTx+b，則分類超平面方程為：

wTx+b＝0

其中，w為分類超平面的法線，是可調的權值向量；b為偏置，決定相對原點的位置。當兩類樣本是線性可分時，滿足條件：

(wTxi)+b≥+1 yi

=+1 (wTxi)+b≤-1 yi

=-1

Z1線性可分情況如果存在分類超平面使得g(x)=wTx+b=0,wTx+b=0ω1ω2SVM線性分類器點到平面的距離由于w是可以按比例改變的，因此可以縮放w

和b使得在ω1類g(x)=1,和ω2類g(x)=-1，可以用方程表示為

1、存在一個間隔，滿足2、要求滿足SVM線性分類器g(x)=1和g(x)=-1兩條直線間的距離下面是數學計算問題，對于每一個xi,yi（對于ω1為+1,對于ω2為-1）表示相應類的標識器。要使間隔2/||w||最大，實際上就是要||w||最小，即這是一個滿足一系列線性不等式條件的非線性（二次方程）最優化問題。采用拉格朗日函數SVM線性分類器根據Karushi-Kuhn-Tucker條件以上最小化問題滿足以下條件：

={

1,

2,…,

N}T是拉格朗日乘子組成的向量。SVM線性分類器這里可以看出采用||w||2平方的好處，可以將||w||變化成wTw,便于求導運算。數對向量的導數

(wTw)’=2w通過L-函數對w求導計算得SVM線性分類器通過L-函數對b求導計算得拉格朗日乘子只能為0或正數，所以具有最優解的向量參數w是Ns<=N個特征向量的線性組合，即其中i

不為0向量的線性組合這些αi

不為0所對應的向量xi就是支持向量，這也是支持向量機的由來，這些向量點就是取得最大間隔分類兩個超平面上的點。兩個超平面任何一方的支持向量滿足：SVM線性分類器前面我們通過拉格朗日函數對w

和b求導得到兩個約束:把這兩個等式和拉格朗日函數結合起來，可以把w帶入拉格朗日函數L,SVM線性分類器SVM線性分類器現在求拉格朗日乘子i

就是求凸函數L

的最大值，即條件約束SVM線性分類器i為與每個樣本對應的Lagrange

乘子.這是一個不等式約束下二次函數尋優的問題,存在唯一解。

容易證明,解中將只有一部分(通常是少部分)i

不為零,對應的樣本就是支持向量.解上述問題后得到的最優分類函數是.式中的求和實際上只對支持向量進行.b*是分類閾值,可以用任一個支持向量滿足下式中的等號

求得,或通過兩類中任意一對支持向量取中值求得SVM線性分類器++●++++++不可分的類對于不可分的情況，上述討論不再有效，不存在超平面可以把兩類分開而沒有點落在分離帶內如圖所示。++●●●●●●●●●●+++++●SVM線性不可分情況一般訓練特征向量屬于下面三類中的一種：位于分割帶以外的向量。這類向量滿足：落在分離帶內且正確分類的向量圖中方框內的點，滿足：錯誤分類的向量，圖中圓內的點，滿足不等式：SVM線性不可分情況在不可分的情況下，這三種情況通過引進ξi可以統一歸為同一約束問題，即對于第一類問題ξi=0，對于第二類問題0<ξi<=1，對于第三類問題1<ξi,帶內但錯誤在超平面另一側帶內但正確帶外正確SVM線性不可分情況我們希望錯分和落在分離帶內的少,對嚴格的進行放松條件即用滿足作為約束條件，所以ξi稱為松弛變量現在的優化問題描述是：使分類間隔盡量大，但同時保證ξi>0的點盡量少.用數學術語表示等價于對代價函數J的最小化，即其中ξ是參數ξi組成的向量，而I(ξi)代表帶內向量計數，即SVM線性不可分情況參數C是一個正常數，用來控制兩個競爭條件的相對影響，由于I(ξi)是一個不連續的量優化求導困難，所以選擇一個最接近的代價函數進行優化，不可分類的優化問題變成

SVM線性不可分的情況這里的(ξi)實際上帶內點到各自超平面的距離，將上述2個約束條件加入代價函數獲得相應的拉格朗日函數表示為：應用Karush-Kuhn-Tucker條件為有有有SVM線性不可分的情況此外還有約束

相關的Wolfe二元表達式為SVM線性不可分的情況將上面的條件帶入拉格朗日函數并整理可得滿足最大的拉格朗日常數條件約束

，

從上面的分析可以看出支持向量機用于兩類別的分類最后轉化為確定約束條件下拉格朗日乘子αi.公式形式上與線性可分是一致的,所不同的是,這里αi的約束條件是0=<αi

＜=CSVM線性不可分的情況線性不可分的核函數方法 對于線性不可分（非線性）問題：采用一個非線性變換φ(x)把輸入數據映射到一個高維特征空間，然后在高維特征空間進行線性分類，最后再映射回到原空間就成為輸入空間的非線性分類。 考慮到可能存在一些樣本不能被分離超平面分離，增加一個松弛變量ξ，優化問題為： 約束為

其中，C為一常數，起控制對錯分樣本懲罰的程度的作用，實現在錯分樣本的比例與算法復雜度之間的折衷。C值越大，表示主要把重點放在減少分類錯誤上，C值越小，表示主要把重點放在分離超平面，避免過學習問題。線性不可分的核函數方法

Lagrange函數定義如下： 式中，αi≥0,βi≥0。線性不可分的核函數方法

分別對w，b和ξi

求偏微分并置0，得

帶入Lagrange函數，得優化問題的對偶形式： 在約束條件：

下，求下列函數的最大值： 特征空間的維數非常高,在大多數情況下難以直接在特征空間計算最優分類面。支持向量機通過定義核函數(KernelFunction)方法將這一問題轉化到輸入空間進行計算： 假設有非線性映射φ:Rn→H

將輸入空間的樣本映射到高維特征空間H中，當在特征空間構造最優分類面時,訓練算法僅使用特征空間的點積，即φ(xi)Tφ(xj)。所以，只要構造一個函數K()使得K(xi,xj)=φ(xi)Tφ(xj),這樣，在高維空間中實際上只需進行內積計算，不必知道變換φ的形式。

線性不可分的核函數方法根據泛函的有關理論，只要一種函數K(x,xi)滿足Mercer條件，它就對應某一變換空間的內積。滿足Mercer條件的內積函數K(x,xi)稱為核函數，常用的核函數主要有： 高斯徑向基函數：

神經網絡函數：d次多項式：線性不可分的核函數方法

優化問題變為：

約束條件： 求下列函數的最大值 對應的分類函數為：線性不可分的核函數方法…K(x1,x)…K(x2,x)K(xs,x)α1y1α2y2αsysy權值wi=αiyi基于s個支持向量x1,x2,…,Xs的非線性變換（內積）輸入向量xxdx1x2線性不可分的核函數方法支持向量機的學習算法①給出一組輸入樣本xi,i=1,2,…,n及其對應的期望輸出yi∈{+1,-1}；②在約束條件：下求解下面函數的最大值，得到；③計算： 其中xs為一個特定的支持向量；④ 對于待分類向量x，選擇某一特定類型的核函數K(x,xi),計算： 為+1或-1，決定x屬于哪一類。線性不可分的核函數方法-歸納 支持向量機求解實際是二次規劃問題，經典的解法有積極方集法、對偶方法、內點算法等。當訓練樣本增多時，這些算法便面臨“維數災難”將導致無法訓練，近年來許多學者提出了多種算法來解決對偶尋優問題。1、塊算法 選擇一部分樣本構成工作樣本集，在工作樣本集上使用通用的優化算法訓練數據。算法保持了支持向量而剔除其中的非支持向量，并用訓練結果對剩余樣本進行檢驗，將不符合訓練結果的樣本與本次結果的支持向量合并成為一個新的工作樣本集，重新訓練，如此重復直至獲得最優結果。當支持向量的數目遠遠小于訓練樣本數目時，塊算法能夠大大提高運算速度。支持向量機的學習算法2、分解算法 分解算法把問題分解成為固定樣本數的子問題，工作樣本集的大小固定在算法速度可以容忍的限度內，每次只針對工作集中固定樣本個數進行訓練。在對工作集進行優化訓練后，該方法只更新乘子αi

的一個固定大小的子集，其他保持不變。即每當一個新樣本加入到工作集中，工作集中另一個樣本要被移走，即使支持向量的個數超過工作樣本集的大小也不改變工作樣本集的規模。然后再進行優化訓練，重復進行。該方法關鍵是如何選擇一種最優工作集，使得對應的二次規劃子問題的優化成為整個目標函數的改進。支持向量機的學習算法SVM支持向量機序貫最小優化算法（SMO）背景：SMO（Sequentialminimaloptimization）順序最小優化算法是一種用于支持向量機訓練優化算法。由微軟研究院的約翰·普萊特（JohnPlatt）發明于1998年，目前被廣泛使用于SVM的訓練過程中，并在通行的SVM庫libsvm

中得到實現。1998年，SMO算法發表在SVM研究領域內引起了轟動，因為先前可用的SVM訓練方法必須使用復雜的方法，并需要昂貴的第三方二次規劃（QP）工具。而SMO算法較好地避免了這一問題。成為最快的二次規劃優化算法。關于SMO的資料就是他本人寫的《SequentialMinimalOptimization-AFastAlgorithmforTrainingSupportVectorMachines》了。

SMO 該算法是將分解算法推向極致得出的，每次迭代僅優化兩個點的最小子集(工作集中只有兩個樣本)。該算法的優點在于兩個數據點的優化問題可以獲得解析解，從而不需要將QP（QuadraticProgramming）二次規劃優化算法作為算法的一部分。它的工作集的選擇不是傳統的最陡下降法，而是采用啟發式，通過兩個嵌套循環來尋找優化的樣本變量。在外循環尋找不滿足要求的樣本，然后在內循環再選擇另一個樣本，進行一次優化，然后再循環進行下一次優化，直到全部樣本都滿足優化條件。SVM支持向量機序貫最小優化算法（SMO），第一步選取一對αi

和αj

，選取方法使用啟發式方法（后面講）。第二步，固定除αi

和αj

之外的其他參數，確定W極值條件下的αi

，αj

由αi

表示。SMO之所以高效就是因為在固定其他參數后，對一個參數優化過程很高效。序貫最小優化算法（SMO）支持向量機解決非線性分類，最后歸結為一個對偶函數最后的優化問題，原式為：

這個是由拉格朗日方法然后求偏導列式帶入核函數得到的目標函數，受到以下條件約束：s.t.序貫最小優化算法（SMO）序貫最小優化算法（SMO）假設我們選取了初始值

{α1,α2}

滿足了問題中的約束條件。接下來，我們固定{α3,α4,…,αn}，這樣W就是α1,

和α2

的函數。并且

α1

和α2

滿足條件：由于{α1,α