第9章神經(jīng)網(wǎng)絡模式識別9.1神經(jīng)網(wǎng)絡的根本要素9.2前饋神經(jīng)網(wǎng)絡9.3自組織特征映射神經(jīng)網(wǎng)絡9.4支持向量機9.5神經(jīng)網(wǎng)絡模式識別習題9.1神經(jīng)網(wǎng)絡的根本要素9.1.1人工神經(jīng)元模型人工神經(jīng)元是神經(jīng)網(wǎng)絡的根本處理單元，是對生物神經(jīng)元的簡化與模擬，單個的神經(jīng)元模型如圖9-1所示。圖9-1單個人工神經(jīng)元模型人工神經(jīng)元是一個多輸入、單輸出的非線性元件，其輸入輸出關系可表示為(9-1)其中:u1,u2,…,un是從外部環(huán)境或其他神經(jīng)元傳來的輸入信號;k1,k2,…,kn是對應于輸入的連接權(quán)值;θ是一個閾值;函數(shù)g:R→R為傳遞函數(shù),也稱為激活函數(shù),表示神經(jīng)元的輸出。常用的三種根本激活函數(shù)如下:(1)閾值型函數(shù)。常用的閾值型函數(shù)有階躍函數(shù)和符號函數(shù)。階躍函數(shù)的表達式為(9-2)符號函數(shù)的表達式為(9-3)(2)分段線性函數(shù)。函數(shù)表達式為(9-4)(3)Sigmoid函數(shù)。如圖9-2所示,函數(shù)表達式為(9-5)或(9-6)圖9-2Sigmoid函數(shù)示意圖(a)取值在(0,1)內(nèi);(b)取值在(－1,1)內(nèi)神經(jīng)網(wǎng)絡結(jié)構(gòu)神經(jīng)網(wǎng)絡是由大量的人工神經(jīng)元廣泛互連而成的網(wǎng)絡。根據(jù)網(wǎng)絡的拓撲結(jié)構(gòu)不同,神經(jīng)網(wǎng)絡可分為層次型網(wǎng)絡和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡。在層次型網(wǎng)絡模型中,神經(jīng)元按層次結(jié)構(gòu)分成假設干層順序相連。網(wǎng)狀結(jié)構(gòu)網(wǎng)絡又可稱為相互結(jié)合型網(wǎng)絡,在這種模型中,任意兩個神經(jīng)元之間都可能存在連接,網(wǎng)絡從某一個狀態(tài)開始,經(jīng)過假設干次的變化,逐漸趨于某一穩(wěn)定狀態(tài)。常見的層次型網(wǎng)絡有前饋網(wǎng)絡和反響網(wǎng)絡,下面簡單介紹這兩種神經(jīng)網(wǎng)絡的根本結(jié)構(gòu)。1.前饋網(wǎng)絡前饋網(wǎng)絡中神經(jīng)元分層排列,網(wǎng)絡由輸入層、中間層(也稱隱含層)、輸出層組成,每一層的各神經(jīng)元只能接受前一層神經(jīng)元的輸出,作為自身的輸入信號。根據(jù)是否有中間層,前饋網(wǎng)絡分為單層前饋網(wǎng)絡和多層前饋網(wǎng)絡。常用的前饋網(wǎng)絡有感知器、BP網(wǎng)絡、RBF網(wǎng)絡等。單層前饋網(wǎng)絡沒有中間層。圖9-3給出了輸入、輸出均為四節(jié)點的單層前饋網(wǎng)絡。由于輸入層只接受外界輸入,無任何計算功能,因此輸入層不納入層數(shù)的計算中。“單層〞是指具有計算節(jié)點的輸出層。圖9-3單層前饋神經(jīng)網(wǎng)絡多層前饋網(wǎng)絡有一個或多個隱含層。隱含層節(jié)點的輸入和輸出都是對網(wǎng)絡內(nèi)部的,隱含層節(jié)點具有計算功能,所以隱含層納入層數(shù)的計算中。多層前饋神經(jīng)網(wǎng)絡的結(jié)構(gòu)如圖9-4所示。圖9-4多層前饋神經(jīng)網(wǎng)絡2.反響網(wǎng)絡反響網(wǎng)絡和前饋網(wǎng)絡的不同在于,反響網(wǎng)絡的輸出層接有反響環(huán)路,將網(wǎng)絡的輸出信號回饋到輸入層。一個無隱含層的反響網(wǎng)絡如圖9-5所示,網(wǎng)絡由單層神經(jīng)元構(gòu)成,每個神經(jīng)元都將其輸出反響到其他所有神經(jīng)元的輸入。圖9-5中所描述的結(jié)構(gòu)不存在自反響環(huán)路,即沒有輸出神經(jīng)元將輸出反響到其本身輸入的情況。單層反響網(wǎng)絡有多種,其中最典型的是Hopfield網(wǎng)絡。圖9-5單層反響神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡的學習方法神經(jīng)網(wǎng)絡信息處理包括學習和執(zhí)行兩個階段。(1)學習階段也稱為訓練階段,給定訓練樣本集,按一定的學習規(guī)那么調(diào)整權(quán)系數(shù),使某種代價函數(shù)到達最小,也就是使權(quán)系數(shù)收斂到最優(yōu)值。(2)執(zhí)行階段是指,利用學習階段得到的連接權(quán)系數(shù),對輸入信息進行處理,并產(chǎn)生相應的輸出。根據(jù)學習過程的組織與管理,神經(jīng)網(wǎng)絡的學習可分為兩大類:①有教師(有監(jiān)督)學習。對每一個輸入訓練樣本,都有一個期望得到的輸出值(也稱教師信號),將它和實際輸出值進行比較,根據(jù)兩者之間的差值不斷調(diào)整網(wǎng)絡的連接權(quán)值,直到差值減小到預定的要求。②無教師(無監(jiān)督、自組織)學習。網(wǎng)絡的學習完全是一種自我調(diào)整的過程,不存在教師信號。輸入模式進入網(wǎng)絡后,網(wǎng)絡按照預先設定的某種規(guī)那么反復地自動調(diào)整網(wǎng)絡結(jié)構(gòu)和連接權(quán)值,使網(wǎng)絡最終具有模式分類等功能。假設yj為神經(jīng)元j的輸出,xi為神經(jīng)元i對神經(jīng)元j的輸入,wij是神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值,Δwij為連接權(quán)值wij的修正值,即wij(n+1)=wij(n)+Δwij。下面介紹8種常用的學習規(guī)那么。1.Hebb學習規(guī)那么Hebb學習規(guī)那么是假定兩個神經(jīng)元同時興奮時,它們之間的連接強度應該加強。連接權(quán)值的學習規(guī)那么按下式計算:(9-7)其中,η為學習速率參數(shù)。2.感知器的學習規(guī)那么感知器的學習規(guī)那么屬于有教師訓練,連接權(quán)值的學習規(guī)那么按下式計算:(9-8)其中:dj為神經(jīng)元j的期望響應;dj－yj為誤差信號,一般用rj表示,也稱為學習信號。3.δ學習規(guī)那么δ學習規(guī)那么是由輸出值和期望值之間的最小均方誤差推導出來的。均方誤差定義為(9-9)從而(9-10)要使期望誤差最小,要求在負梯度方向上改變,所以取(9-11)其中,η為學習速率參數(shù)。一般地,學習速率參數(shù)η選得很小。4.Widrow-Hoff學習規(guī)那么Widrow-Hoff學習規(guī)那么也是使期望輸出值和實際輸出值之間平方誤差最小。連接權(quán)值的學習規(guī)那么按下式計算:(9-12)(9-13)該規(guī)那么可以看做δ規(guī)那么的特殊情況。5.相關學習規(guī)那么相關學習規(guī)那么為(9-14)這是Hebb規(guī)那么的特殊情況,但相關規(guī)那么是有教師的,要求權(quán)初始化wij=0。6.Winner-Take-All(勝者為王)學習規(guī)那么第m層中有一個神經(jīng)元有最大響應,這個神經(jīng)元被宣布為獲勝者,那么(9-1５)其中,α是小的學習常數(shù)。7.內(nèi)星和外星學習規(guī)那么內(nèi)星和外星學習規(guī)那么按下式計算：〔內(nèi)星訓練法〕(9-16)〔外星訓練法〕(9-17)8.梯度下降算法梯度下降算法的學習規(guī)那么按下式計算:(9-18)其中,E為誤差函數(shù)。9.2前饋神經(jīng)網(wǎng)絡感知器1.單層感知器網(wǎng)絡如圖9-6所示,單層感知器網(wǎng)絡只含有輸入層和輸出層,輸入層不涉及計算。輸入模式為n維矢量x=(x1,x2,…,xn)T,此時,輸入層包含n個節(jié)點。輸出模式為m個類別ω1,ω2,…,ωm,輸出層有m個輸出節(jié)點y1,y2,…,ym,其中,每個輸出節(jié)點對應一個模式類。輸入節(jié)點i和輸出節(jié)點j的連接權(quán)為wij(i=1,2,…,n;j=1,2,…,m)。輸出層第j個神經(jīng)元的輸出為(9-19)其中,傳遞函數(shù)f采用符號函數(shù)。假設yj=1,那么將輸入模式x判屬ωj類;假設yj=－1,那么輸入模式x不屬于ωj類。感知器的學習規(guī)那么為式(9-8)。圖9-6單層感知器網(wǎng)絡結(jié)構(gòu)圖2.多層感知器網(wǎng)絡單層感知器網(wǎng)絡只能解決線性可分問題。在單層感知器網(wǎng)絡的輸入層和輸出層之間參加一層或多層感知器單元作為隱含層,就構(gòu)成了多層感知器網(wǎng)絡。多層感知器網(wǎng)絡可以解決線性不可分的輸入向量的分類問題。9.2.2BP網(wǎng)絡BP網(wǎng)絡是采用誤差反向傳播(BackPropagation,BP)算法的多層前饋網(wǎng)絡,其中,神經(jīng)元的傳遞函數(shù)為S型函數(shù),網(wǎng)絡的輸入和輸出是一種非線性映射關系。BP網(wǎng)絡的學習規(guī)那么采用梯度下降算法。在網(wǎng)絡學習過程中,把輸出層節(jié)點的期望輸出(目標輸出)與實際輸出(計算輸出)的均方誤差,逐層向輸入層反向傳播,分配給各連接節(jié)點,并計算出各連接節(jié)點的參考誤差,在此根底上調(diào)整各連接權(quán)值,使得網(wǎng)絡的期望輸出與實際輸出的均方誤差到達最小。第j個樣本輸入到網(wǎng)絡時,均方誤差為(9-20)其中:n0為輸出層的節(jié)點數(shù);ei,j表示輸入第j個樣本時,輸出層第i個節(jié)點的期望輸出值yi,j與實際輸出值間的差值,即。連接權(quán)的調(diào)整主要有逐個處理和成批處理兩種方法。逐個處理,是指每輸入一個樣本就調(diào)整一次連接權(quán)。成批處理,是指一次性輸入所有訓練樣本,計算總誤差,然后調(diào)整連接權(quán)。采用逐個處理的方法,并根據(jù)誤差的負梯度修改連接權(quán)值,BP網(wǎng)絡的學習規(guī)那么為(9-21)其中:k為迭代次數(shù);W(r)p,k表示第r層(從第一個隱含層開始r=1,輸入層r=0)的連接權(quán)陣W(r)的第p行,即W(r)p,k是由第r－1層各節(jié)點到第r層的第p個節(jié)點所有連接權(quán)值組成的一個行向量;η為學習步長,0<η<1;Ek為第k次迭代的均方誤差。設BP網(wǎng)絡有l(wèi)個隱含層,由神經(jīng)元的輸入與輸出關系,有(9-22)其中:為輸出層的傳遞函數(shù);表示最后一個隱含層各節(jié)點到輸出層第i個節(jié)點的加權(quán)和;nl表示最后一個隱含層的節(jié)點數(shù);wj,i表示最后一個隱含層的第j個節(jié)點和輸出層的第i個節(jié)點之間的權(quán)值;表示第l隱含層的第j個節(jié)點的輸出。下面討論各層連接權(quán)陣的計算。1.輸出層(第l+1層)輸出層連接權(quán)陣W(l+1)的第p行W(l+1)p,k=(w1,p,w2,p,…,wnl,p)的調(diào)整方程為(9-23)其中(9-24)為第k次迭代中輸出的局部誤差,取決于輸出誤差ep,k和輸出層傳遞函數(shù)的偏導；為第l隱含層各神經(jīng)元的輸出。2.隱含層(第r層,r=1,2,…,l)第r－1層各節(jié)點到第r(r=1,2,…,l)層第p個節(jié)點的加權(quán)和為(9-25)其中:nr－1表示第r－1隱含層的節(jié)點數(shù);

表示第r－1隱含層的第j個節(jié)點和第r隱含層的第p個節(jié)點之間的權(quán)值;表示第r－1隱含層的第j個節(jié)點的輸出。對第r(r=1,2,…,l)隱含層,連接權(quán)陣W(r)的第p行的調(diào)整方程為(9-26)其中，為第k次迭代中第r隱含層的局部誤差;為r－1第隱層各神經(jīng)元的輸出。下面分析的迭代方法：(9-27)其中:fr(·)為第r隱含層的傳遞函數(shù);f′r(·)為fr(·)的導數(shù)。BP網(wǎng)絡的誤差反向傳播為(9-28)因此,(9-29)逐個處理的BP算法訓練步驟如下:(1)初始化。根據(jù)實際問題,設計網(wǎng)絡連接結(jié)構(gòu),例如,輸入變量和輸出變量個數(shù)、隱含的層數(shù)、各層神經(jīng)元的個數(shù),并隨機設置所有的連接權(quán)值為任意小值。假設輸入變量為n個,輸出變量為m個,每個訓練樣本的形式為(x1,x2,…,xn;y1,y2,…,ym),其中,y=(y1,y2,…,ym)是輸入為x=(x1,x2,…,xn)時的期望輸出。(2)輸入一個樣本,用現(xiàn)有的權(quán)值計算網(wǎng)絡中各神經(jīng)元的實際輸出。(3)利用式(9-24)和式(9-29)計算局部誤差ε(i)p,k(i=1,2,…,l,l+1),l為隱含層的個數(shù)。(4)根據(jù)遞推式(9-23)和式(9-26)計算ΔW(i)p,k(i=1,2,…,l,l+1),并更新相應的權(quán)值。有時為了加快網(wǎng)絡的收斂速度,考慮過去權(quán)值變化的影響,使權(quán)值變得平滑些,可增加一個動量項,即(9-30)其中,α稱為動量常數(shù)。(5)輸入另一樣本,轉(zhuǎn)步驟(2)。訓練樣本是隨機輸入的,并且要求把訓練集中所有樣本都加到網(wǎng)絡上,直到網(wǎng)絡收斂且均方誤差小于給定的閾值,才結(jié)束訓練。此時,固定權(quán)值,網(wǎng)絡就構(gòu)成了一個模式分類器。成批處理時,將全部N個樣本依次輸入,累加N個輸出誤差后對連接權(quán)進行一次調(diào)整,連接權(quán)矩陣各行的調(diào)整方程可表示為(9-31)

【例9.1】隱含層為一層的BP網(wǎng)絡的結(jié)構(gòu)如圖9-7所示。網(wǎng)絡共分為三層:i為輸入層節(jié)點,j為隱含層節(jié)點,k為輸出層節(jié)點。隱含層節(jié)點的激活函數(shù)采用Sigmoid函數(shù):定義網(wǎng)絡的誤差函數(shù)為其中:dk表示網(wǎng)絡的期望輸出;yk表示網(wǎng)絡的實際輸出。圖9-7一個隱含層的BP網(wǎng)絡的結(jié)構(gòu)圖各層連接權(quán)值修正公式如下:(1)隱含層與輸出層:〔2〕輸入層與隱含層其中:η為學習率;δk、δj為修正值;xj′為隱含層節(jié)點j的輸出,即，，BP學習算法是神經(jīng)網(wǎng)絡學習中最常用的學習方法之一,BP網(wǎng)絡被廣泛應用于模式識別、函數(shù)逼近、數(shù)據(jù)壓縮等多個方面。但是,BP算法存在一些缺乏,例如,隱含層數(shù)和隱含層神經(jīng)元數(shù)目通常是通過實驗確定的,缺乏理論依據(jù);有可能收斂到一個局部極小點,得到局部最優(yōu)解;學習算法的收斂速度較慢。徑向基函數(shù)網(wǎng)絡

徑向基函數(shù)(RadialBasisFunction,RBF)網(wǎng)絡的結(jié)構(gòu)與BP網(wǎng)絡類似,它是一個三層前饋網(wǎng)絡,包含1個輸入層、1個隱含層和1個輸出層,其結(jié)構(gòu)如圖9-8所示。圖9-8RBF網(wǎng)絡結(jié)構(gòu)在RBF神經(jīng)網(wǎng)絡中,隱含層單元提供了一系列“函數(shù)〞,這些函數(shù)就稱作為徑向基函數(shù),它是關于中心點對稱的非線性函數(shù)。當輸入模式(向量)傳輸?shù)诫[含層時,這些徑向基函數(shù)構(gòu)成了輸入模式的一個“基〞。當RBF的中心點確定后,映射關系就確定了,將輸入向量直接映射到隱含層空間,其中不需要連接權(quán)。隱含層空間到輸出層空間為線性映射,也就是說,網(wǎng)絡的輸出是隱含層單元輸出的線性加權(quán)和:(9-32)其中:wij為隱含層中節(jié)點i到輸出層節(jié)點j的連接權(quán)值,有監(jiān)督學習時,可利用δ學習規(guī)那么反向修改權(quán)值;L為徑向基函數(shù)的個數(shù),即隱含層節(jié)點數(shù);bj為輸出層節(jié)點j的偏移(閾值);zi為隱含層中節(jié)點i的輸出:(i=1,2,…,L)(9-33)這里,x=(x1,x2,…,xn)T∈Rn為輸入信號;φi為一個正的徑向基函數(shù),其中心矢量為ui∈Rn,分布寬度為αi>0(形狀參數(shù))。BF函數(shù)有多種形式,例如:(1)高斯核,其函數(shù)表達式為(i=1,2,…,L)(9-34)(2)三角核,其函數(shù)表達式為(i=1,2,…,L)(9-35)(3)雙指數(shù)核,其函數(shù)表達式為(i=1,2,…,L)(9-36)最常用的RBF函數(shù)形式是高斯核函數(shù)。網(wǎng)絡學習時,RBF函數(shù)的中心矢量ui和形狀參數(shù)αi也參與學習修正。中心矢量修正的方法主要有自組織特征映射方法和K均值聚類方法。RBF函數(shù)的形狀參數(shù)αi應根據(jù)樣本的特性自適應地選擇。假設αi取得較大,那么隱含層中節(jié)點i能感受較大范圍內(nèi)的模式,容錯性好,但局部性差;假設αi取得較小,那么容錯性差,但局部性好。理論上而言,RBF網(wǎng)絡和BP網(wǎng)絡一樣可近似任何的連續(xù)非線性函數(shù),二者的主要差異在于各使用不同的傳遞函數(shù)。BP網(wǎng)絡中隱含層單元的傳遞函數(shù)一般為非線性函數(shù),RBF網(wǎng)絡隱含層單元的傳遞函數(shù)是關于中心對稱的徑向基函數(shù)。BP網(wǎng)絡各層單元間通過權(quán)連接,RBF網(wǎng)絡輸入層和隱含層間為直接連接,隱含層到輸出層通過權(quán)連接。9.3自組織特征映射神經(jīng)網(wǎng)絡生理學研究說明,人腦中不同的細胞其作用并不相同,處于空間不同位置的腦細胞區(qū)域有各自的分工,控制著人體不同部位的運動。類似地,處于不同區(qū)域的腦細胞對來自某一方面的或特定的刺激信號的敏感程度也不同。某一外界信息所引起的興奮刺激并不只針對某一個神經(jīng)細胞,而是針對以某一個神經(jīng)細胞為中心的一個區(qū)域內(nèi)各細胞的興奮刺激,并且響應強度在區(qū)域中心最大,隨著與中心距離的增大,強度逐漸減弱,遠離中心的神經(jīng)元反而還要受到抑制。這種特定細胞對特定信號的特別反響能力是由后來的經(jīng)歷和訓練形成的。網(wǎng)絡結(jié)構(gòu)

自組織特征映射神經(jīng)網(wǎng)絡由輸入層和輸出層組成,輸出層也稱為競爭層。其網(wǎng)絡結(jié)構(gòu)如圖9-9所示。輸入層為輸入模式的一維陣列,其節(jié)點數(shù)為輸入模式的維數(shù)。輸入層和輸出層神經(jīng)元間為全互連方式,即所有輸入層節(jié)點到所有輸出層節(jié)點都有權(quán)值連接。輸出層神經(jīng)元按二維陣列形式排列,且相互間也可能存在局部連接,每個神經(jīng)元代表一種輸入樣本。圖9-9自組織特征映射網(wǎng)絡結(jié)構(gòu)圖對于給定的輸入模式,網(wǎng)絡在學習過程中不斷調(diào)整連接權(quán)值,形成興奮中心神經(jīng)元(獲勝神經(jīng)元)j*。在神經(jīng)元j*的鄰域NEj*內(nèi)的神經(jīng)元都在不同程度上得到興奮,而在NEj*以外的神經(jīng)元都被抑制。這個鄰域NEj*可以是任意形狀,如正方形、六邊形。區(qū)域NEj*的大小是時間t的函數(shù),用NEj*(t)表示。隨著時間t的增大,NEj*(t)的面積逐漸減小,最后只剩下一組神經(jīng)元或一個神經(jīng)元,反映了某一類輸入模式的特性。采用正方形的鄰域形狀圖如圖9-10所示。圖9-10不同時刻特征映射的拓撲鄰域(t0<t1<t2)自組織特征映射算法設自組織特征映射網(wǎng)絡的輸入模式x=(x1,x2,…,xn)T,輸出層每個節(jié)點(神經(jīng)元)對應一個權(quán)向量Wj=(w1j,w2j,…,wnj)T,wij是輸入節(jié)點i到輸出節(jié)點j的連接權(quán)值。輸入一個模式x時,將其和輸出層每個節(jié)點的權(quán)向量都進行比較,然后對距離最近的節(jié)點及其鄰域中的節(jié)點的權(quán)向量進行修正。Kohonen給出了自組織特征映射算法,具體過程如下:(1)初始化權(quán)值。初始化從n個輸入節(jié)點到m個輸出節(jié)點的權(quán)值,取值為小的隨機數(shù),設定鄰域的半徑的初始值。(2)提交t時刻的輸入模式:x(t)=(x1(t),x2(t),…,xn(t))T。(3)計算輸入模式到所有輸出節(jié)點的距離:(9-37)其中:xi(t)是t時刻輸入節(jié)點i的輸入;wij(t)是t時刻輸入節(jié)點i到輸出節(jié)點j的連接權(quán)值;dj為輸入模式到輸出節(jié)點j的距離。(4)選擇具有最小距離的輸出節(jié)點j*:(9-38)(5)更新節(jié)點j*及其鄰域NEj*(t)中的節(jié)點的權(quán)值:(1≤i≤n,j∈NEj*(t))(9-39)其中:η(t)為增益項,0<η(t)<1,η(t)是時間t的遞減函數(shù);NEj*(t)為節(jié)點j*的鄰域。(6)假設還有輸入樣本數(shù)據(jù),令t=t+1,那么返回到步驟(2)。在學習過程中,鄰域在初始時可選大些,然后逐步收縮;學習系數(shù)η(t)在初始時可取接近于1.0的常數(shù),然后逐漸變小。SOFM網(wǎng)絡中,輸出層各神經(jīng)元的連接權(quán)向量的空間分布能夠準確反映輸入模式空間的概率分布,這就是SOFM網(wǎng)絡的自組織能力。因此,可以利用SOFM網(wǎng)絡對未知概率分布模式進行學習,由網(wǎng)絡的連接權(quán)向量的空間分布獲得輸入模式的概率分布。自組織特征映射算法屬于非監(jiān)督學習,SOFM網(wǎng)絡也可用于有監(jiān)督的學習。當類別的學習模式x輸入網(wǎng)絡時,仍按式(9-38)選擇獲勝神經(jīng)元j*。如果獲勝神經(jīng)元是輸入模式的正確類別,那么將獲勝神經(jīng)元的連接權(quán)向量向x靠攏的方向調(diào)整,否那么向反方向調(diào)整。調(diào)整方程為(j*是正確類別)(j*不是正確類別)9.4支持向量機統(tǒng)計學習理論是一種建立在小樣本統(tǒng)計學上的理論。小樣本統(tǒng)計學理論指的是依據(jù)有限樣本進行統(tǒng)計推斷。支持向量機(SupportVectorMachine,SVM)是一種基于統(tǒng)計學習理論的機器學習算法,建立在統(tǒng)計學習理論的結(jié)構(gòu)風險最小化原那么之上。針對兩類分類問題,SVM在高維空間中尋找一個超平面作為兩類的分割,以保證最小的分類錯誤率。少數(shù)與超平面最接近的那些訓練樣本稱為支持向量,它們決定了推廣性能。SVM有三個關鍵的概念:分類間隔(margin)、對偶(duality)以及核。線性可分情況SVM從線性可分情況下的最優(yōu)分類開展而來,如圖9-11所示。方點和圓點各代表一類樣本,H為分類線,H1和H2分別為過兩類中距離分類線最近的樣本且平行于分類線的直線,它們之間的距離稱為分類間隔。最優(yōu)分類線就是要求分類線不但能將兩類樣本正確分開,而且使分類間隔最大。圖9-11線性可分情況下的最優(yōu)分類假設存在訓練樣本(xi,yi),i=1,2,…,N,xi∈Rn,yi∈{-1,+1}在線性可分情況下會有一個超平面使得這兩類樣本完全分開。n維空間中線性判別函數(shù)的一般形式為f(x)=〈w,x〉+b,那么超平面描述為(9-40)其中,〈w,x〉是n維向量空間中的兩個向量的內(nèi)積,w是超平面的法向量。判別函數(shù)滿足以下條件:(yi=+1)(yi=－1)將判別函數(shù)進行歸一化,使兩類所有樣本都滿足|f(x)|≥1,那么判別函數(shù)變?yōu)?i=1,2,…,N)(9-41)此時樣本點到超平面的最小距離為,分類間隔等于使使最大等價于使‖w‖2最小。滿足式(9-41)并且使‖w‖2最小的分界面稱為最優(yōu)分界面,H1和H2上的訓練樣本點稱為支持向量。統(tǒng)計學習理論指出:在n維空間中,設樣本分布在一個半徑為R的超球形范圍內(nèi),那么滿足條件‖w‖≤A的正那么超平面構(gòu)成的指示函數(shù)集f(x,w,b)=sgn{〈w,x〉+b}(sgn()為符號函數(shù))的VC維(VapnikChervonenkisDimension)h滿足下式說明的界:(9-42)因此,使‖w‖2最小就變成了求下面的函數(shù)解:最小化：(9-43)使?jié)M足：(9-44)利用Lagrange優(yōu)化方法可以把上面問題轉(zhuǎn)化為其對偶問題:(9-45)使?jié)M足：(9-46)其中,ai為每個樣本對應的Lagrange乘子。這是一個在等式約束和不等式約束下的凸二次優(yōu)化問題,存在唯一解,且解中只有一局部ai不為零,對應的樣本就是支持向量。此時最優(yōu)分類函數(shù)為(9-47)上式求和計算取ai中不為零的值,b可以利用任一支持向量滿足式(9-41)中的等號求得。線性不可分情況對于線性不可分情況,可以在條件中增加松弛項ξi≥0,約束條件為yi(〈w,xi〉+b)≥1－ξi,其中ξi≥0,i=1,2,…,N,此時目標函數(shù)變?yōu)?9-48)其中,C為可調(diào)參數(shù),表示對錯誤的懲罰程度,C越大懲罰越重。上述問題可描述為最大化：(9-49)使?jié)M足:(9-50)非線性SVM問題的根本思想是:通過非線性變換將非線性問題轉(zhuǎn)換為某個高維空間中的線性問題,在變換空間求最優(yōu)分類面。一般地,新空間維數(shù)要高于原空間維數(shù)。這種映射可表示為:將x作變換Φ:Rn→H(H為某個高維特征空間)(9-51)其中,Φi(x)是實函數(shù)。那么可以建立在新空間中的優(yōu)化超平面:(9-52)注意到,對偶問題中只涉及訓練樣本之間的內(nèi)積運算〈xi,xj〉,這種內(nèi)積運算是可以用原空間中的函數(shù)實現(xiàn)的,甚至不需要知道變換的形式。根據(jù)泛函的有關理論,只要一種核函數(shù)K(xi,xj)滿足Mercer條件,它就對應某一變換空間中的內(nèi)積。定義非線性映射Φ:Rn→H,H為高維Hilbert空間,核函數(shù)K(x,y)=〈Φ(x),Φ(y)〉,那么最大間隔非線性支持向量機的目標函數(shù)就變?yōu)?9-53)相應的分類函數(shù)為(9-54)非線性支持向量機的最優(yōu)化問題為最大化：(9-55)使?jié)M足：(9-56)采用不同的內(nèi)積核函數(shù)將形成不同的算法,常用的核函數(shù)有以下幾種:(1)多項式函數(shù),表達式為(c≥0)(9-57)此時,支持向量機是一個q階多項式學習機器。當c>0時,稱它為非齊次多項式核;當c=0時,稱為齊次多項式核。(2)高斯徑向基函數(shù)(RBF),表達式為(9-58)(3)Sigmoid函數(shù),表達式為(9-59)其中,μ>0,c<0。9.5神經(jīng)網(wǎng)絡模式識別人工神經(jīng)網(wǎng)絡由大量結(jié)構(gòu)和功能簡單的處理單元廣泛互連組成,用以模擬人類大腦神經(jīng)網(wǎng)絡的結(jié)構(gòu)和功能。模式識別的研究目標是利用計算機實現(xiàn)人類的識別能力,而人對外界感知的主要生理根底就是神經(jīng)系統(tǒng),因此,根據(jù)人腦生理結(jié)構(gòu)構(gòu)造而成的人工神經(jīng)網(wǎng)絡系統(tǒng)具有模式識別的理論和結(jié)構(gòu)根底。事實上,模式識別是神經(jīng)網(wǎng)絡理論應用最成功的一個方面。目前,被廣泛用于模式識別的神經(jīng)網(wǎng)絡模型包括感知器、BP網(wǎng)絡、徑向基函數(shù)網(wǎng)絡、自組織特征映射網(wǎng)絡和支持向量機等。神經(jīng)網(wǎng)絡模式識別與統(tǒng)計模式識別神經(jīng)網(wǎng)絡模式識別與統(tǒng)計模式識別是模式識別的兩個重要分支,它們之間關系密切。一方面,統(tǒng)計模式識別為神經(jīng)網(wǎng)絡分類器設計提供指導;另一方面,神經(jīng)網(wǎng)絡分類器可以提高統(tǒng)計分類器的性能。傳統(tǒng)的統(tǒng)計模式識別包括Bayes分類器、線性判別函數(shù)、分段線性判別函數(shù)、近鄰分類器、特征提取和聚類分析等內(nèi)容。這些內(nèi)容均可以找到相應的神經(jīng)網(wǎng)絡實現(xiàn)方法。例如,單層感知器網(wǎng)絡實際上就是一種線性分類器,多層感知器網(wǎng)絡那么可看做非線性分類器;自組織特征映射網(wǎng)絡可以較好地完成聚類的任務;神經(jīng)網(wǎng)絡的隱含層具有特征提取的功能。當表征模式的不是特征向量,而是包含特征的原始數(shù)值時,統(tǒng)計模式識別必須解決特征提取和選擇問題。例如,圖像識別中,需要從圖像點陣中提取圖像特征;語音識別中,需要從采樣量化后得到的原始數(shù)據(jù)中提取語音特征。統(tǒng)計模式識別的性能對特征提取和選