劉園園非線性分類器2023/11/17西安電子科技大學計算機學院引言2023/11/17西安電子科技大學計算機學院2提綱2023/11/17西安電子科技大學計算機學院3分段線性判別函數二次判別函數支持向量機核函數機多層感知器神經網絡分段線性判別函數2023/11/17西安電子科技大學計算機學院4思路：如果兩類可以劃分為線性可分的若干子類，則可以設計多個線性分類器，實現分段線性分類器。聯系：

上一章的多類線性判別函數實際就是分段線性判別函數。分段線性判別函數2023/11/17西安電子科技大學計算機學院5最簡單情況：直接依據樣本到各子類中心的距離判別

更一般情況：對每個子類求一個線性判別函數。分段線性判別函數2023/11/17西安電子科技大學計算機學院6三種設計方法：若已知子類劃分，則可直接用多類線性分類方法只知子類數目，不知子類劃分，用下述錯誤修正法分段線性判別函數2023/11/17西安電子科技大學計算機學院7分段線性判別函數2023/11/17西安電子科技大學計算機學院83.未知子類數目：二次判別函數2023/11/17西安電子科技大學計算機學院9需要d(d+3)/2+1個參數，計算復雜支持向量機2023/11/17西安電子科技大學計算機學院10廣義線性判別函數核函數變換與支持向量機支持向量機的應用與實現算法多類支持向量機用于函數擬合的支持向量機支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院11經過變換，維數大大增加。使得問題很快陷入”維數災難”計算變得非常復雜而不可行樣本變換到高維空間后樣本數目并未增加，在高維空間變得很稀疏，算法會因為病態矩陣等問題無法進行廣義線性判別函數：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院122.核函數變換與支持向量機回顧：

1.線性支持向量機的對偶問題2.判別函數：3.支持向量滿足等式：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院13核函數與支持向量機：支持向量機并沒有直接計算復雜的線性變化，采用了巧妙的迂回方法簡介實現這種變化基本思路：1.特征x進行非線性變換2.優化問題：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院143.決策函數：變換空間的權向量變換空間的特征新的特征空間變換對支持向量機的影響是把兩個樣本在原始空間中的內積變成了新空間的內積(核函數)我們沒有必要知道非線性映射的具體形式，直接設計核函數而不用設計支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院15選擇一個滿足Mercer條件的核函數，就可以構建非線性的支持向量機。可以證明Mercer條件可以放松為如下條件的正定核支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院16對于滿足正定條件的核函數，肯定存在一個從X空間到內積空間H的變化，使得這樣構成的空間在泛函中定義的所謂的可再生核希爾伯特空間RKHS。判別函數支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院17原始的內積變成了核函數，計算和函數的復雜度與計算內積的復雜度沒有差別判別函數：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院18SVM基本思想：通過非線性變換將輸入空間變換到一個高維空間，在這個新空間求解最優分類面即最大間隔分類面非線性變換通過適當的內積核函數實現4.求解一個有約束的二次優化問題，有唯一最優解，這與多層感知器網絡相比是一個優勢。5.問題的計算復雜度由樣本數目決定，不取決與樣本變換特征維數與所采用的核函數支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院19SVM形式上類似與一個神經網絡常用核函數：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院20支持向量機的實現算法：支持向量機(SupportVectorMachines)2023/11/17西安電子科技大學計算機學院21美國郵政USPS手寫數字數據庫，7300訓練樣本，2000個測試樣本，每個樣本16*16的點陣，256維的原始特征支持向量機應用舉例多類支持向量機兩類基于核的支持向量機的正則化框架多類支持向量機：松弛因子項間隔最大化項2023/11/17西安電子科技大學計算機學院22最小化目標函數：最小化目標函數：決策規則：核函數機器大間隔機器與核函數：任何的線性方法，如果把特征進行適當的變換，就可以得到相應的非線性方法。

存在問題：1.樣本維數呈指數增加。2.求解的決策函數復雜度增加，推廣能力差。

支持向量機:大間隔以及核函數

核函數：運算不需要在高維的空間里進行。映射后的空間實際上還是無窮維，推廣能力仍然是一個很大的問題。大間隔：控制最大化分類間隔，在很高維的空間里仍能保持最好的推廣能力2023/11/17西安電子科技大學計算機學院23核Fisher判別2023/11/17西安電子科技大學計算機學院241.回顧線性可分Fisher準則函數(Fisher’sCriterion)2.非線性可分核Fisher判別(KernelFisher’sDiscriminant)2.1非線性變換2.2變換空間的類內離散度和類間離散度基本思想：第i類的第j個樣本核Fisher判別2023/11/17西安電子科技大學計算機學院252.3判別函數w:變換空間里的權值向量帶來的問題：

變化復雜、維數高，直接求解沒有優勢甚至不可行。如何求解？核Fisher判別2023/11/17西安電子科技大學計算機學院26再生核希爾伯特空間理論：任何解都處在F空間中所有訓練樣本張成的子空間中2.4關鍵定理：設：Mercer條件核Fisher判別2023/11/17西安電子科技大學計算機學院27再生核希爾伯特空間理論：任何解都處在F空間中所有訓練樣本張成的子空間中2.4關鍵定理：設：Mercer條件核Fisher判別2023/11/17西安電子科技大學計算機學院28第j類核函數矩陣：所有元素都為的矩陣設：Mercer條件核Fisher判別2023/11/17西安電子科技大學計算機學院29通過Fisher線性判別類似的推導，解是的最大本征值對應的本征向量，最優解的方向是：變換空間的Fisher線性判別準則：對于病態問題通常矩陣N非正定的，因此一種補償的方法，使為正定矩陣用替代算法中的N求解：核Fisher判別2023/11/17西安電子科技大學計算機學院30思考：如何用核方法構造非線性的最小平法誤差方法MSE？通過求得的最優則決策規則：人工神經網絡

感知機多層感知機反向傳播算法徑向基函數網絡總結2023/11/17西安電子科技大學計算機學院31引言2023/11/17西安電子科技大學計算機學院32（人工）神經網絡的基本結構：

大量簡單的計算單元（結點）以某種形式相連接，形成一個網絡，其中的某些因素，如連接強度（權值）、結點計算特性甚至網絡結構等，可依某種規則隨外部數據進行適當的調整，最終實現某種功能。

引言2023/11/17西安電子科技大學計算機學院33三個要素：神經元的計算特性（傳遞函數）網絡的結構（連接形式）學習規則三要素的不同形成了各種各樣的神經網模型人工神經網絡三種類型：前饋型網絡、反饋型網絡、競爭學習網絡前饋型網絡：節點按照一定的層次排列，信號按照單一的方向從一層傳遞到下一層，把每一層看作是對特征進行的一次家加工或變換。(網絡連接是單向的)反饋型網絡：輸入信號作用到神經元節點上，各個節點的輸出又作為輸入反饋到各節點上，形成動態系統，當系統穩定后讀取其輸出。引言2023/11/17西安電子科技大學計算機學院34引言2023/11/17西安電子科技大學計算機學院35發展歷程：引言2023/11/17西安電子科技大學計算機學院36基本的神經元模型McCulloch-PittsModel(1943)(ThresholdLogicUnit-TLU)

引言2023/11/17西安電子科技大學計算機學院37大規模并行、分布式表達和計算本質上可以理解為函數逼近感知器2023/11/17西安電子科技大學計算機學院38感知器（Perceptrons）模型：感知器2023/11/17西安電子科技大學計算機學院39等價表示：感知器2023/11/17西安電子科技大學計算機學院40感知器學習算法：訓練數據：權重：感知器2023/11/17西安電子科技大學計算機學院41初始化：迭代：感知器2023/11/17西安電子科技大學計算機學院42學習算法收斂性：對線性可分的數據有下面的定理感知器2023/11/17西安電子科技大學計算機學院43對應于線性判別函數算法的問題：對線性不可分的數據，算法不收斂！一個解決方案：

多層感知器，非線性分類器。多層感知器2023/11/17西安電子科技大學計算機學院44多層感知器（MultilayerPerceptrons）結構多層感知器2023/11/17西安電子科技大學計算機學院45激活函數(activationfunction)符號函數(不可微)Sigmoid函數(可微)多層感知器2023/11/17西安電子科技大學計算機學院46多層感知機的一致逼近性定理(Funahashi(1989),Hornik(1989),Stinchcombe&White(1989),Hecht(1989))：具有一個隱含層的感知機，可以在閉區間上一致逼近任意連續函數。只要增加網絡隱單元個數，就能提高逼近精度。因此，復雜的網絡可以實現訓練數據集上的零錯誤率分類器。多層感知器2023/11/17西安電子科技大學計算機學院47例子(XOR問題)問題的提出以及重要性：1956-1958年Rosenblatt提出感知器，是為了實現另一種形式（模擬）的計算機。與數字計算機形成鮮明對照。數字計算機是用邏輯門電路實現的。邏輯門電路的設計：AND,OR,NOT;實際上，數字計算機的所有邏輯電路都是用XOR門實現的。XOR是通用門(universallogicgate)：任何一個邏輯電路都可以只用XOR門來實現（因為用XOR可以實現AND、OR、NOT）。而AND,OR,NOT都不是通用門。能否實現XOR關系到學習機的“學習”能力，若連XOR都實現不了，更不用談實現計算機。多層感知器2023/11/17西安電子科技大學計算機學院48感知器不能解決。多層感知器2023/11/17西安電子科技大學計算機學院49兩個隱單元的三層感知機解決XOR問題。多層感知器2023/11/17西安電子科技大學計算機學院50XOR真值表多層感知器2023/11/17西安電子科技大學計算機學院51解決XOR問題多層感知器2023/11/17西安電子科技大學計算機學院52多層感知機把輸入空間變換到由其隱層輸出所張成的空間，然后在這個空間中進行線性分類。與Bayes決策的關系：對兩類問題[0，1]，采用最小均方誤差訓練時，多層感知機的輸出是Bayes后驗概率的估計。多層感知器2023/11/17西安電子科技大學計算機學院53式中第二項與權值無關，因而最小化均方誤差等效于最小化式中第一項，即網絡輸出與樣本后驗概率之間的平方誤差在所有可能樣本上的數學期望。多層感知器2023/11/17西安電子科技大學計算機學院54結論：?當訓練樣本無窮多時，以均方誤差最小為目標訓練的神經網絡的輸出在統計意義上是對樣本后驗概率的最小均方誤差估計。反向傳播算法2023/11/17西安電子科技大學計算機學院55多層感知機的中間隱層不直接與外界連接，其誤差無法估計。反向傳播算法

?從輸入層經隱層逐層正向計算各單元的輸出；?

由輸出誤差逐層反向計算隱層各單元的誤差，并用此誤差修正前層的權值。反向傳播算法2023/11/17西安電子科技大學計算機學院56多層感知器的例子和符號反向傳播算法2023/11/17西安電子科技大學計算機學院57多層感知器符號：第層第i個神經元的輸出：Sigmoid傳遞函數：反向傳播算法2023/11/17西安電子科技大學計算機學院58最小平方誤差（LeastSquare）準則平方誤差：最速下降法：反向傳播算法2023/11/17西安電子科技大學計算機學院59Least-Mean-Square（LMS）準則第t步只用當前誤差：反向傳播算法2023/11/17西安電子科技大學計算機學院60準則的選用：通常用LMS穩定，計算量比LS??；LMS的最優解的數學期望收斂到LS的最優解收斂速度快反向傳播算法2023/11/17西安電子科技大學計算機學院61BP算法反向傳播算法2023/11/17西安電子科技大學計算機學院62BP算法反向傳播算法2023/11/17西安電子科技大學計算機學院63

的計算LMS準則Sigmoid函數導數

反向傳播算法2023/11/17西安電子科技大學計算機學院64

的計算

對于輸出層(),是當前輸出與期望輸出之誤差對權值的導數對中間層，是輸出誤差反向傳播到該層的誤差對權值的導數。

反向傳播算法2023/11/17西安電子科技大學計算機學院65改進：如

時變，加記憶項，網絡結點可剪裁，等等。反向傳播算法2023/11/17西安電子科技大學計算機學院66多層感知器2023/11/17西安電子科技大學計算機學院67多層感知器

2023/11/17西安電子科技大學計算機學院68用多層感知器網絡實現模式識別多層感知器2023/11/17西安電子科技大學計算機學院69神經網絡結構的選擇神經元的傳遞函數

----通常選Sigmoid函數網絡結構

----通常三層（1個隱層）即可滿足常見任務需求，隱層節點數目？連接權值

----通常采用

BP算法學習過學習（over-fitting）與欠學習（under-fitting）問題隱層節點數目：根據具體問題進行試探選擇據對問題的先驗知識去精心地設計隱層節點的層數和節點數目用算法來推測適當的隱層節點數目多層感知器2023/11/17西安電子科技大學計算機學院70

過擬合現象：

增加隱單元個數

訓練數據分類正確率測試數據正確率提高

識別正確率與隱單元個數有很大關系！訓練數據分類正確率提高？？多層感知器2023/11/17西安電子科技大學計算機學院71其他類型的人工神經網絡2023/11/17西安電子科技大學計算機學院72其他類型神經網絡：徑向基函數（RBF）網絡Hopfield網絡：反饋型神經網絡自組織映射網絡：競爭學習的神經網絡徑向基函數網絡2023/11/17西安電子科技大學計算機學院73徑向基函數