1、支持向量機(jī)及應(yīng)用簡(jiǎn)介 水電仿真中心07.4.231機(jī)器學(xué)習(xí)的基本問(wèn)題和方法從給定的函數(shù)集中選擇出能夠最好地逼近系統(tǒng)響應(yīng)的函數(shù)系統(tǒng)（S）學(xué)習(xí)機(jī)器（LM）輸入x輸出y2有指導(dǎo)機(jī)器學(xué)習(xí)的目的是根據(jù)給定的訓(xùn)練樣本，求出對(duì)某系統(tǒng)輸入輸出之間依賴關(guān)系的估計(jì)，使它能夠?qū)ξ粗斎胱鞒霰M可能準(zhǔn)確的預(yù)測(cè)。可以一般地表示為：變量y與x存在一定的未知依賴關(guān)系，即遵循某一未知的聯(lián)合概率F(x,y)（x 和y 之間的確定性關(guān)系可以看作是其特例），有指導(dǎo)機(jī)器學(xué)習(xí)問(wèn)題就是根據(jù)N個(gè)獨(dú)立同分布觀測(cè)樣本在一組函數(shù)f (x,w)中求一個(gè)最優(yōu)的函數(shù) f (x,w0)對(duì)依賴關(guān)系進(jìn)行估計(jì)，使期望風(fēng)險(xiǎn)最小3支持向量機(jī)（SVM）支持向量機(jī)(S

2、urpport Vector Machines)簡(jiǎn)稱SVM，是統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的內(nèi)容，也是最實(shí)用的部分。其核心內(nèi)容是在1995 年左右,由Vapnik和Chervonenkis提出的，目前仍處在不斷發(fā)展階段。4支持向量分類(Classification)5線性分類器6分類面點(diǎn)x0到平面+b=0的距離為7最優(yōu)分類面8最大間隔(margin)分類面方程為支撐面之間的距離叫做分類間隔9線性可分的最優(yōu)分類模型作廣義Lagrange乘子函數(shù)由KKT條件,有10非支持向量的系數(shù)為0 b*也由支持向量求得,事實(shí)上11將 代入目標(biāo)函數(shù)，由對(duì)偶理論知，系數(shù)可由如下二次規(guī)劃問(wèn)題解得給定x的分類結(jié)果特點(diǎn):穩(wěn)定性

3、、魯棒性、稀疏性等12最大間距:由于對(duì)則13線性不可分(軟間隔)14線性不可分的情況引入松弛變量15不可分的解方程subject to作Lagrange函數(shù)16最優(yōu)性條件由KKT條件若若17max系數(shù)的解方程18C不同帶來(lái)的影響19支持向量回歸(Regression)20回歸問(wèn)題線性回歸:給定訓(xùn)練集(xi,yi),找個(gè)線性函數(shù)f(x)=wTx+b,來(lái)擬合數(shù)據(jù)最小二乘法(Least Square)其中 為回歸誤差.記 ,則目標(biāo)函數(shù)可寫(xiě)為解為21最小二乘解的不足:數(shù)值穩(wěn)定性問(wèn)題,增加新數(shù)據(jù)對(duì)解都有影響,為使模型盡量簡(jiǎn)單需進(jìn)行假設(shè)檢驗(yàn).脊回歸(Ridge Regression)數(shù)值穩(wěn)定性較好.還可寫(xiě)

4、為22敏感損失回歸敏感損失函數(shù)(-Insensitive Loss)23損失函數(shù)比較24模型（線性損失）作Lagrange乘子函數(shù)25KKT條件26代入模型得系數(shù)滿足的二次規(guī)劃變量代換：回歸方程：27用二次損失函數(shù)時(shí)，模型為28KKT條件29代入模型得系數(shù)滿足的二次規(guī)劃變量代換：回歸方程：30非線性SVM與核(Kernel)函數(shù)31非線性變換基本思想： 選擇非線性映射(X)將x映射到高維特征空間Z，在Z中構(gòu)造最優(yōu)超平面32對(duì)分類問(wèn)題系數(shù)可由二次規(guī)劃對(duì)回歸問(wèn)題求系數(shù)：回歸方程：33這種變換可能比較復(fù)雜，因此這種思路在一般情況下不易實(shí)現(xiàn)。但是注意到，在上面的對(duì)偶問(wèn)題中，不論是尋優(yōu)函數(shù)還是分類函數(shù)都只涉及訓(xùn)練樣本之間的內(nèi)積運(yùn)算。這樣，在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí)現(xiàn)的，我們甚至沒(méi)有必要知道變換的形式。我們看到，通過(guò)把原問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題，計(jì)算的復(fù)雜度不再取決于空間維數(shù)，而是取決于樣本數(shù)，尤其是樣本中的支持向量數(shù)。這些特征使有效地對(duì)付高維問(wèn)題成為可能。定義核函數(shù)：34對(duì)分類問(wèn)題系數(shù)可由二次規(guī)劃對(duì)回歸問(wèn)題求系數(shù)：回歸方程：35核函數(shù)矩陣K36核的要求Mercers theorem: 任何半正定的對(duì)稱函數(shù)都可以作為一個(gè)核，即對(duì)任意的常用的核函數(shù)：對(duì)任意滿足 的g(x)有37應(yīng)用設(shè)想