支持向量機(jī)支持向量機(jī)SupportVectorMachine要解決的問題：什么樣的決策邊界才是最好的呢？特征數(shù)據(jù)本身如果就很難分，怎么辦呢？計(jì)算復(fù)雜度怎么樣？能實(shí)際應(yīng)用嗎？目標(biāo)：基于上述問題對(duì)SVM進(jìn)行推導(dǎo)SupportVectorMachine決策邊界：選出來離雷區(qū)最遠(yuǎn)的（雷區(qū)就是邊界上的點(diǎn)，要LargeMargin）距離的計(jì)算數(shù)據(jù)標(biāo)簽定義數(shù)據(jù)集：(X1,Y1)(X2,Y2)…(Xn,Yn)Y為樣本的類別：當(dāng)X為正例時(shí)候Y=+1當(dāng)X為負(fù)例時(shí)候Y=-1決策方程： （其中是對(duì)數(shù)據(jù)做了變換，后面繼續(xù)說）=> =>優(yōu)化的目標(biāo)通俗解釋：找到一個(gè)條線（w和b），使得離該線最近的點(diǎn)（雷區(qū)）能夠最遠(yuǎn)將點(diǎn)到直線的距離化簡(jiǎn)得：（由于 所以將絕對(duì)值展開原始依舊成立）目標(biāo)函數(shù)放縮變換：對(duì)于決策方程（w,b）可以通過放縮使得其結(jié)果值|Y|>=1=>（之前我們認(rèn)為恒大于0，現(xiàn)在嚴(yán)格了些優(yōu)化目標(biāo)：由于 ，只需要考慮 （目標(biāo)函數(shù)搞定！）目標(biāo)函數(shù)當(dāng)前目標(biāo)

1||??||

，約束條件：常規(guī)套路：將求解極大值問題轉(zhuǎn)換成極小值問題

??,??

1??22如何求解：應(yīng)用拉格朗日乘子法求解拉格朗日乘子法帶約束的優(yōu)化問題： 原式轉(zhuǎn)換：我們的式子：（約束條件不要忘： ）SVM求解分別對(duì)w和b求偏導(dǎo),分別得到兩個(gè)條件（由于對(duì)偶性質(zhì)）->對(duì)w求偏導(dǎo)：對(duì)b求偏導(dǎo)：SVM求解帶入原始：其中 完成了第一步求解SVM求解條件：極大值轉(zhuǎn)換成求極小值：條件：SVM求解實(shí)例數(shù)據(jù)：3個(gè)點(diǎn)，其中正例X1(3,3)，X2(4,3)，負(fù)例X3(1,1)求解：約束條件：SVM求解實(shí)例原式： ，將數(shù)據(jù)代入由于： 化簡(jiǎn)可得：SVM求解實(shí)例分別對(duì)ɑ1和ɑ2求偏導(dǎo)，偏導(dǎo)等于0可得：（并不滿足約束條件，所以解應(yīng)在邊界上）帶入原式=-0.153（不滿足約束帶入原式=-0.25 （滿足啦！）最小值在(0.25,0,0.25)處取得SVM求解實(shí)例將ɑ結(jié)果帶入求解??=

1?1?4

13,3?11,111223,3?11,11122,1?1?18+1?44?1 ?6??=???Σ?? ????

??)=1??? ??=1 ??

?? ??

=?2+2=0SVM求解實(shí)例支持向量：真正發(fā)揮作用的數(shù)據(jù)點(diǎn)，ɑ值不為0的點(diǎn)soft-margin軟間隔：有時(shí)候數(shù)據(jù)中有一些噪音點(diǎn)，如果考慮它們?cè)蹅兊木€就不太好了之前的方法要求要把兩類點(diǎn)完全分得開，這個(gè)要求有點(diǎn)過于嚴(yán)格了，我們來放松一點(diǎn)！為了解決該問題，引入松弛因子soft-margin新的目標(biāo)函數(shù)：當(dāng)C趨近于很大時(shí)：意味著分類嚴(yán)格不能有錯(cuò)誤當(dāng)C趨近于很小時(shí)：意味著可以有更大的錯(cuò)誤容忍C是我們需要指定的一個(gè)參數(shù)！soft-margin拉格朗日乘子法：約束： 同樣的解法：低維不可分問題核變換：既然低維的時(shí)候不可分，那我給它映射到高維呢？低維不可分問題目標(biāo)：