沈航人機(jī)智能研究中心普適性核度量標(biāo)準(zhǔn)比較研究王裴巖2015年8月引言

基于核函數(shù)的機(jī)器學(xué)習(xí)方法,簡稱核方法,是機(jī)器學(xué)習(xí)領(lǐng)域的一類重要方法,被廣泛地應(yīng)用于分類,聚類,回歸和特征選擇等方面.最具有代表性的方法如:支持向量機(jī),譜聚類,嶺回歸,核主成分分析等.

然而核函數(shù)的選擇與參數(shù)優(yōu)化一直是影響核方法效果的核心問題,從而推動了核度量標(biāo)準(zhǔn),特別是普適性核度量標(biāo)準(zhǔn)（UniversalKernelEvaluationMeasure）的研究.

普適性核度量標(biāo)準(zhǔn)不直接估計泛化誤差界,僅依據(jù)給定的問題和樣本對核函數(shù)質(zhì)量做出量化評價。較高的計算效率,計算代價僅為;

具有算法無關(guān)性,不依賴于具體核學(xué)習(xí)算法與核函數(shù),具有較好的推廣能力。引言引言對KTA,EKTA,CKTA,FSM與KCSM進(jìn)行了比較研究。發(fā)現(xiàn)了上述5種普適性度量標(biāo)準(zhǔn)具有較為相近的形式,可在統(tǒng)一的框架下進(jìn)行研究與比較；發(fā)現(xiàn)其度量內(nèi)容為特征空間中線性假設(shè)的平均間隔,與支持向量機(jī)最大化最小間隔的優(yōu)化目標(biāo)存在偏差；使用模擬數(shù)據(jù)研究了類別分布敏感性,線性平移敏感性,異方差數(shù)據(jù)敏感性,指出5種度量標(biāo)準(zhǔn)產(chǎn)生上述問題的原因；在9個UCI數(shù)據(jù)集和20Newsgroups數(shù)據(jù)集上的核函數(shù)選擇實驗比較了5種度量標(biāo)準(zhǔn)的度量效果。5種度量標(biāo)準(zhǔn)簡介KernelTargetAlignment(KTA)5種度量標(biāo)準(zhǔn)簡介CenteredKernelTargetAlignment(CKTA)5種度量標(biāo)準(zhǔn)簡介ExtensionofKernelTargetAlignment(EKTA)5種度量標(biāo)準(zhǔn)簡介FeatureSpacebasedkernelmatrixevaluationMeasures(FSM)5種度量標(biāo)準(zhǔn)簡介KernelClassSeparablityMeasures(KCSM)討論特征空間中的線性假設(shè)線性假設(shè)的期望間隔討論與相互獨立假設(shè)討論討論類別分布敏感性討論討論線性平移敏感性討論討論異方差數(shù)據(jù)敏感性討論實驗KTAEKTACKTAFSMKCSM與10-CV最小錯誤率無顯著性差異的數(shù)量9/199/1910/194/197/19顯著好于其他普適性度量標(biāo)準(zhǔn)的數(shù)量12/1911/1916/194/1910/19

本文使用來自UCI的9個數(shù)據(jù)集和20Newsgroups數(shù)據(jù)集進(jìn)行核函數(shù)選擇實驗.UCI數(shù)據(jù)集中的多分類問題使用“one-vs-one”策略轉(zhuǎn)化為多個二分類問題。在UCI數(shù)據(jù)集上采用10折交叉驗證的方法估計錯誤率.

20Newsgroups數(shù)據(jù)集,包含樣本18846,特征26214.該數(shù)據(jù)集已經(jīng)劃分訓(xùn)練集和測試集,訓(xùn)練集包含樣本11314(60%),測試集包含樣本7532(40%),在訓(xùn)練集上采用核函數(shù)度量標(biāo)準(zhǔn)選擇核函數(shù),在測試集上驗證所選擇核函數(shù)的分類錯誤率.核方法使用SVM,訓(xùn)練工具采用LIBSVM.參數(shù)為0.1,1,2,4,8,16,32的RBF核與參數(shù)為1,2,3,4的多項式核作為被度量的核函數(shù).SVM的懲罰因子C使用10折交叉驗證從0.01,0.1,1,10,100中選擇。總結(jié)發(fā)現(xiàn)了上述5種普適性度量標(biāo)準(zhǔn)具有較為相近的形式,可在統(tǒng)一的框架下進(jìn)行研究與比較；發(fā)現(xiàn)其度量內(nèi)容為特征空間中線性假設(shè)的平均間隔,與支持向量機(jī)最大化最小間隔的優(yōu)化目標(biāo)存在偏差；使用模擬數(shù)據(jù)研究了類別分布敏感性,線性平移敏感性,異方差數(shù)據(jù)敏感性,指出