第05章支持向量機

學習II標

函數間隔

幾何間隔

對偶問題

線性支持向量機 非線性支持向量機 序列最小優化算法 5.1引言

支持向量機(supportvectormachine,SVM)是一種基于統計學習理論(StatisticalLearningTheory,SLT)的監督學習方法。 支持向量機在各個領域內的模式識別問題中都有廣泛應用，包括人臉識別、文本分類、筆跡識別等。它不僅在解決小樣本、非線性及高維模式識別等問題中表現出了許多特有的優勢，同時在函數模擬、模式識別和數據分類等領域也取得了極好的應用效果，是機器學習最成功的算法之一。臺灣大學資訊工程研究所開發的LIBSVM是使用最廣的SVM工具，包含標準SVM算法、概率輸出、支持向量回歸、多分類SVM等功能，其源代碼由C編寫，并有JAVA、Python、R、MATLAB等語言的調用接口等。scikit-learn提供預封裝的SVM工具，其設計參考了LIBSVM。5.1引言 1963年，前蘇聯學者VladimirN.Vapnik和AlexanderY.Lernerjt研究模式識別的廣義肖像算法(generalizedportraitalgorithm)中提出支持向量方法。1964年，他們進一步建立了函數間隔(硬邊距)的線性SVM。并于上世紀70年代，隨著最大邊距決策邊界的理論研究、基于松弛變量的規劃問題求解技術的出現，以及VC維的提出，SVM被逐步理論化并稱為統計學習理論的重要組成部分。 1992年，BernhardE.Boser,IsabelleM.Guyon和VladimirN.Vapnik運用核技巧(kerneltrick)最大化邊緣平面，解決非線性分類器的方法。 1995年，VladimirN.Vapnik提出了統計學習理論，較好地解決了線性不可分的問題，正式奠定了SVM的理論基礎。5.6綜合案例ax.set_title("SVC_sigmoid_r")

ax.set_xlabel(r"r")

ax.set^ylabelf^score")

ax.set_ylim(0,1.05)

ax.legend(loc="best",framealpha=0.5)

pltshowQif_name_=="_main_": X_train,X_test,y_train,y_test=load_data_classficationO

test_SVC_linear(X_train,X_test,y_train,y_test)

test_SVC_poly(X_train,X_test,y_train,y_test)

test_SVC_rbf(X_train,X_test,y_train,y_test)

test_SVC_sigmoid(X_train,X_test,y_train,y_test)

Coefficients:[[-0.169903040.47442881-0.93075307-0.51249447]

[0.024391780.21890135-0.52833486-0.25913786]

[0.522897710.95783924-1.82516872-2.0029277