1、第一講第一講 分類與回歸問題分類與回歸問題 第一部分第一部分 分類問題分類問題第二部分第二部分 回歸問題回歸問題第一部分第一部分 分類問題分類問題 分類問題的描畫分類問題的描畫 分類問題的類型分類問題的類型 分類問題的求解方法分類問題的求解方法 分類問題的描畫分類問題的描畫圖1線性可分的兩類問題分類問題的描畫分類問題的描畫圖2線性不可分的兩類問題分類問題的描畫分類問題的描畫 圖3 三類問題1分類問題的描畫分類問題的描畫 圖4 三類問題2分類問題的描畫分類問題的描畫分類問題：根據(jù)給定的訓(xùn)練集，分類問題：根據(jù)給定的訓(xùn)練集，其中其中要求尋覓要求尋覓 上的決策函數(shù)上的決策函數(shù) 以便能用決策函數(shù)以便能用

2、決策函數(shù) “較好地推斷任一方較好地推斷任一方式相對(duì)應(yīng)的式相對(duì)應(yīng)的 值。值。),( ,),(11llyxyxTnixRC1,2,iymli, 2 , 1C( ):f xC( )f xxy從數(shù)學(xué)的角度看分類問題從數(shù)學(xué)的角度看分類問題 知： 1函數(shù)的值域?yàn)橛邢迋€(gè)離散點(diǎn) 2函數(shù)在某些點(diǎn)上的函數(shù)值。 求解：尋覓一個(gè)函數(shù)能較好地預(yù)測(cè)其他點(diǎn)上的函數(shù)值注記注記l 如何選擇可選的函數(shù)類？l 豐富與簡(jiǎn)單之間的權(quán)衡l 如何定義“較好地？l 閱歷風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)的折中l(wèi) 是延續(xù)函數(shù)嗎？定義域 假設(shè)不是 空間呢？比如 ；值域 取不同的值會(huì)否影響解？比如l 的延續(xù)化方法值得研討l 比如首先求一個(gè)從 到 的延續(xù)函數(shù) ,然后再

3、對(duì)其離散化，得到不延續(xù)的分類函數(shù)：( ):f xCCnRnZ1,2,4,2 m( ):f xC(CC )()( )g x( )( ( )f xlabel g x分類問題的類型分類問題的類型 從類的多少角度：一類，二類，多類，可從類的多少角度：一類，二類，多類，可列無窮類列無窮類;其中一類、二類是最根本的問題，其中一類、二類是最根本的問題，由于其他可以經(jīng)過它們來處置。由于其他可以經(jīng)過它們來處置。 從類的線性可分角度：線性可分，線性不從類的線性可分角度：線性可分，線性不可分。可分。 從類之間序關(guān)系的角度：有序分類，無序從類之間序關(guān)系的角度：有序分類，無序分類。分類。 分類問題的求解方法分類問題的求

4、解方法 尋覓每個(gè)類固有的特征：更適宜于一類、尋覓每個(gè)類固有的特征：更適宜于一類、多類問題。如大部分的圖像識(shí)別技術(shù)。多類問題。如大部分的圖像識(shí)別技術(shù)。 尋覓類之間的差別：更適宜于兩類問題。尋覓類之間的差別：更適宜于兩類問題。如支持向量機(jī)技術(shù)。如支持向量機(jī)技術(shù)。 一點(diǎn)想法：從類的分布角度出發(fā)，可以思一點(diǎn)想法：從類的分布角度出發(fā)，可以思索從概率密度函數(shù)來選擇分類函數(shù)，也可索從概率密度函數(shù)來選擇分類函數(shù)，也可以思索從勢(shì)函數(shù)和混沌吸引子來選擇分類以思索從勢(shì)函數(shù)和混沌吸引子來選擇分類函數(shù)。函數(shù)。第二部分第二部分 回歸問題回歸問題 回歸問題的描畫回歸問題的描畫 回歸問題的類型回歸問題的類型 回歸問題的求解方

5、法回歸問題的求解方法 回歸問題的描畫回歸問題的描畫 圖5 線性回歸問題回歸問題的描畫回歸問題的描畫圖6 非線性回歸問題回歸問題的描畫回歸問題的描畫回歸問題：根據(jù)給定的訓(xùn)練集，回歸問題：根據(jù)給定的訓(xùn)練集，其中其中要求尋覓要求尋覓 上的決策函數(shù)上的決策函數(shù) 以便能用決策函數(shù)以便能用決策函數(shù) “較好地推斷任一方較好地推斷任一方式相對(duì)應(yīng)的式相對(duì)應(yīng)的 值。值。),( ,),(11llyxyxT,1,2,niixRyR ilCC( ):f xC( )f xxy從數(shù)學(xué)的角度看分類問題從數(shù)學(xué)的角度看分類問題知： 1函數(shù)的值域?yàn)檎麄€(gè)實(shí)數(shù)域； 2函數(shù)在某些點(diǎn)上的函數(shù)值。求解： 尋覓一個(gè)函數(shù)能較好地預(yù)測(cè)其他點(diǎn)上的函數(shù)值。回歸問題與分類問題的關(guān)系回歸問題與分類問題的關(guān)系 分類： 回歸： 因此回歸可以看成是分類問題的推行，可以看成是類別數(shù)為不可數(shù)時(shí)的分類問題。但我們不能以此簡(jiǎn)單地以為回歸問題比分類問題難，現(xiàn)實(shí)上由于回歸問題的值域?yàn)檎麄€(gè)實(shí)數(shù)域，經(jīng)常更益處置。1,2,mR注記注記l 如何選擇可選的函數(shù)類？l 豐富與簡(jiǎn)單之間的權(quán)衡l 如何定義“較好地？l 閱歷風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)的折中l(wèi) 定義域 假設(shè)不是 空間 呢？比如 l 的延續(xù)化方法值得研討CnRnZ( ):f xC回歸問題的類型回歸問題的類型l線性回歸問題l非線性回歸問題回歸問題的求解方法回歸問題的求解方法 插值方法 曲線擬合方法最小