基于參數估計的分類方法演示文稿當前第1頁\共有80頁\編于星期三\2點優選基于參數估計的分類方法當前第2頁\共有80頁\編于星期三\2點基本問題如果完全知道類先驗概率和類條件概率，就可以利用它們來設計最優分類器。如果只是知道類先驗概率和各類的一些樣本，但僅僅知道類條件概率的數學形式，那么應該如何設計最優分類器？返回當前第3頁\共有80頁\編于星期三\2點基本問題的數學描述先驗概率：P(i),i=1,2,…,c已知樣本的描述類條件概率密度的描述關鍵問題的描述返回當前第4頁\共有80頁\編于星期三\2點已知樣本的描述把已知樣本按照類別分成c組，分別記為：

D1，D2，…，Dc

其中Dj的樣本都屬于j類，且都獨立地從類條件概率分布p(X|j)中抽取。返回當前第5頁\共有80頁\編于星期三\2點類條件概率密度的描述類條件概率密度p(X|j)的數學形式已經知道，用p(X|j,j)或p(X|j)表示，其中j是未知參數集。樣本集Di不包含關于j(ji)的信息，也就是說不同類的參數集是無關的。返回當前第6頁\共有80頁\編于星期三\2點關鍵問題的描述關鍵問題是利用每個類的樣本集Dj去估計p(X|j,j)或p(X|j)中的參數集j。每個參數集j的估計可以獨立進行。在估計j后，就可以在結合類先驗概率和類條件概率的基礎上利用最小錯誤率貝葉斯決策等方法來設計最優分類器。返回當前第7頁\共有80頁\編于星期三\2點極大似然估計似然函數的定義對數似然函數的定義極大似然估計的基本思想極大似然估計的求解方法極大似然估計的求解舉例返回當前第8頁\共有80頁\編于星期三\2點似然函數的定義設某類的條件概率密度記為p(X|)，樣本集D包含該類n個獨立抽取的樣本：

D={X1,X2,…,Xn}在樣本集D下關于的似然函數定義為：返回當前第9頁\共有80頁\編于星期三\2點一維正態樣本集舉例圖中樣本都服從一個方差已知，而均值未知的一維正態分布。虛線表示4種可能的分布。返回當前第10頁\共有80頁\編于星期三\2點似然函數示意圖表示使得似然函數取最大值的點。返回當前第11頁\共有80頁\編于星期三\2點對數似然函數的定義在樣本集D下關于的對數似然函數l()定義為：返回當前第12頁\共有80頁\編于星期三\2點對數似然函數示意圖表示使得對數似然函數取最大值的點。返回當前第13頁\共有80頁\編于星期三\2點極大似然估計的基本思想如果在一次觀察中某事件出現，那么可以認為該事件出現的可能性很大。所以，問題轉化為求p(D|)的極大值。將看作確定的參數，使p(D|)達到極大值的就是它的極大似然估計。求p(D|)的極大值等價于求l()=lnp(D|)的極大值。返回當前第14頁\共有80頁\編于星期三\2點極大似然估計的求解方法設有r個分量：定義梯度算子：極大似然估計

其中是下面方程組的解：返回當前第15頁\共有80頁\編于星期三\2點極大似然估計的求解舉例正態分布：均值未知、方差已知一維正態分布：均值和方差均未知多維正態分布：均值和方差均未知返回當前第16頁\共有80頁\編于星期三\2點正態分布：均值未知、方差已知設正態分布的均值為，方差為。極大似然估計返回當前第17頁\共有80頁\編于星期三\2點正態分布的概率密度均值未知、方差已知時的正態分布密度：返回當前第18頁\共有80頁\編于星期三\2點一維正態分布：均值和方差均未知設一維正態分布的均值為，方差為2令極大似然估計的條件及結果。返回當前第19頁\共有80頁\編于星期三\2點一維正態分布的概率密度均值和方差均未知的一維正態分布密度：返回當前第20頁\共有80頁\編于星期三\2點極大似然估計的條件由得：返回當前第21頁\共有80頁\編于星期三\2點極大似然估計的結果均值和方差2的極大似然估計為返回當前第22頁\共有80頁\編于星期三\2點多維正態分布：均值和方差均未知設多維正態分布的均值為，方差為。和的極大似然估計為：返回當前第23頁\共有80頁\編于星期三\2點多維正態分布的概率密度均值和方差均未知的多維正態分布密度：返回當前第24頁\共有80頁\編于星期三\2點貝葉斯估計貝葉斯估計的基本問題貝葉斯估計的基本思想貝葉斯估計的核心公式貝葉斯估計舉例貝葉斯學習返回當前第25頁\共有80頁\編于星期三\2點貝葉斯估計的基本問題利用樣本集D=D1…Dc估計后驗概率:p(i|X)p(i|X,D)

其中Di完全獨立地從p(i|X)中抽取，且返回當前第26頁\共有80頁\編于星期三\2點貝葉斯估計的基本思想將類條件概率p(X|i,i)或p(X|i)中未知參數集i看作是隨機向量。假定已知i的分布p(i)。關鍵在于利用上述條件估計：

p(X|Di)=p(X|i,Di)返回當前第27頁\共有80頁\編于星期三\2點貝葉斯估計的核心公式已知從類獨立抽取的樣本集D，則：其中（試證明）返回當前第28頁\共有80頁\編于星期三\2點證明由于測試樣本X和訓練樣本集D是獨立選取的，所以，從而返回當前第29頁\共有80頁\編于星期三\2點貝葉斯估計舉例一維情況多維情況返回當前第30頁\共有80頁\編于星期三\2點一維情況前提條件計算p(|D)計算p(x|D)返回當前第31頁\共有80頁\編于星期三\2點前提條件假定總體概率密度是正態的，即：其中均值是未知參數，方差2是已知的。假設是隨機變量，服從正態分布，即其中0和0都是已知的。返回當前第32頁\共有80頁\編于星期三\2點計算p(|D)基本公式中間結果最終結果一個特例返回當前第33頁\共有80頁\編于星期三\2點基本公式p(|D)可以利用下面的基本公式計算：返回當前第34頁\共有80頁\編于星期三\2點中間結果將正態密度代入整理得：返回當前第35頁\共有80頁\編于星期三\2點最終結果p(|D)仍是一個正態密度函數，即：其中返回當前第36頁\共有80頁\編于星期三\2點p(|D)的數學形式n表示在觀察到一組樣本后，對的最好推斷，n反映了該推斷的不確定性。因隨n單調減小并趨于零，故增加樣本可減少對的推斷不確定性。當n增加時，p(|D)的峰會變得越來越突起，并逐步趨向狄拉克函數。返回當前第37頁\共有80頁\編于星期三\2點一個特例如果那么當方差2=1時，的貝葉斯估計為：估計方差為返回當前第38頁\共有80頁\編于星期三\2點計算p(x|D)基本公式最終結果返回當前第39頁\共有80頁\編于星期三\2點基本公式p(x|D)可以利用下面的基本公式計算：返回當前第40頁\共有80頁\編于星期三\2點最終結果p(x|D)仍是一個正態密度函數，即：其中返回當前第41頁\共有80頁\編于星期三\2點p(x|D)的數學形式其中返回當前第42頁\共有80頁\編于星期三\2點多維情況前提條件計算p(|D)計算p(X|D)返回當前第43頁\共有80頁\編于星期三\2點前提條件假定總體概率密度是正態的，即：其中未知，協方差陣已知。假設是隨機向量，服從正態分布，即其中0和0都是已知的。返回當前第44頁\共有80頁\編于星期三\2點計算p(|D)基本公式最終結果返回當前第45頁\共有80頁\編于星期三\2點基本公式p(|D)可以利用下面的基本公式計算：返回當前第46頁\共有80頁\編于星期三\2點最終結果p(|D)仍是一個正態密度函數，即：其中返回當前第47頁\共有80頁\編于星期三\2點p(|D)的數學形式n表示在觀察到一組樣本后，對的最好推斷，n反映了該推斷的不確定性。因|n|隨n單調減小并趨于零，故增加樣本可減少對的推斷不確定性。當n增加時，p(|D)的峰會變得越來越突起，并逐步趨向狄拉克函數。返回當前第48頁\共有80頁\編于星期三\2點計算p(X|D)基本公式輔助恒等式最終結果返回當前第49頁\共有80頁\編于星期三\2點基本公式p(X|D)可以利用下面的基本公式計算：返回當前第50頁\共有80頁\編于星期三\2點輔助恒等式為了簡化p(X|D)的計算結果，需要用到下面的輔助恒等式：（試證明）其中A和B是可逆同階方陣，且A+B可逆返回當前第51頁\共有80頁\編于星期三\2點證明同理:返回當前第52頁\共有80頁\編于星期三\2點最終結果p(X|D)仍是一個正態密度函數，即：其中返回當前第53頁\共有80頁\編于星期三\2點p(X|D)的數學形式返回當前第54頁\共有80頁\編于星期三\2點貝葉斯學習基本遞推公式遞歸學習過程貝葉斯學習示意圖貝葉斯學習舉例返回當前第55頁\共有80頁\編于星期三\2點基本遞推公式設Dn={X1,X2,…,Xn}，在n>0時有其中返回當前第56頁\共有80頁\編于星期三\2點遞歸學習過程利用基本遞推公式，能夠產生一系列的概率密度函數：這一過程稱為參數估計的遞歸貝葉斯方法，或貝葉斯學習過程。返回當前第57頁\共有80頁\編于星期三\2點貝葉斯學習示意圖一維正態分布均值的貝葉斯學習二維正態分布均值的貝葉斯學習返回當前第58頁\共有80頁\編于星期三\2點一維正態分布均值的貝葉斯學習每個估計曲線旁標有訓練樣本數。返回當前第59頁\共有80頁\編于星期三\2點二維正態分布均值的貝葉斯學習每個估計曲面旁標有訓練樣本數。返回當前第60頁\共有80頁\編于星期三\2點貝葉斯學習舉例設一維樣本服從均勻分布：其中知道010有界，但不知具體數值如果已有樣本集D={4,7,2,8},試分析貝葉斯學習過程，并與極大似然估計比較。返回當前第61頁\共有80頁\編于星期三\2點貝葉斯學習過程沒有樣本到達前，p(|D0)=p()=U(0,10)第一個樣本x1=4到達后:第二個樣本x2=7到達后:第n個樣本xn到達后:示意圖，返回當前第62頁\共有80頁\編于星期三\2點貝葉斯學習過程示意圖返回當前第63頁\共有80頁\編于星期三\2點與極大似然估計比較用極大似然估計得(為什么？)：比較示意圖返回當前第64頁\共有80頁\編于星期三\2點為什么當時，似然函數為當時，似然函數為所以極大似然估計為返回當前第65頁\共有80頁\編于星期三\2點比較示意圖返回當前第66頁\共有80頁\編于星期三\2點期望最大化算法丟失特征下的最小錯誤率分類期望最大化算法的基本問題期望最大化算法的基本思想期望最大化算法的基本步驟期望最大化算法舉例返回當前第67頁\共有80頁\編于星期三\2點丟失特征下的最小錯誤率分類前提條件完好后驗概率的計算基于完好后驗概率的判別準則返回當前第68頁\共有80頁\編于星期三\2點前提條件樣本由兩種特征構成，即:

X=[Xg,Xb]

其中Xg表示已知或完好特征，Xb表示未知或丟失特征。已知后驗概率密度或判別函數:gi(X)=gi(Xg,Xb)=p(i|X)=p(i|Xg,Xb)返回當前第69頁\共有80頁\編于星期三\2點完好后驗概率的計算完好特征的后驗概率可用下式計算：P(i|Xg)稱為完好后驗概率。返回當前第70頁\共有80頁\編于星期三\2點基于完好后驗概率的判別準則在存在丟失特征的情況下，應采用下面的判別準則進行分類：如果，那么決策。返回當前第71頁\共有80頁\編于星期三\2點期望最大化算法的基本問題在丟失特征下進行最小錯誤率分類，需要用到后驗概率密度p(i|X)，p(i|X)可以利用類條件概率密度p(X|i)來計算。如果在已知樣本集D={X1,X2,…,Xn}中存在丟失特征，即Xk=[Xkg,Xkb]，那么在已知p(X|)的數學形式p(X|,)或p(X|)時應如何估計其中的參數向量？返回當前第72頁\共有80頁\編于星期三\2點期望最大化算法的基本思想將全部特征D表示為D=DgDb：Dg稱為完好特征集，Db稱為丟失特征集。構造輔助函