模式識別:概率密度函數的估計第3章概率密度函數的估計目錄3.1引言3.2參數估計3.3非參數估計概率密度估計的方法類的先驗概率的估計：用訓練數據中各類出現的頻率估計經驗概率密度估計的方法類條件概率密度估計的兩種主要方法：參數估計：概率密度函數的形式已知，而參數未知，通過訓練數據來估計最大似然估計非參數估計：密度函數的形式未知，利用訓練數據直接對概率密度進行估計Parzen窗法kn-近鄰法目錄3.1引言3.2參數估計3.3非參數估計3.2.1最大似然估計MaximumLikelihood(ML)樣本集可按類別分開，不同類別的密度函數的參數分別用各類的樣本集來訓練。概率密度函數的形式已知，參數未知，為了描述概率密度函數p(x|ωi)與參數θ的依賴關系，用p(x|ωi

,θ)表示。最大似然估計似然函數：對數(loglarized)似然函數：似然函數（對數似然函數）最大化：估計結果計算方法最大似然估計量使似然函數梯度為0：一元正態分布均值和方差的估計一元正態分布均值和方差的估計多元正態分布參數最大似然估計均值估計是無偏的，協方差矩陣估計是有偏的。協方差矩陣的無偏估計是：例題：已知四個樣本和三個屬性構成的數據矩陣。使用最大似然估計獲得均值向量和協方差矩陣。

[,1][,2][,3][1,]159[2,]2610[3,]3711[4,]4812解：cov函數計算樣本協方差已知

y<-matrix(c(1,2,3,4,5,6,7,8,9,10,11,12),4,3)計算均值向量apply(y,2,mean)得到結果為2.56.510.5用cov(y)計算樣本協方差矩陣得：[,1][,2][,3][1,]1.66671.66671.6667[2,]1.66671.66671.6667[3,]1.66671.66671.6667

最大似然估計的協方差矩陣(3/4)*cov(y)

[,1][,2][,3][1,]1.251.25

1.25[2,]1.251.25

1.25[3,]1.251.25

1.25目錄3.1引言3.2參數估計3.3非參數估計3.3非參數估計非參數估計：密度函數的形式未知，也不作假設，利用訓練數據直接對概率密度進行估計。兩種主要方法：Parzen窗法kN-近鄰法基本方法設樣本集為D={x1，x2，x3}，每個樣本xi對以它為中心，寬度為h的范圍內分布的貢獻為a，要想估計p(x)，可以把每個樣本點的貢獻相加近似作為這點的密度，對任意點都這樣做，則得到分布p(x)。當N足夠大時，將有好的估計效果。我們也可以認為每個樣本對自己所在位置的分布貢獻最大，而離得越遠，則貢獻越小。所以表示為在樣本xi處對分布貢獻最大，而往兩邊越來越小的函數形式。理論依據如果有N個樣本x1，…，xN是從p(x)的總體中獨立抽取的，則N個樣本中有k個落入區域R中的概率Pk等于二項分布：當時，Pk的值最大。可取兩種主要方法：Parzen窗法和kN-近鄰法Parzen窗法固定體積（例如：），計算落入區域的樣本數kkN-近鄰法固定落入區域樣本數k（例如：），計算落入k個樣本需要的體積V3.2Parzen窗法窗函數的選擇常用的窗函數：方窗函數：正態窗函數：

指數窗函數：參數估計和非參數估計的使用范圍非參數估計：（1）樣本數量非常充足。（2）樣本的分布形式未知。參數估計：貝葉斯------（1）樣本數量非常充足或很充足。（2）樣本的分布形式已知。樸素貝葉斯------（1）樣本數量非常充足、很充足或充足。（2）樣本的分布形式已知。（3）屬性之間近似獨立。習題類條件概率密度估計的兩種主要方法_________和_________。類條件概率密度估計的非參數估計有兩種主要的方法_________和_________。它們的基本原理都是基于樣本對分布的_________原則。如果有N個樣本，可以計算樣本鄰域的體積V，然后獲得V中的樣本數k，那么P(x)=_________。假設正常細胞和癌細胞的樣本的類條件概率服從多元正態分布，使用最大似然估計方法，對概率密度的參數估計的結果為__________。證明：使用最大似然估計方法，對一元正態概率密度的參數估計的結果如下：例題：已知5個樣本和2個屬性構成的數據集中，w1類有3個樣本，w2類有兩個樣本。如果使用貝葉斯方法設計分類器，需要獲得各類樣本的條件概率分布，現假設樣本服從多元正態分布，則只需獲得分布的參數均值向量和協方差矩陣即可，那么采用最大似然估計獲得的w1類的類條件概率密度均值向量為_________,以及協方差矩陣為________。屬性1屬性2類別12W114W143W124W226W2計算機求解：計算樣本均值向量和協方差矩陣已知

y<-matrix(c(1,1,4,2,4,3