模式識別

PatternClassification

第五章:非參數估計非參數估計原理在實際應用中，類概率密度函數形式已知的條件并不一定成立，特別是多峰的概率分布，用普通函數難以擬合，這就需要用非參數估計技術。非參數估計的原理是：不需獲取類類概率密度的函數形式，而是直接利用學習樣本估計特征空間任意點的類概率密度的值。即直接由學習樣本來直接設計分類器。3AppliedPatternRecognitionCSE616非參數估計方法直接由學習樣本估計類概率密度P(X/ωi)，Parzen窗口法直接由學習樣本估計后驗概率P(ωi/X)，

Kn

近鄰法非參數估計法Parzen窗口法Kn近鄰法4AppliedPatternRecognitionCSE616非參數估計思路鮭魚鱸魚5AppliedPatternRecognitionCSE616非參數估計K為n個樣本中落入體積v的樣本數。故：表示單位體積內落入x點鄰域的樣本在總樣本中的比例，可以此來近似樣本在X點處的類概率密度值。7AppliedPatternRecognitionCSE616非參數估計8AppliedPatternRecognitionCSE616非參數估計問題一若v固定，則當n增大時，只能表示平均概率，而不是點概率密度因此，為保證為點概率密度，必須有9AppliedPatternRecognitionCSE616非參數估計10AppliedPatternRecognitionCSE616非參數估計問題二若樣本數n固定，則當時，則會出現x鄰域內不包含任何樣本，得出的錯誤估計11AppliedPatternRecognitionCSE616非參數估計12AppliedPatternRecognitionCSE616非參數估計解決方案考慮讓v和k都隨n的變化進行調整，即：13AppliedPatternRecognitionCSE616非參數估計顯然為保證的合理性，應滿足如下條保證時，收斂于點概率密度

保證不出現0概率密度

保證收斂14AppliedPatternRecognitionCSE616非參數估計基本方法Parzen窗口法：主動選擇vn與n的關系，kn被動確定，指n個樣本中落入區域v的樣本數kn近鄰法：主動選擇kn與n的關系，vn被動確定，指包含kn個樣本的x鄰域15AppliedPatternRecognitionCSE616Parzen窗口法設樣本特征空間為d維，Rn為d維超球體，vn為其體積，hn為其直徑16AppliedPatternRecognitionCSE616Parzen窗口法可以證明，滿足前述三個條件的等效條件為：

17AppliedPatternRecognitionCSE616Parzen窗口法因此，可選擇均能滿足條件，其中h1為可調常數主動選擇vn與n的關系后，kn如何確定？18AppliedPatternRecognitionCSE616Parzen窗口法如前所述，kn即為n個樣本中落入體積中的樣本數定義窗函數如下：

其中，Xi(i=1,2,…,n)為學習樣本,X為特征空間中的待估密度點19AppliedPatternRecognitionCSE616Parzen窗口法20AppliedPatternRecognitionCSE616Parzen窗口法矩形窗

21AppliedPatternRecognitionCSE616Parzen窗口法則有上式即是由學習樣本直接估計特征空間X點處概率密度的方法，稱為Parzen窗口法22AppliedPatternRecognitionCSE616Parzen窗口法一種更為合理的窗函數為正態窗23AppliedPatternRecognitionCSE616Parzen窗口法正態窗

24AppliedPatternRecognitionCSE616Parzen窗口法若采用正態窗，則25AppliedPatternRecognitionCSE616Parzen窗口法例：已知某一維模式類的實際概率密度函數為：試用Parzen窗口法對n=1、n=16、n=256及情況下的概率密度進行估計。

26AppliedPatternRecognitionCSE616Parzen窗口法解：采用正態窗函數

令則對一維空間其中為可調常數27AppliedPatternRecognitionCSE616Parzen窗口法28AppliedPatternRecognitionCSE616Parzen窗口法可以看出：當時，可以收斂于任何復雜形式的當n=1時，即是窗函數的形式當n較小時，對的大小較為敏感，過小則產生噪聲性誤差，過大則又產生平均性誤差29AppliedPatternRecognitionCSE616Parzen窗口法所需樣本數較多，計算量大，不易求得的解析表達式當特征空間的維數較大時，實用性差30AppliedPatternRecognitionCSE616Parzen窗口法如何用Parzen窗口法進行分類器設計？獲取n個學習樣本令或令31AppliedPatternRecognitionCSE616Parzen窗口法當待識別樣本到來時，分別計算每一類樣本的，即計算對每一類樣本重復上述過程，得各類的類概率密度將樣本歸類到最大的類別中去32AppliedPatternRecognitionCSE616Kn近鄰法Parzen窗口法的估計效果取決于樣本總數n及，當n較小時，對較為敏感，即：33AppliedPatternRecognitionCSE616Kn近鄰法其原因是由于只與總樣本數有關，即進行概率密度估計時，任何x點處的都是相同的一種合理的選擇是對樣本出現密度大的x處，可較小，而對樣本密度較小的x處，則相對大一些，這就是近鄰法。

34AppliedPatternRecognitionCSE616Kn近鄰法35AppliedPatternRecognitionCSE616Kn近鄰法基本原理主動選擇與n的關系，被動確定，即使得體積為樣本密度的函數，而不是樣本總數的函數。可選擇，該條件可滿足：

36AppliedPatternRecognitionCSE616Kn近鄰法

Kn近鄰法，有效地解決了Parzen存在的問題，對平均誤差和噪聲性誤差均有較好的改善

選擇后，如何計算？

37AppliedPatternRecognitionCSE616Kn近鄰法為與x點相鄰的個近鄰樣本中，與x距離最遠的樣本所構成的區域，即38AppliedPatternRecognitionCSE616Kn近鄰法39AppliedPatternRecognitionCSE616Kn近鄰法用Kn近鄰法設計分類器的過程：獲取n個學習樣本令找到待識樣本X處的Kn個近鄰

計算Kn個鄰近到X的距離，找到最遠距離的樣本計算鄰域的直徑，計算鄰域的體積

40AppliedPatternRecognitionCSE616Kn近鄰法則對每一類樣本重復上述過程，得各類的類概率密度將樣本X歸類到最大的類別中去41AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率非參數估計法的基本思想是：上式即可以用來估計各類樣本的類概率密度，也可以用來估計所有類別樣本的概率密度分布。

42AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率設共有C個待識類別，各個類別的學習樣本數分別為n1,n2,……,nC

總的學習樣本數為N=n1+n2+……+nC則

表示所有類別樣本在特征空間X處的概率密度其中為落入體積中的樣本數

43AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率而聯合概率密度為N個落入中的樣本中屬于第i類的樣本數

44AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率又由于則后驗概率上式表明，待識樣本在x點處屬于第i類的后驗概率即是落入其近鄰體積內第i類樣本與落入總樣本數之比

45AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率Kn近鄰準則：設各類總的學習樣本為N,令當待識樣本x到來時，找出x的個近鄰，其中屬于第i類的樣本為，則：

取最大的一類為識別結果46AppliedPatternRecognitionCSE616用Kn近鄰法估計后驗概率近鄰法的特點簡單，容易實現計算量和計算機存儲容量較大多特