1、模式識別非參數估計第1頁，共49頁，2022年，5月20日，6點32分，星期四第五章: 非參數估計第2頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計原理在實際應用中，類概率密度函數形式已知的條件并不一定成立，特別是多峰的概率分布，用普通函數難以擬合，這就需要用非參數估計技術。非參數估計的原理是：不需獲取類類概率密度的函數形式，而是直接利用學習樣本估計特征空間任意點的類概率密度的值。即直接由學習樣本來直接設計分類器。第3頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計方法 直接由學習樣本估計類概率密度P(X/i) ，Parzen窗口法 直接由學習樣本估計后驗

2、概率P(i /X)， Kn 近鄰法非參數估計法Parzen窗口法Kn近鄰法第4頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計思路鮭 魚鱸 魚第5頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計思路用已知類別的學習樣本在x處出現的頻度來近似P(X/i)， 即：其中：v為包含X點的區域 第6頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計K為n個樣本中落入體積v的樣本數。故： 表示單位體積內落入x點鄰域的樣本在總樣本中的比例，可以此來近似樣本在X點處的類概率密度值。第7頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計第8頁，

3、共49頁，2022年，5月20日，6點32分，星期四非參數估計問題一若v固定，則當n增大時， 只能表示平均概率，而不是點概率密度 因此，為保證 為點概率密度， 必須有第9頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計第10頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計問題二若樣本數n固定， 則當 時，則會出現x鄰域內不包含任何樣本，得出 的錯誤估計第11頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計第12頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計解決方案考慮讓v和k都隨n的變化進行調整，即： 第13頁，共49頁

4、，2022年，5月20日，6點32分，星期四非參數估計顯然為保證 的合理性， 應滿足如下條 保證 時， 收斂于點概率 密度 保證不出現0概率密度 保證 收斂第14頁，共49頁，2022年，5月20日，6點32分，星期四非參數估計基本方法Parzen窗口法：主動選擇vn與n的關系，kn被動確定，指n個樣本中落入區域v的樣本數kn近鄰法：主動選擇kn與n的關系， vn被動確定，指包含kn個樣本的x鄰域第15頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法設樣本特征空間為d維， Rn為d維超球體， vn 為其體積， hn為其直徑第16頁，共49頁，2022年，5月20日，6

5、點32分，星期四Parzen窗口法可以證明，滿足前述三個條件的等效條件為： 第17頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法因此，可選擇 均能滿足條件，其中h1為可調常數 主動選擇vn與n的關系后， kn如何確定？ 第18頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法如前所述， kn即為n個樣本中落入體積中的樣本數 定義窗函數如下： 其中 ， Xi (i=1,2,n)為學習樣本, X為特征空間中的待估密度點第19頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法第20頁，共49頁，2022年，5月20日，6點3

6、2分，星期四Parzen窗口法矩形窗 第21頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法則有 上式即是由學習樣本直接估計特征空間X點處概率密度的方法，稱為 Parzen窗口法 第22頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法一種更為合理的窗函數為正態窗 第23頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法正態窗 第24頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法若采用正態窗，則第25頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法例：已知某一維模式類

7、的實際概率密度函數為： 試用Parzen窗口法對n=1、n=16、n=256及 情況下的概率密度進行估計。 第26頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法解：采用正態窗函數 令 則對一維空間其中 為可調常數第27頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法第28頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法可以看出：當時 ， 可以收斂于任何復雜形式的當n=1時， 即是窗函數的形式當n較小時， 對 的大小較為敏感， 過小則產生噪聲性誤差，過大則又產生平均性誤差第29頁，共49頁，2022年，5月20日，6

8、點32分，星期四Parzen窗口法所需樣本數較多，計算量大，不易求得 的解析表達式當特征空間的維數較大時，實用性差第30頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法如何用Parzen窗口法進行分類器設計？獲取n個學習樣本令 或令 第31頁，共49頁，2022年，5月20日，6點32分，星期四Parzen窗口法當待識別樣本到來時，分別計算每一類樣本的 ， 即計算對每一類樣本重復上述過程，得各類的類概率密度將樣本歸類到 最大的類別中去第32頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法Parzen窗口法的估計效果取決于樣本總數n及 ，當n較小時，對

9、 較為敏感，即 ：第33頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法其原因是由于 只與總樣本數有關，即進行概率密度 估計時，任何x點處的 都是相同的一種合理的選擇是對樣本出現密度大的x處， 可較小，而對樣本密度較小的x處， 則相對大一些，這就是近鄰法。 第34頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法第35頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法基本原理主動選擇 與n的關系， 被動確定，即使得體積 為樣本密度的函數，而不是樣本總數的函數。可選擇 ，該條件可滿足： 第36頁，共49頁，2022年，5月20日，6點32分，星期

10、四Kn近鄰法 Kn近鄰法，有效地解決了Parzen存在的問題，對平均誤差和噪聲性誤差均有較好的改善 選擇 后， 如何計算 ？ 第37頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法 為與x點相鄰的 個近鄰樣本中，與x距離最遠的樣本所構成的區域，即第38頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法第39頁，共49頁，2022年，5月20日，6點32分，星期四Kn近鄰法用Kn近鄰法設計分類器的過程：獲取n個學習樣本令找到待識樣本X處的Kn個近鄰 計算Kn個鄰近到X的距離，找到最遠距離的樣本計算鄰域的直徑 ，計算鄰域的體積 第40頁，共49頁，2022年，5月

11、20日，6點32分，星期四Kn近鄰法則對每一類樣本重復上述過程，得各類的類概率密度將樣本X歸類到 最大的類別中去第41頁，共49頁，2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率非參數估計法的基本思想是：上式即可以用來估計各類樣本的類概率密度，也可以用來估計所有類別樣本的概率密度分布。 第42頁，共49頁，2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率設共有C個待識類別，各個類別的學習樣本數分別為n1,n2,nC 總的學習樣本數為N= n1+n2 + + nC則 表示所有類別樣本在特征空間X處的概率密度 其中 為落入體積 中的樣本數 第43頁，共49頁，

12、2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率而聯合概率密度 為N個落入 中的樣本中屬于第i類的樣本數 第44頁，共49頁，2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率又由于則后驗概率 上式表明，待識樣本在x點處屬于第i類的后驗概率即是落入其近鄰體積內第i類樣本與落入總樣本數之比 第45頁，共49頁，2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率Kn近鄰準則：設各類總的學習樣本為N,令當待識樣本x到來時，找出x的 個近鄰，其中屬于第i類的樣本為 ，則： 取 最大的一類為識別結果第46頁，共49頁，2022年，5月20日，6點32分，星期四用Kn近鄰法估計后驗概率近鄰法的特點簡單，容易實現計算量和計算機存儲容量較大多特征，高維空間效率低需要較