1、模式識別實驗報告題目:Parzen窗估計與KN近鄰估計學院計算機科學習技術專業xxxxxxxxxxxxxxxx學號xxxxxxxxxxxx姓名xxxx指導教師xxxx20xx年xx月xx日Parzen窗估計與KN近鄰估計一、實驗目的本實驗的目的是學習Parzen窗估計和k最近鄰估計方法。在之前的模式識別研究中，我們假設概率密度函數的參數形式已知，即判別函數J(.)的參數是已知的。本節使用非參數化的方法來處理任意形式的概率分布而不必事先考慮概率密度的參數形式。在模式識別中有躲在令人感興趣的非參數化方法，Parzen窗估計和k最近鄰估計就是兩種經典的估計法。1. 二、實驗原理非參數化概率密度的估計

2、對于未知概率密度函數的估計方法，其核心思想是：一個向量x落在區域R中的概率可表小為:PIp(x)dxJr其中，P是概率密度函數p(x)的平滑版本，因此可以通過計算P來估計概率密度函數p(x)，假設n個樣本x1,x2,xn是根據概率密度函數p(x)獨立同分布的抽取得到，這樣，有k個樣本落在區域R中的概率服從以下分布：Pk=G)pk(l_P)I其中k的期望值為：E(k)=nPk的分布在均值附近有著非常顯著的波峰，因此若樣本個數n足夠大時，使用k/n作為概率P的一個估計將非常準確。假設p(x)是連續的，且區域R足夠小，則有：Ipx)dxap(*)VJr如下圖所示，以上公式產生一個特定值的相對概率，當

3、n趨近于無窮大時，曲線的形狀逼近一個a函數，該函數即是真實的概率。公式中的V是區域R所包含的體積。綜上所述，可以得到關于概率密度函數p(x)的估計為：k/nP3）七相對概率在實際中，為了估計x處的概率密度函數，需要構造包含點x的區域R1,R2,-,Rn。第一個區域使用1個樣本，第二個區域使用2個樣本，以此類推。記Vn為Rn的體積。kn為落在區間Rn中的樣本個數，而pn(x)表示為對p(x)的第n次估計：欲滿足pn(x)收斂：pn(x)p(x),需要滿足以下三個條件:lim此=0limy=8-ft-TITlimkn/n=0n-*8有兩種經常采用的獲得這種區域序列的途徑，如下圖所示。其中“Parz

4、e簡方法”就是根據某一個確定的體積函數，比如Vn=1/Vn來逐漸收縮一個給定的初始區間。這就要求隨機變量kn和kn/n能夠保證pn(x)能收斂到p(x)。第二種"k近鄰法”則是先確定kn為n的某個函數，如kn=v/no這樣，體積需要逐漸生長，直到最后能包含進x的kn個相鄰點。n=4rf-100對數據分布不附加h為這個超立方體的邊長，對于二維在三維情況中立方體體積V=hA3,如下圖所示。(x如J,x7hf2)2. Parzen窗估計法已知測試樣本數據x1,x2,-,xn,在不利用有關數據分布的先驗知識,任何假定的前提下，假設R是以x為中心的超立方體，情況，方形中有面積V=hA2,根據以

5、下公式，表示x是否落入超立方體區域中:P（*）奇i=l其中n為樣本數量，h為選擇的窗的長度，力（.灼核函數，通常采用矩形窗和高斯窗。3. k最近鄰估計在Parzen算法中，窗函數的選擇往往是個需要權衡的問題，k-最近鄰算法提供了一種解決方法，是一種非常經典的非參數估計法。基本思路是：已知訓練樣本數據x1,x2,-,xn而估計p（x），以點x為中心，不斷擴大體積Vn,直到區域內包含k個樣本點為止，其中k是關于n的某一個特定函數，這些樣本被稱為點x的k個最近鄰點。當涉及到鄰點時，通常需要計算觀測點間的距離或其他的相似性度量，這些度量能夠根據自變量得出。這里我們選用最常見的距離度量方法：歐幾里德距離

6、。最簡單的情況是當k=1的情況，這時我們發現觀測點就是最近的（最近鄰）。一個顯著的事實是：這是簡單的、直觀的、有力的分類方法，尤其當我們的訓練集中觀測點的數目n很大的時候。可以證明，k最近鄰估計的誤分概率不高于當知道每個類的精確概率密度函數時誤分概率的兩倍。三、實驗基本步驟樣本叫叫此沔而多易工1沔馬10,28131-6.20由11L030211.362.170.1420.070.58-0.78L27L280.08L41L45-0383L542.01-1.630.133.120.161.220.990.694-0,441J8-4,32*0,211.23*0.112,462,191.315-0.8

7、10.215.73-2.18139-0.190.680.790.876L523.162.770341.96-0462,513.2213572,202.42-0,19-1380.940.450,602440.9280.911.946.21-0,120.820.170.640.130.9790.651.93-1.442.310.140.85().華0.9910-0,260,82*0,960,26L940.080,660.510,88第一部分，對表格中的數據，進行Parzen窗估計和設計分類器，本實驗的窗函數為個球形的高斯函數，如下：<p(；)ocexp(_(x-Xi)(x-Xj)/2h2)編

8、寫程序，使用Parzen窗估計方法對一個任意的測試樣本點x進行分類。對分類器的訓練則使用表格3中的三維數據。同時，令h=1,分類樣本點為(0.5,1.0,0.0),(0.31,1.51,-0.50),(-0.3,0.44,-0.1)進行實驗。1) 可以改變h的值，不同的h將導致不同的概率密度曲線，如下圖所示。h=0.1時:1時的二維正態概率密度曲面h=0.5時:當柘D.5時的二維正態概率密度曲面00h=1時:當h=i時的二維正態概率常度曲面k-近鄰概率密度估計方法。對前面表格第二部分的實驗目的是學習和掌握非參數估計：中的數據進行k-近鄰概率密度估計方法和設計分類器。編寫程序，對表格中的3個類別

9、的三維特征，使用k-近鄰概率密度估計方法。并且對下列點處的概率密度進行估計:(-0.41,0.82,0.88),(0.14,0.72,4.1),(-0.81,0.61,-0.38)。k-最近鄰分類器*第一類數據第二類數據,第三類數據測試樣本點四、實驗代碼如下:%Parzen窗算法%w.c類訓練樣本%x：測試樣本%h：參數%輸出p：測試樣本x落在每個類的概率functionp=Parzen(w,x,h)xt,yt,zt=size(w);p=zeros(1,zt);fori=1:zthn=h;forj=1:xthn=hn/sqrt(j);p(i)=p(i)+exp(-(x-w(j,:,i)*(x-

10、w(j,:,i)'/(2*power(hn,2)/(hn*sqrt(2*3.14);endp(i)=p(i)/xt;end%k-最近鄰算法%wc類訓練樣本%x：測試樣本%k：參數functionp=kNearestNeighbor(w,k,x)%w=w(:,:,1);w(:,:,2);w(:,:,3);xt,yt,zt=size(w);wt=;%zeros(xt*zt,yt);ifnargin=2p=zeros(1,zt);fori=1:xtforj=1:xtdist(j,i)=norm(wt(i,:)-wt(j,:);end找到k個最近鄰的編號t(:,i)=sort(dist(:,i

11、);m(:,i)=find(dist(:,i)<=t(k+1,i);%endendifnargin=3forq=1:ztwt=wt;w(:，:,q);xt,yt=size(wt);endfori=1:xtdist(i)=norm(x-wt(i,:);endt=sort(dist);%歐氏距離排序a,b=size(t);m=find(dist<=t(k+1);%找到k個最近鄰的編號numl=length(find(m>0&m<11);num2=length(find(m>10&m<21);num3=length(find(m>20&

12、;m<31);ifyt=3plot3(w(:,1,1),w(:,2,1),w(:,3,1),'r.');holdon;gridon;plot3(w(:,1,2),w(:,2,2),w(:,3,2),'g.');plot3(w(:,1,3),w(:,2,3),w(:,3,3),'b.');if(num1>num2)|(num1>num3)plot3(x(1,1),x(1,2),x(1,3),'ro');disp('點：',num2str(x),'屆于第一類');elseif(num2

13、>num1)|(num2>num3)plot3(x(1,1),x(1,2),x(1,3),'go');disp('點：',num2str(x),'屆于第二類');elseif(num3>num1)|(num3>num2)plot3(x(1,1),x(1,2),x(1,3),'bo');disp('點：',num2str(x),'屆于第三類');elsedisp('無法分類');endendifyt=2plot(w(:,1,1),w(:,2,1),'r.

14、');holdon;gridon;plot(w(:,1,2),w(:,2,2),'g.');plot(w(:,1,3),w(:,2,3),'b.');if(numl>num2)|(numl>num3)plot(x(1,1),x(1,2),'ro');disp('點：',num2str(x),'屆于第一類');elseif(num2>num1)|(num2>num3)plot(x(1,1),x(1,2),'go');disp('點：',num2str(x

15、),'屆于第二類');elseif(num3>num1)|(num3>num2)plot(x(1,1),x(1,2),'bo');disp('點：',num2str(x),'屆于第三類');elsedisp('無法分類');endendendtitle（'k-最近鄰分類器'）;legend（'第一類數據',.'第二類數據',.'第三類數據',.'測試樣本點'）;clear;closeall;%Parzen窗估計和k最近鄰估計

16、%w1(:,:,1)=0.281.31-6.2;0.070.58-0.78;1.542.01-1.63;-0.441.18-4.32;-0.810.215.73;1.523.162.77;2.202.42-0.19;0.911.946.21;0.651.934.38;-0.260.82-0.96;w1(:,:,2)=0.0111.03-0.21;1.271.280.08;0.133.120.16;-0.211.23-0.11;-2.181.39-0.19;0.341.96-0.16;-1.380.940.45;-0.120.820.17;-1.442.310.14;0.261.940.08;w

17、1(:,:,3)=1.362.170.14;1.411.45-0.38;1.220.990.69;2.462.191.31;0.680.790.87;3.221.35;0.602.440.92;0.640.130.97;0.850.580.99;0.660.510.88;x(1,:)=0.510;x(2,:)=0.311.51-0.5;x(3,:)=-0.30.44-0.1;%驗證h的二維數據w2(:,:,1)=0.281.31;0.070.58;1.542.01;-0.441.18;-0.810.21;3.16;2.202.42;0.911.94;0.651.93;-0.260.82;w2(

18、:,:,2)=0.0111.03;1.271.28;0.133.12;-0.211.23;-2.181.39;0.341.96;-1.380.94;-0.120.82;-1.442.31;0.261.94;w2(:,:,3)=1.362.17;1.411.45;1.220.99;2.462.19;0.680.79;2.513.22;0.602.44;0.640.13;0.850.58;0.660.51;y(1)：)=0.51;y(2,:)=0.311.51;y(3,：)=-0.30.44;h=.1;%重要參數p=Parzen(w1,x(1,:),h);num=find(p=max(p);落在三個類別的概率分別為：落在第',num2str(num),'類');disp('點：',num2str(x(1,:),'',num2str(p);disp('點：',num2str(x(1,:),'%給定三類二維樣本，畫出二維正態概率密度曲面圖驗證h的作用num=1;%第num類的二維正態概率密度曲面圖，取值為1,2,3draw(w2,h,num);str1='