1、實驗一 Bayes分類器設計【實驗目的】對模式識別有一個初步的理解， 能夠根據自己的設計對貝葉斯決策理論算法有一個深刻 地認識，理解二類分類器的設計原理。【實驗原理】最小風險貝葉斯決策可按下列步驟進行:在已知P( i)，P(X i)，i=1,，c及給出待識別的X的情況下，根據貝葉斯公式計算出后驗概率：P( iX)P(X i)P( i)j=1,，X現有一系列待觀察的細胞，其觀察值為X :P(X i)P( i)j 1(2)利用計算出的后驗概率及決策表，按下面的公式計算出采取aj,i=l,，a的條件風險cR(ai X)(ai , j)P( j X ) ,i=1,2,aj 1對中得到的a個條件風險值R

2、(aX),i=1,，a進行比較，找出使其條件風險最小的決策ak，即R ak x mia R ai x則ak就是最小風險貝葉斯決策。【實驗內容】假定某個局部區域細胞識別中正常(1 )和非正常(2 )兩類先驗概率分別為正常狀態：P (1)=；異常狀態：P (2)=。已知類條件概率是的曲線如下圖:P(x| 1)p(x| 2)類條件概率分布正態分布分別為N( -2 ,、N( 2,4 )試對觀察的結果進行分類。【實驗要求】1) 用matlab完成基于最小錯誤率的貝葉斯分類器的設計，要求程序相應語句有說明文字，要求有子程序的調用過程。2) 根據例子畫出后驗概率的分布曲線以及分類的結果示意圖。3) 如果是最

3、小風險貝葉斯決策，決策表如下：最小風險貝葉斯決策表：、一狀態 決策12a 104a 220請重新設計程序，完成基于最小風險的貝葉斯分類器，畫出相應的條件風險的分布曲線和分類結果，并比較兩個結果。【實驗程序】最小錯誤率貝葉斯決策分類器設計x=pw1= ; pw2=e1=-2; a1 =e2=2;a2=2m=numel(x) %得到待測細胞個數pw1_x=zeros(1,m) %存放對w1的后驗概率矩陣pw2_x=zeros(1,m) % 存放對w2的后驗概率矩陣results=zeros(1,m) % 存放比較結果矩陣for i = 1:m%十算在w1下的后驗概率pw1_x(i)=(pw1* n

4、ormpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)%十算在w2下的后驗概率pw2_x(i)=(pw2* normpdf(x(i),e2,a2)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)endfor i = 1:mif pw1_x(i)>pw2_x(i) %比較兩類后驗概率result(i)=0 %正常細胞elseresult(i)=1 %異常細胞endenda=-5:5 %取樣本點以畫圖n=nu mel(a)pw1_plot=zeros(

5、1, n)pw2_plot=zeros(1, n)for j=1: npw1_plot(j)=(pw1* normpdf(a(j),e1,a1)/(pw1* normpdf(a(j),e1,a1)+pw2* no rmpdf(a(j) ,e2,a2)%十算每個樣本點對 w1的后驗概率以畫圖pw2_plot(j)=(pw2* no rmpdf(a(j),e2,a2)/(pw1* normpdf(a(j),e1,a1)+pw2* normpdf(a(j) ,e2,a2)end figure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'

6、r-.')for k=1:mif result(k)=0plot(x(k),'b*') %正常細胞用*表示elseplot(x(k),'rp') %異常細胞用五角星表示en d;en d;legend('正常細胞后驗概率曲線','異常細胞后驗概率曲線','正常細胞','異常細胞')xlabel('樣本細胞的觀察值')ylabel('后驗概率')title('后驗概率分布曲線')grid onreturn ;實驗內容仿真x =, , , , ,

7、, , , , , , , , , , , , ,disp(x)pw1 =pw2=result=bayes(x,pw1,pw2)最小風險貝葉斯決策分類器設計fun ctio n R1_x,R2_x,result=da nger(x,pw1,pw2)m=numel(x) %得到待測細胞個數R1_x=zeros(1,m)%存放把樣本X判為正常細胞所造成的整體損失R2_x=zeros(1,m)%存放把樣本X判為異常細胞所造成的整體損失result=zeros(1,m)%存放比較結果e1=-2a1 =e2=2a2=2%類條件概率分布 px_w1: ( -2， px_w2 ( 2,4)r1仁0r12=2

8、r2仁4r22=0液險決策表for i=1:m%十算兩類風險值R1_x(i)=r11*pw1* normpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2*normpdf(x(i)

9、,e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2 ,a2)for i=1:mif R2_x(i)>R1_x(i) result(i)=0elseresult(i)=1endendend%第二類比第一類風險大%判為正常細胞（損失較小） ，用 0 表示%判為異常細胞，用 1 表示a=-5:5 %取樣本點以畫圖n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)for j=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a

10、1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j) ,e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j) ,e2,a2)%計算各樣本點的風險以畫圖end figure(1) hold

11、 on plot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:mif result(k)=0plot(x(k),'b“)E常細胞用上三角表示elseplot(x(k),'go')%異常細胞用圓表示end;end;legend(' 正常細胞 ',' 異常細胞 ','Location','Best') xlabel(' 細胞分類結果 ')ylabel(' 條件風險') title(' 風險判決曲線'

12、) grid onreturn實驗內容仿真x=，disp(x) pw1 = pw2= R1_x,R2_x,result=da nger(x,pw1,pw2)【實驗結果和數據】最小錯誤率貝葉斯決策后驗概率曲線與判決結果在一張圖上：后驗概率曲線如圖所示，帶*的綠色曲線為判決成異常細胞的后驗概率曲線；另一條平滑的藍色曲線為判為正常細胞的后驗概率曲線。根據最小錯誤概率準則，判決結果見曲線下方，其中“上三角”代表判決為正常細胞，“圓圈”代表異常細胞。各細胞分類結果：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 1-50為判成正常細胞，1為判成異常細胞Llii

13、Lix.“ HUdUJUllmiiwudiiiidilii11廠一-正常細胞 異常細胞*/1111甲1f1卜* 十七ikH 彈1 miLiumL4-1.21后驗概率分布曲線-4-3-2-10 123458 6 4 2 00 0 0 0 率概驗后細胞的觀察值圖1基于最小錯誤率的貝葉斯判決最小風險貝葉斯決策風險判決曲線如圖2所示，其中帶*的綠色曲線代表異常細胞的條件風險曲線；另一條光滑的藍色曲線為判為正常細胞的條件風險曲線。根據貝葉斯最小風險判決準則，判決結果見曲線下方，其中“上三角”代表判決為正常細胞，“圓圈“代表異常細胞。各細胞分類結果：1 0 0 0 0 0 0 0 0 0 0 0 1 1

14、0 1 1 1 0 0 0 1 0 1其中，0為判成正常細胞，1為判成異常細胞J IIIr i I正常細胞異常細胞II"am U I叫刊I虬 iJIL LJJIE. ntt¥%Irr*T:十七/ I卅|卜-|S mil It- ZAXi r IffH出屮肝風險判決曲線3.5-5-4-3-2-1012345細胞分類結果3 5 2 5 15 0210險風件條圖2基于最小風險的貝葉斯判決【實驗分析】由最小錯誤率的貝葉斯判決和基于最小風險的貝葉斯判決得出的圖形中的分類結果可 以看出，樣本、在前者中被分為“正常細胞”，在后者中被分為“異常細胞”，分類結果截然不同。因為在給予最小風險的

15、貝葉斯判決中，影響決策結果的因素多了一個“損失”。可以看出，在圖1中，這兩個樣本點下兩類決策的后驗概率相差很小，當結合最小風險貝葉斯決策表進行計算時，“損失”就起了主導作用，導致出現了相反的結果。另外，最小錯誤率貝葉斯決策就是在0-1損失函數條件下的最小風險貝葉斯決策，即前者是后者的特例。實驗二基于Fisher準則線性分類器設計【實驗目的】本實驗旨在讓同學進一步了解分類器的設計概念,能夠根據自己的設計對線性分類器有以及Lagrande乘子更深刻地認識，理解Fisher準則方法確定最佳線性分界面方法的原理, 求解的原理。【實驗條件】Matlab軟件【實驗原理】線性判別函數的一般形式可表示成g (

16、X)wtx wo其中wi XiW2XWXdWd根據Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內樣本投影盡可能密集的要求，用以評價投影方向W的函數為：Jf(W)(m r2)2* 1WSw (m)1 m2)上面的公式是使用 Fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種 形式的運算，我們稱為線性變換，其中m, m2式一個向量，Sw1是S的逆矩陣，如m m2 是d維，SW和S1都是dx d維，得到的 W 也是一個d維的向量。向量W*就是使Fisher準則函數JF(W)達極大值的解，也就是按Fisher準則將d維X 空間投影到一維 Y

17、空間的最佳投影方向， 該向量 W*的各分量值是對原 d維特征向量求加權 和的權值。以上討論了線性判別函數加權向量W的確定方法，并討論了使Fisher準則函數極大的d維向量W*的計算方法，但是判別函數中的另一項W。尚未確定，一般可采用以下幾種方法確定W0如ri m22N1r1 N2m2W0- -2 2 mN1 N2或當W0P（ ）1與P（ ）2已知時可用m m in p（ J / p（ 2）2n_n2 2當w確定之后，則可按以下規則分類，WTXw0X1WTXWoX2使用Fisher準則方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法 的時間比較早，仍見有人使用。【實驗程序】funct

18、ion fisher%可仲數據點的坐標x1 =;x2 =;x3 =;%各x1、x2、x3變為行向量x1=x1(:);x2=x2(:);x3=x3(:);%十算第一類的樣本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%計算第一類樣本類內離散度矩陣S1S1=zeros(3,3);for i=1:36-m1(2)+x2(i)S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)'*-m1(1)+x1(i) -m1(3)+x3(i);end%w加勺數據點坐標 x4 =;x5 =;x6 =;x4=x4(:

19、);x5=x5(:);x6=x6(:);%計算第二類勺樣本均值向量 m2 m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計算第二類樣本類內離散度矩陣S2S2=zeros(3,3);for i=1:36S2=S2+-m2(1)+x4(i) -m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i);end%總類內離散度矩陣 SwSw=zeros(3,3);Sw=S1+S2; %樣本類間離散度矩陣SbSb=zeros(3,3); Sb=(m1-m2)'*(m1-m2);%

20、最優解 WW=Swr*(m1-m2)'%各W變為單位向量以方便計算投影W=W/sqrt(sum(W.A2);%十算一維Y空間中的各類樣本均值M1及M2for i=1:36 y(i)=W'*x1(i) x2(i) x3(i)'endM1=mean(y)for i=1:36y(i)=W'*x4(i) x5(i) x6(i)'endM2=mean(y)%用當P(w1)與P(w2)已知時的公式計算 W0 p1=;p2=;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2); %計算將樣本投影到最佳方向上以后的新坐標 X1=x1*W(1)+x2*

21、W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標%繪制樣本點figure(1)plot3(x1,x2,x3,'r*')%第一類hold onplot3(x4,x5,x6,'bp')%第二類legend(' 第一類點 ',' 第二類點 ') title('Fisher 線性判別曲線 ')W1=5*W;%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b'); %判別已給點的分類a1=1,'a2=,'a3=,'a4=,'a5=,' A=a1 a2 a3 a4 a5n=size(A,2); %下面代碼在改變樣本時都不必修改%繪制待測數據投影到最佳方向上的點for k=1:nA仁A(:,k)'*W;A1 仁W*A1; y=W*A(:,k)+WO;if y>0plot3(A(1,k),A(2,k),A(3,k),'go');plot3(A11(1)