1、精品文檔模式識別課程設計模式識別中基于概率統計的 Bayes 算法分析學號：1102100119班級：自動化111班姓名：許世堅 首先對模式識別所用到的理論、爭辯背景、爭辯現狀及典型應用進行全面的闡述;其次,探討了如何提取數字字符的特征值,并對各種分類器的設計方法及其優缺點進行了比較;最終接受了以模板庫為根底的基于二值數據的Bayes分類實現的識別方法,并以VC+作為編程工具實現了具有友好的圖形用戶界面的自由手寫體數字識別系統。給出了局部實現算法的代碼。實現了對字體數字的識別。 下面介紹闡述模式識別中用到的Bayes算法理論，爭辯背景及其典型應用，在典型應用中，探討提取數字字符bayes算法分

2、類器的設計方法并比較其優缺點，給出其算法的C+實現，利用VC+實現編程工具實現圖形界面。 模式識別就是機器識別,計算機識別或者機器自動識別，目的在于讓機器自動識別事物，如手寫數字的識別，智能交通管理信號的識別，文字識別，語音識別等。模式識別這個學科的目的就是讓機器能做人類能做的事情，具備人類所具有的對各種事物與現象進行分析，描述與推斷的局部力量。模式識別是直觀的，無所不在。人與動物具有模式識別的力量是格外平常的事情，但是對計算機來說實現模式識別是格外困難的。讓機器能夠識別，分類需要爭辯識別的 方法。而模式識別可以概括為兩個類型，一個是直接形象的，例如圖片，相片，圖案，字符圖案等；另外的就是無知

3、覺形象而只有數據或信號的波形，如語音，聲音，心電圖，地震波等。Bayes決策所爭辯的問題：基于最小錯誤率的Bayes決策指出機器自動識別消滅錯分類的條件，錯分類的可能性如何計算，如何實現使錯分類實現可能性最小；基于最小錯誤風險的Bayes決策，引入了風險與損失概念，期望做到使風險最小，減小危害大的錯分類狀況。錯分類造成損失不一樣，不同的錯誤分類造成的損失也是不一樣的，不同的錯誤分類造成的損失會不相同，后一種錯誤更加可怕，因此就考慮減小因錯誤分類造成的危害損失。2.Bayes算法假設總共有M類物體，以及各類在這d維特征空間的統計分布，具體說來就是各類別wi=1,2,M的先驗概率Pwi及類條件概率

4、密度函數PX|wi。對于待測樣品，Bayes公式可以計算出該樣品分屬于各類別的概率，叫做后驗概率，看X屬于哪個類的可能性最大，就把X歸于可能性最大的那個類，后驗概率作為識別對象歸屬的依據。Bayes公式如下： 識別的狀態就是一個隨機變量，而某種狀態消滅概率是可以估量的。Bayes公式表達了先驗概率，類概率密度函數，后驗概率三者之間的關系。2.1先驗概率Pwi 先驗概率Pwi針對M個大事消滅的可能性而言，不考慮其他條件。例如由統計資料說明總藥品數為n，其中正常藥品數為n1，特別藥品數為n2，那么 稱Pw1和P(w2)為先驗概率。明顯在一般狀況下正常藥品所占比例比較大，即Pw1>P(w2)，

5、僅依據先驗概率來決策，就會把全部藥品都劃歸為正常藥品，并沒有到達將正常藥品與特別藥品區分開的目的。這說明先驗概率所供給的信息太少。2.2類條件概率密度函數PX/wi是指在某類別的特征空間中，消滅特征值X的概率密度，即第wi類樣品它的屬性X是如何分布的。 在工程上很多的問題中，統計數據往往滿足正態分布規律。正態分布簡潔，分析便利，參量少，是一種適宜的數學模型。假設接受正態密度函數是作為類條件概率密度的函數形式，那么函數內的參數如期望方差是未知的，那么問題就變成了如何利用大量樣品對這些參數進行估量，只要估量出這些參數，類條件概率密度函數PX|wi也就可以確定了。單變量正態分布概率密度函數為： 其中

6、：u為數學期望均值；為方差。多維正態密度函數為：其中：S為N維協方差矩陣；S-1為S的逆矩陣=u1,u2,un為N維均值向量；X=x1,x2,xN為N維特征向量在大多數狀況下，類條件概率密度函數是可以接受多維變量的正太概率密度函數來模擬，即：2.3后驗概率后驗概率是指呈現狀態X時，該樣品分屬各類別的概率，這個概率值可以作為識別對象歸屬的依據。由于屬于不同類的待識別對象存在著呈現相同的觀看值的可能，即所觀看到的某一樣品的特征向量為X，而在類中有不止一類可能呈現這一值，它屬于各類的概率可用Pwi|X表示。可以利用Bayes公式來計算這條件概率，稱之為狀態的后驗概率：P(wi|X)是表示在X消滅條件

7、下，樣品為wi類的概率。2.4 P(w1|X)和Pw2|X與P(X|w1)和PX|w2的區分 P(w1|X)和Pw2|X是在同一條件下，比較w1與w2消滅的概率，如P(w1|X)>Pw2|X,那么可能的以下結論，在X條件下，大事w1消滅的可能性比大事w2消滅的可能性大。 P(w1|X)與Pw2|X都是指各自條件下消滅X的可能性，兩者之間沒有聯系，比較兩者沒有意義。P(w1|X)與Pw2|X是在不同條件下爭辯問題，不能因為P(w1|X)>Pw2|X,就認為X是第一類事物的可能性較大。3算法的實現3.1基于最小錯誤率Bayes分類實現數字樣品的識別實現： 在手寫的數字識別中屬于多類狀況

8、，每類樣品呈正態分布。1求出每一類手寫數字樣品的均值 Ni代表wi類的樣品個數，n代表特征數目。2求每一類的協方差矩陣 L代表樣品在wi類中的序號，其中l=0,1,2，Ni。Xlj代表wi類的第L個樣品，第J個特征值。代表wi類的Ni個樣品第j個特征的平均值。Xlk代表wi類的第l個樣品，第K個特征值。代表wi類的Ni個樣品第K個特征的平均值。Wi類的協方差矩陣為：3計算出每一類的協方差矩陣的逆矩陣Si-1以及協方差矩陣的行列式|Si|。4求出每一類的先驗概率： 其中P(wi)為類別為數字i的先驗概率，Ni為數字i的樣品數，N為樣品總數。5將各個數帶入判別函數6判別函數最大值所對應就是手寫數字

9、的類別。3.2基于最小風險的Bayes分類實現1求出每一類手寫數字樣品的均值。 Nj代表wi類的樣品個數，n代表特征數目。2求每一類的協方差矩陣。 Wi類的協方差矩陣為3計算出每一類協方差矩陣的逆矩陣以及協方差矩陣行列式.4求出每一類的先驗概率 其中Pwi為類別為數字i的先驗概率，Ni為數字i的樣品數，N為樣品總數。5定義損失數組為loss1010.設初值為 6計算每一類損失riski：7找出最小損失所對應的類，該類即是待測樣品所屬的類別。附錄：/最小錯誤率Bayes分別器算法實現int Classfication:BayesLeastError() double X25;/待測樣品 doub

10、le Xmeans25;/樣品的均值 double S2525;/協方差矩陣 double S_2525;/S的逆矩陣 double Pw；/先驗概率、 double hx10;/判別函數 int i，j,k,n; for(n=0;n<10;n+)/循環類別9 int num=paternn.number;/樣品的個數 /* * *Functions:求樣品的平均值 * */ for(i=0;i<25;i+) Xmeansi=0.0; for(k=0;k<num;k+) for(i=0;i<25:i+) Xmeansi+=paternn.featureki>0.1

11、?1.0:0.0; for(i=0;i<25:i+) Xmeansi/=(double)num; /* * *Functions:求協方差矩陣 * */ double mode20025; for(i=0;i<num;i+) for(j=0;j<25;j+) modeij=paternn.featureij>0.1?1.04:0.0; for(i=0;i<25;i+) for(j=0;j<25;j+) double s=0.0; for(k=0;k<num;k+) s=s+(modeki-Xmeansi*(modekj-Xmeansj); s=s/(d

12、ouble)(num-1); Sij=s; /* * *Functions:求先驗概率 * */ int total=0; for(i=0;i<10;i+) total+=paterni.number; Pw=(double)num/(double)total; /* * *Functions:求S的逆矩陣 * */ / for(i=0;i<25;i+) for(j=0;j<25;j+) S_ij=Sij; double(*p)25=S_; brinv(*p,25); /* * *Functions:求S的行列式 * */ double (*pp)25=S; double DetS; DetS=bsdet(*pp,25); /* * *Functions:求判別函數 * */ for(i=0;i<25;i+) Xi=testsamplei>0.1?1.0:0.0; for(i=0;i<25;i+) Xi-=Xmeansi; double t25; for(i=0;i<25;i+) ti=0; brmul(X,S_,25,t); double t1=brmul(t,X,25);/矩陣A與矩陣B的乘積矩陣C=AB doub