摘要：模式識別是對表征事物或現(xiàn)象的各種形式的(數(shù)值的，文字的和邏輯關(guān)系的目的，是信息科學(xué)和人工智能的重要組成部分。而統(tǒng)計(jì)決策理論是處理模式分類問題的基本理論之一，它對模式分析和分類器的設(shè)計(jì)有著實(shí)際的指導(dǎo)意義。本文歸納總結(jié)了統(tǒng)計(jì)模式識別的不同方案的詳細(xì)性能，比較了它們的原理、算關(guān)鍵詞：統(tǒng)計(jì)模式識別貝葉斯決策方法幾何分類法監(jiān)督參數(shù)統(tǒng)計(jì)法非監(jiān)督參andartificialintelligence.Whilestatisticalpatternrecognitionisoneofanalyzingandclassifsumupthedetailedperformanceofsummarizingdiwhichcountsthepatternrecognitialgorithm,attribute,usingoccasio智能的興起，模式識別在60年代初迅速發(fā)展成為一門學(xué)科。模式識別方法大致可以分為四類，即統(tǒng)計(jì)決策法、句法結(jié)構(gòu)法、模糊判決法和人其中，統(tǒng)計(jì)決策論發(fā)展較早，理論也較成熟。其要點(diǎn)是提取待識別模式的一組統(tǒng)督參數(shù)統(tǒng)計(jì)法、非監(jiān)督參數(shù)統(tǒng)計(jì)法及聚類分析法。下文將對它們的性能進(jìn)行詳細(xì)2幾點(diǎn)統(tǒng)計(jì)識別方法介紹及比較2.被決策的分類數(shù)是一定的3.被識別的事物或?qū)ο笥卸鄠€(gè)特征觀測值概率密度函數(shù)，便可根據(jù)貝葉斯公式，求解后驗(yàn)概率，并按后驗(yàn)概率的大小來判設(shè)有R類樣本，分別為w1,w2,,wR,已知每類的先驗(yàn)概率為P(wi),其中i=1,2,對于兩類模式集(w1,w2)的分類，貝的損失。該損失用入表示，它是與本該屬于wi但采取的決策為aj所造成的損觀察值時(shí)，同樣采取aj時(shí)，其條件風(fēng)險(xiǎn)是不同的。因此a又是X的總的風(fēng)險(xiǎn)反應(yīng)對整個(gè)特征空間上所有X采取決策a(X)所帶來的平均風(fēng)險(xiǎn)，而條件風(fēng)險(xiǎn)只反映對某一一X值米取決策aj所帶來的風(fēng)險(xiǎn)。若每個(gè)條件風(fēng)險(xiǎn)都是最<滿足此式，便可判別X或X先給定入j,特別是要有足夠的經(jīng)驗(yàn)，以給定入j,因?yàn)樵摐?zhǔn)則和損失函數(shù)入ij有￡1為最小，這就使聶曼－皮爾孫判別準(zhǔn)則，也稱為在限定一類錯(cuò)誤率條件下3i的子空間，便可實(shí)現(xiàn)模式分類。因此，把這種分類方法稱為幾何分類法，把這種分離函數(shù)成為判別函數(shù)。從而，幾何分類法也通常稱為判別函數(shù)法。度的知識，因此在一些場合下，比基于貝葉斯公式的概率分類法簡單2.2.1線性可分的幾何分類法對特征向量X在二維平面上，存在一直線方程形式的線性判別函數(shù):將某一未知類別的樣本X代入g（X）,如為正值，則它屬于31類;如為負(fù)值,當(dāng)X是三維的，判別函數(shù)為一平面方程。當(dāng)n維（n>3）時(shí)判別函數(shù)為一超平面,要進(jìn)行模式分類,就要確定判別函數(shù)的形式及其參數(shù)。是:首先已知一組有類別的樣本訓(xùn)練集。第二,選擇一個(gè)準(zhǔn)則函數(shù)，該函數(shù)既與樣念。感知器主要是一種人腦的模型,而不僅僅是模式識別裝置。它實(shí)神經(jīng)網(wǎng)絡(luò)的工程模型。它用權(quán)函數(shù)連接網(wǎng)絡(luò)的各個(gè)元素，構(gòu)成一種非線性網(wǎng)利用感知器原則，構(gòu)造一個(gè)準(zhǔn)則函數(shù)J：求最優(yōu)解的常用算法是梯度下降法，即一出初值W(1)=常數(shù)，通過代入式(5)，得這就使感知器準(zhǔn)則的W(k+1)=W(k),對此給與“賞”或“不罰”，權(quán)向量不變。當(dāng)，表示分類錯(cuò)誤，對此給與“罰”，使W(k)加一個(gè)正比于X(k)的分量。常稱此為“賞—罰”反復(fù)迭代，直到全部訓(xùn)練及獲得正確分類，迭代才結(jié)束。這時(shí)的就是所求的，2.2.2非線性可分的幾何分類法非線性分類理論為劃分樣本空間提供了最通用把每一類分為若干個(gè)子類，即令;我們不是選擇各個(gè)子類的均值為代表點(diǎn)設(shè)計(jì)最小距離分類器，而是對于每個(gè)子類定義一個(gè)線性判別函數(shù)為對于c類問題，可以定義c個(gè)判別函數(shù)并得到?jīng)Q策規(guī)則:若則決策從直觀上看，對于任意樣本向量x,必有某個(gè)子類的判別函數(shù)值較其他各子類的判別函數(shù)值為最大。假如具有最大值的判別函數(shù)是，則把歸到子類所屬的2.二次判別函數(shù)二次判別函數(shù)的一般表達(dá)式為經(jīng)分好類別的訓(xùn)練樣本點(diǎn)“記入”多維空間中，然后將待分類的未知樣本也記入空間。考察未知樣本的K個(gè)近鄰，若近鄰中某一類樣本最多，則可以將未知樣本KNN法的好處是它對數(shù)據(jù)結(jié)構(gòu)沒有特定的要求，只要用每個(gè)未知點(diǎn)的近鄰屬性縮，因此每判斷一個(gè)新的未知點(diǎn)都要將所有對已知點(diǎn)的距離全部算一遍，計(jì)算工然后判別未知樣本點(diǎn)與各類的重心的距離；未知樣本與哪一類重心距離最近，即將未知樣本歸于哪一類；這值；而ALKNN法對K值的選取是根據(jù)每類樣本的數(shù)目和分散程度進(jìn)行的，對類gi在xi處的概率密度越大，這一概率密度可由下式計(jì)算:大，即歸入哪一類。此法的錯(cuò)誤率為上式可以粗略表示為近鄰法錯(cuò)誤率在貝葉斯錯(cuò)誤率P*和兩倍貝葉斯錯(cuò)誤率2P*之間。這種近鄰法的雖然在所有情況下，對未知樣本x都可以進(jìn)行決策，但當(dāng)錯(cuò)誤代價(jià)很大時(shí)，會產(chǎn)Fisher判別分析法的基本原理就是將多維空間樣本點(diǎn)分布的圖象投影到二維或者一維，投影方向選擇的原則是使兩類樣本點(diǎn)盡可能分開。求投影方向，得到兩類點(diǎn)分開的最佳的方向和次佳方向，由這兩個(gè)方向張成二維平面，可使投影形成二維分類圖；垂直于分界線的法線代表使樣本向一類或者二類轉(zhuǎn)化的方向。況和“劣類”工況就可以用Fisher方法分開；相反，如果優(yōu)化區(qū)在生產(chǎn)實(shí)際作業(yè)區(qū)的中心區(qū)，用Fisher方法就不能將“優(yōu)、劣”樣本分開這時(shí)就得用其他的單峰子集(類)的分離方法：投影方法和基于對稱集性質(zhì)的單峰子集分離法。分為若干個(gè)區(qū)域在每個(gè)區(qū)域的混合密度應(yīng)該是單峰的。以后我們把這些區(qū)域叫做單峰區(qū)域。每一個(gè)單峰區(qū)域和一個(gè)類別相對應(yīng)。2.于樣本空間相似性度量的間接聚類方法動態(tài)聚類方法是一種普遍采用的方法，它具有(3)給定某個(gè)初始分類，然后用迭代算法找出使準(zhǔn)則函數(shù)取極值的態(tài)聚類算法、近鄰函數(shù)準(zhǔn)則算法和分級聚類方法。2.5聚類分析法在沒有訓(xùn)練集的情況下，對一批沒有類別的被識別樣本進(jìn)行自動分類，要按照樣本之間的相似程度分類，即俗語講的“物以類聚，人以群分”，這種分類方法稱為聚類分析，它是一種無教師的非監(jiān)督的分類方法。這是引入權(quán)值3i，對式（8）的修正。距離函數(shù)還有很多其他的定義方法，在此不再---------列舉。具體應(yīng)用上述距離函數(shù)時(shí)，要注意特征分量（檢測的物理量）的量綱。例如測量長度時(shí)，用密或毫米作量綱，其計(jì)算結(jié)果差異很大，因此常使特征數(shù)據(jù)歸一化。相似性的夾角函數(shù)使用特征向量X,Y的矢量夾角的余弦來表示，即式中B—兩向量的夾角;若有未知類別的n個(gè)樣本，要把它們分到C類中，可以有不同的聚類方法，如是憑經(jīng)驗(yàn)，根據(jù)分類問題，選擇一種準(zhǔn)則（例如以距離函數(shù)作相似性度量），用近鄰函數(shù)法a.計(jì)算距離結(jié)果，如果D21VT1,則認(rèn)為X2在下一步，取第三個(gè)樣本X3,分別按距離函數(shù)計(jì)算X3到Z1、Z2的距X2都不同類。并需建立第三個(gè)聚類中心Z3=X3用上述方法對全部樣本計(jì)算距離，比較閥值，決定聚類。這種方法計(jì)算簡單。當(dāng)具有一些模式分布先驗(yàn)知識，b.最大最小距離法這種方法以歐氏距離為度量，先選擇相距最遠(yuǎn)的兩點(diǎn)為中心，分別計(jì)算各種本到這兩中心的距離Di1和Di2,i=1,2,判決聚類。故稱最大最小距離法。以下圖十點(diǎn)為例，第一步：任意取X1為第一個(gè)聚類中心，即X1=Z1o第二步：確定離X1最遠(yuǎn)的標(biāo)本，如圖的X6,令X6=Z2。模式識別是信息科學(xué)和人工智能的重要組成部分,而統(tǒng)計(jì)決策理論是處理模式分類問題的基本理論之