1、感知器算法求判別函數(shù)一、實(shí)驗(yàn)?zāi)康恼莆张袆e函數(shù)的概念和性質(zhì)，并熟悉判別函數(shù)的分類方法，通過實(shí)驗(yàn)更深入的了解判別函數(shù)及感知器算法用于多類的情況，為以后更好的學(xué)習(xí)模式識(shí)別打下基礎(chǔ)。二、實(shí)驗(yàn)內(nèi)容學(xué)習(xí)判別函數(shù)及感知器算法原理，在MATLAB平臺(tái)設(shè)計(jì)一個(gè)基于感知器算法進(jìn)行訓(xùn)練得到三類分布于二維空間的線性可分模式的樣本判別函數(shù)的實(shí)驗(yàn)，并畫出判決面，分析實(shí)驗(yàn)結(jié)果并做出總結(jié)。三、實(shí)驗(yàn)原理3.1判別函數(shù)概念直接用來對模式進(jìn)行分類的準(zhǔn)則函數(shù)。若分屬于必，32的兩類模式可用一方程d(X)=0來劃分，那么稱d(X)為判別函數(shù)，或稱判決函數(shù)、決策函數(shù)。如，一個(gè)二維的兩類判別問題，模式分布如圖示，這些分屬于必，32兩類的模

2、式可用一直線方程d(X)=0來劃分。其中d(X)=wkw2x2w3=0(1)x1,x2為坐標(biāo)變量。將某一未知模式X代入(1)中：若(X)>0,則XW孫類;若(X)<0,則X亡鬼類；若(X)=0,則X*r或X*s或拒絕維數(shù)=3時(shí)：判別邊界為一平面。維數(shù)>3時(shí)：判別邊界為一超平面1。3.2 感知器算法1958年，(美)F.Rosenblatt提出，適于簡單的模式分類問題。感知器算法是對一種分類學(xué)習(xí)機(jī)模型的稱呼，屬于有關(guān)機(jī)器學(xué)習(xí)的仿生學(xué)領(lǐng)域中的問題，由于無法實(shí)現(xiàn)非線性分類而下馬。但“賞罰概念(reward-punishmentconcept)”得到廣泛應(yīng)用，感知器算法就是一種賞罰過

3、程2。兩類線性可分白模式類與。2，設(shè)d(X)=WX其中，w=JW1,w2，wn,wn小，X=X1,x2，xn,1T應(yīng)具有性質(zhì)T0,d(X)=WTX0,對樣本進(jìn)行規(guī)范化處理，即32類樣本全部乘以(-1),則有:(3)火X)=wTx>o感知器算法通過對已知類別的訓(xùn)練樣本集的學(xué)習(xí)，尋找一個(gè)滿足上式的權(quán)向量。感知器算法步驟：(1)選才IN個(gè)分屬于/和32類的模式樣本構(gòu)成訓(xùn)練樣本集X1，XN構(gòu)成增廣向量形式，并進(jìn)行規(guī)范化處理。任取權(quán)向量初始值W(1),開始迭代。迭代次數(shù)k=1o(2)用全部訓(xùn)練樣本進(jìn)行一輪迭代，計(jì)算WT(k)Xi的值，并修正權(quán)向量。分兩種情況，更新權(quán)向量的值：1 .若WT(kXi0

4、0,分類器對第i個(gè)模式做了錯(cuò)誤分類，權(quán)向量校正為：Wk1=WkcXic：正的校正增量。2 .若W(kXi>°，分類正確，權(quán)向量不變：W(k+1)=W(k)統(tǒng)一寫為：W(jt)+cxWr(Jt)Xt>0Wr(t)X,<0(4)(3)分析分類結(jié)果：只要有一個(gè)錯(cuò)誤分類，回到(2),直至對所有樣本正確分類。感知器算法是一種賞罰過程：分類正確時(shí)，對權(quán)向量“賞”一一這里用“不罰”，即權(quán)向量不變；分類錯(cuò)誤時(shí)，對權(quán)向量“罰”一一對其修改，向正確的方向轉(zhuǎn)換3。3.3 感知器算法的流程及框圖1、確1定樣本：輸入向量P、目標(biāo)向量To2、網(wǎng)絡(luò)大小：根據(jù)向量的維數(shù)來選擇網(wǎng)絡(luò)規(guī)模。3、初始化：

5、Wb取隨機(jī)值，范圍-1,+1網(wǎng)絡(luò)輸出：根據(jù)P、Wb來計(jì)算網(wǎng)絡(luò)的輸出Y。5 、學(xué)習(xí)偏差：E=T-Y。6 、新的網(wǎng)絡(luò)參數(shù)：W?=W+EXPT、。？=0+E(5)反復(fù)訓(xùn)練，直到達(dá)到目標(biāo)，或達(dá)到最大的訓(xùn)練次數(shù)。任選一初始增廣權(quán)矢量用訓(xùn)練樣本檢盍分類是否前二二No對權(quán)值進(jìn)行校正1號(hào)所有訓(xùn)練樣本都正確分類匚二IYesEND圖1感知器算法流程圖四、實(shí)驗(yàn)結(jié)果與分析本次實(shí)驗(yàn)先產(chǎn)生了三組服從正態(tài)分布的樣本，通過感知器算法畫出了他們的判別函數(shù)如圖2所示：FileEditViewInsertTookDesktopWn-dowHelpSJd/環(huán)10群®0乂，曼口OINatenewtoolbarbuttons:

6、d田tmbruEhimig&.linkEdplots乂1,4國vid/口x10e6420H1NVhh-s一巍窣才+4"->*a49*d14aP一$一J：X1、w!A*：J留過*1*1sli411I-10-GJ-20246810圖2畫出的判別面得到的判別函數(shù)分別是d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872x2-48.0000d3=-252.8807x1-224.7119x2-72.0000通過分析上述實(shí)驗(yàn)結(jié)果，雖然由于感知器算法是倆倆比較，并且是線性分類，所以第三條判別函數(shù)可能會(huì)穿過第三類樣本，但可以看出判別函數(shù)把

7、三類樣本兩兩分開，達(dá)到了實(shí)驗(yàn)的目的，也掌握了感知器算法的原理。五、總結(jié)本文通過研究基于感知器算法進(jìn)行樣本分類，用MATLAB語言設(shè)計(jì)了程序，結(jié)果表明該系統(tǒng)基本實(shí)現(xiàn)了要求的功能，但系統(tǒng)也存在第三條判別函數(shù)不理想的情況，這也是感知器算法無法實(shí)驗(yàn)非線性分類的結(jié)果，以后學(xué)習(xí)其他算法后可以改進(jìn)。參考文獻(xiàn)1夏東盛，李永濤，張曉，等.模式線性可分時(shí)的一種單層感知器算法C/中國計(jì)算機(jī)學(xué)會(huì)第一屆全國Web信息系統(tǒng)及其應(yīng)用學(xué)術(shù)會(huì)議.2004:29-31.2劉建偉，申芳林，羅雄麟.感知器學(xué)習(xí)算法研究J.計(jì)算機(jī)工程，2010,第7期(7):190-192.3易中凱.感知器網(wǎng)絡(luò)學(xué)習(xí)算法研究與應(yīng)用D.北京理工大學(xué)，200

8、1.附錄程序源代碼clear;clc;mu1=12;S1=0.250;00.7;data1=mvnrnd(mu1,S1,100);mu2=46;S2=0.50;00.45;data2=mvnrnd(mu2,S2,100);mu3=-55;S3=0.70;00.4;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三組服從正態(tài)分布的樣本one=zeros(100,1);one(:,1)=1;X1=data1one;X2=data2one;X3=data3one;知曾廣矩陣W1=0,0,0;W2=0,0,0;W3=0,0,0;%W臺(tái)權(quán)向量whil

9、etruecounter=0;fori=1:100%寸第一組訓(xùn)練樣本迭代d11=W1*X1(i,:)'d12=W2*X1(i,:)'d13=W3*X1(i,:)'ifd11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfori=1:100%寸第二組訓(xùn)練樣本迭代d21=W1*X2(i,:)'d22=W2*X2(i,:)'d23=W3*X2(i,:)'ifd22>d21&&

10、;d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);endendfori=1:100%對第三組訓(xùn)練樣本迭代d31=W1*X3(i,:)'d32=W2*X3(i,:)'d33=W3*X3(i,:)'ifd33>d31&&d33>d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendifcounter=300breakendendplo

11、t(data(:,1),data(:,2),'b.','MarkerSize',6);%出三組聚類點(diǎn)holdon;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%fe成函數(shù)y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-b2)-

12、(c3-c2)/(b3-b2);holdon;plot(x,y1,'c',x,y2,'r',x,y3,'b')徭出判決面axis(-1010-210);holdon;gridon;7 Toolate為時(shí)太晚Theplanewaslateanddetectiveswerewaitingattheairportallmorning.TheywereexpectingavaluableparcelofdiamondsfromSouthAfrica.Afewhoursearlier,someonehadtoldthepolicethatthieveswo

13、uldtrytostealthediamonds.Whentheplanearrived,someofthedetectiveswerewaitinginsidethemainbuildingwhileotherswerewaitingontheairfield.TwomentooktheparcelofftheplaneandcarrieditintotheCustomsHouse.Whiletwodetectiveswerekeepingguardatthedoor,twoothersopenedtheparcel.Totheirsurprise,thepreciousparcelwasf

14、ullofstonesandsand!飛機(jī)誤點(diǎn)了，偵探們在機(jī)場等了整整一上午。他們正期待從南非鉆石的貴重包裹。幾個(gè)小時(shí)前，有人告訴警察，小偷想偷鉆石。當(dāng)飛機(jī)到達(dá)時(shí)，一些偵探等候在主樓內(nèi)，另一部分則等在停機(jī)坪。兩個(gè)男人帶著包裹下了飛機(jī)，進(jìn)了海關(guān)。當(dāng)兩個(gè)偵探把住門口，另外兩個(gè)打開包裹。令他們吃驚的是，那珍貴的包裹里面裝的全是石頭和沙子！Thebestandtheworst最好的和最差的JoeSandershasthemostbeautifulgardeninourtown.Nearlyeverybodyentersfor'TheNicestGardenCompetition'eachyear,butJoewinseverytime.BillFrith'sgardenislargerthanJoe's.BillworksharderthanJoeandgrowsmoreflowersandvegetables,butJoe'sgardenismoreinteresting.Hehasmadeneatpathsandhasbuiltawoodenbridgeoverapool.Ilikegardenstoo,butIdonotlikehardwork.EveryyearIent