1、文稿歸稿存檔編號：KKUY-KKIO69-OTM243-OLUI129-G00I-FDQS58-1、什么是BP網(wǎng)絡(luò)的泛化能力？如何保證BP網(wǎng)絡(luò)具有較好的泛化能力？（5分）解：（1）BP網(wǎng)絡(luò)訓(xùn)練后將所提取的樣本對中的非線性映射關(guān)系存儲(chǔ)在權(quán)值矩陣中，在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層感知器的泛化能力，它是衡量多層感知器性能優(yōu)劣的一個(gè)重要方面。（2）網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，要用訓(xùn)練集以外的測試數(shù)據(jù)來進(jìn)行檢驗(yàn)。在隱節(jié)點(diǎn)數(shù)一定的情況下，為獲得更好的泛化能力

2、，存在著一個(gè)最佳訓(xùn)練次數(shù)t,訓(xùn)練時(shí)將訓(xùn)練與測試交替進(jìn)行，每訓(xùn)0練一次記錄一訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變，用測試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測試均方誤差，利用兩種誤差數(shù)據(jù)得出兩條均方誤差隨訓(xùn)練次數(shù)變化的曲線，測試、訓(xùn)練數(shù)據(jù)均方誤差曲線如下圖1所示。訓(xùn)練次數(shù)t稱為最佳訓(xùn)練次數(shù)，當(dāng)超過這個(gè)訓(xùn)練次數(shù)后，0訓(xùn)練誤差次數(shù)減小而測試誤差則開始上升，在此之前停止訓(xùn)練稱為訓(xùn)練不足，在此之后稱為訓(xùn)練過度。圖1.測試、訓(xùn)練數(shù)據(jù)均方誤差曲線2、什么是LVQ網(wǎng)絡(luò)？它與SOM網(wǎng)絡(luò)有什么區(qū)別和聯(lián)系？（10分）解：（1）學(xué)習(xí)向量量化（learningvectorquantization，LVQ）網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上提

3、出的，LVQ將競爭學(xué)習(xí)思想和監(jiān)督學(xué)習(xí)算法相結(jié)合，減少計(jì)算量和儲(chǔ)存量，其特點(diǎn)是網(wǎng)絡(luò)的輸出層采用監(jiān)督學(xué)習(xí)算法而隱層采用競爭學(xué)習(xí)策略，結(jié)構(gòu)是由輸入層、競爭層、輸出層組成。（2）在LVQ網(wǎng)絡(luò)學(xué)習(xí)過程中通過教師信號對輸入樣本的分配類別進(jìn)行規(guī)定，從而克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點(diǎn)。自組織映射可以起到聚類的作用，但還不能直接分類和識別，因此這只是自適應(yīng)解決模式分類問題中的第一步，第二步是學(xué)習(xí)向量量化，采用有監(jiān)督方法，在訓(xùn)練中加入教師信號作為分類信息對權(quán)值進(jìn)行細(xì)調(diào)，并對輸出神經(jīng)元預(yù)先指定其類別。3、設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)對圖一中的三類線性不可分模式進(jìn)行分類，期望輸出向量分別用(1,-1,

4、T)T、(-1,1,-1)T、(-1,-1,1)T代表三類，輸入用樣本坐標(biāo)。要求：(1)選擇合適的隱節(jié)點(diǎn)數(shù)；(2)用BP算法訓(xùn)練網(wǎng)絡(luò)，對圖中的9個(gè)樣本進(jìn)行正確分類。(15分)分析：對于一個(gè)BP神經(jīng)網(wǎng)絡(luò)，首先要明確輸入，輸出，隱層節(jié)點(diǎn)個(gè)數(shù)。對于本題，輸入是點(diǎn)坐標(biāo)組成的2*9的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2，期望輸出向量分別用(1,-1,-1)T、(1,1,-IM、(-1,-1,1)T表示，至于隱層節(jié)點(diǎn)的個(gè)數(shù)并沒有確切的方法，根據(jù)經(jīng)驗(yàn)公式m=n+l+a(m為隱層節(jié)點(diǎn)數(shù)；n為輸入層節(jié)點(diǎn)數(shù)；l為輸出節(jié)點(diǎn)數(shù)；a為110之間的常數(shù))，首先確定隱層節(jié)點(diǎn)數(shù)為5，逐漸增加隱層節(jié)點(diǎn)數(shù)量，然后觀察其對訓(xùn)練誤差的影響，最終選

5、出最合適的隱層節(jié)點(diǎn)數(shù)量。表1.BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練、分類結(jié)果隱層節(jié)點(diǎn)數(shù)誤差精度訓(xùn)練次數(shù)分類結(jié)果正確率50.366491100%70.331981100%90.325338100%100.320770100%120.314052100%140.311622100%用matlab編程，設(shè)定訓(xùn)練誤差精度為0.3,學(xué)習(xí)率0.2,然后進(jìn)行訓(xùn)練，記錄不同隱層節(jié)點(diǎn)數(shù)的情況下達(dá)到相同的訓(xùn)練精度所需要的訓(xùn)練次數(shù)，當(dāng)隱層節(jié)點(diǎn)數(shù)為M=5時(shí)，在訓(xùn)練次數(shù)為66491時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=7時(shí)，在訓(xùn)練次數(shù)到達(dá)31981時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=9時(shí)時(shí)，在訓(xùn)練次數(shù)達(dá)到25338時(shí)，結(jié)果達(dá)到訓(xùn)練精度；

6、當(dāng)隱層節(jié)點(diǎn)數(shù)M=10時(shí)，在訓(xùn)練次數(shù)達(dá)到20770時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=12時(shí)，在訓(xùn)練次數(shù)達(dá)到14052時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=14時(shí),在訓(xùn)練次數(shù)達(dá)到11622時(shí)，結(jié)果達(dá)到訓(xùn)練精度，由此可見，在一定范圍內(nèi)，隱層節(jié)點(diǎn)數(shù)越多，達(dá)到訓(xùn)練精度時(shí)所用的訓(xùn)練次數(shù)越少，所用訓(xùn)練時(shí)間則越少。因此選擇隱層節(jié)點(diǎn)數(shù)為14。學(xué)習(xí)率0.3，誤差精度在0.1以下，輸出結(jié)果和導(dǎo)師信號對比，輸出結(jié)果都為正確，正確率達(dá)到100%。具體程序見附件一或者BPclassify.m。4、試設(shè)計(jì)一個(gè)吸引子為Xa二(0110)T，Xb=(1001)T的離散Hopfield人工神經(jīng)網(wǎng)絡(luò)。其權(quán)值和閾值在-1，1區(qū)間

7、取值，試求權(quán)值和閾值。(10分)解：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值(包括閾值)決定的，設(shè)計(jì)吸引子的核心就是如何設(shè)計(jì)一組合適的權(quán)值。為了使所設(shè)計(jì)的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣。為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對稱陣。保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。具體設(shè)計(jì)時(shí)，這里采用了聯(lián)立方程法：以4節(jié)點(diǎn)DHNN為例，說明權(quán)值設(shè)計(jì)的聯(lián)立方程法。考慮到w=w，w=0，對穩(wěn)態(tài)x(t+1)=x(t)。ijjiii對于狀態(tài)Xa=(1001)T，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=wX0+wX0+wX1?T1=w?T10(1)12131414net2

8、=wX1+wX0+wX1?T2=w+w?T20(2)1223241224net3=wX1+wX0+wX1?T3=w+w?T30(4)14243414對于Xb=(0110)T狀態(tài)，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=w12X1+w13X1+w14X0?T1=w+w?T10(6)232423net3=wX0+wX1+wX0?T3=w?T30(7)233423net4=wX0+wX1+wX1-T4二w+w-T40(8)24342434聯(lián)立以上8項(xiàng)不等式，可求出未知量的允許取值范圍。如取w=0.7，則由式(1)14有-lWT0.7，取T二0.6；則由式(4)有-lWT0.7,取T二0.6；取可=0.4，由式

9、14412(5)，有-lWw0.2，取w=0.1；取w=0.2由式(2),131324有0.6TW1,取T=0.8；由式(6),有0.8wW1,取w=0.9；由式(7)，22323有？1WT0.9，取T=0.4；由式(3,8),有TwW0.3，取w=0.2。33434可以驗(yàn)證，利用這組參數(shù)構(gòu)成的DHNN網(wǎng)對于任何初態(tài)最終都將演變到兩吸引子Xa=(1001)t和Xb=(0110)T。整理權(quán)值與閾值為：5、下面給出的訓(xùn)練集由玩具兔和玩具熊組成。輸入樣本向量的第一個(gè)分量代表玩具的重量，第二個(gè)分量代表玩具耳朵的長度，教師信號為1表示玩具兔，教師信號為1表示玩具熊。用matlab訓(xùn)練一個(gè)感知器，求解此分

10、類問題。(需附上matlab程序)用輸入樣本對所訓(xùn)練的感知器進(jìn)行驗(yàn)證。(15分)分析：對于本題，輸入是樣本組成的2*8的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2，輸出由導(dǎo)師信號可知分為兩類。兩個(gè)輸入分量在幾何上構(gòu)成一個(gè)二維平面，輸入樣本可以用該平面上的一個(gè)點(diǎn)表示，玩具重量和長度在坐標(biāo)中標(biāo)出，可以看出明顯分布在兩個(gè)區(qū)域，可以用一條線分開分為兩類，在線上方的輸出結(jié)果應(yīng)大于0，在線下方的輸出結(jié)果應(yīng)小于0。權(quán)向量為2*9的矩陣，輸入的第一個(gè)權(quán)向量權(quán)值賦予較小的非零隨機(jī)數(shù)，每一個(gè)新的權(quán)向量都由上一個(gè)權(quán)向量調(diào)整，下一次循環(huán)第1個(gè)權(quán)向量由第9個(gè)權(quán)向量來調(diào)整。對于這樣的樣本線性可分，經(jīng)過幾次調(diào)整后就穩(wěn)定到一個(gè)權(quán)向量，將樣本正確

11、分類的權(quán)向量不是唯一的。具體程序見附件二或者ganzhiqi.m。輸出分類結(jié)果如下圖所示。表2.單層感知器訓(xùn)練、分類結(jié)果訓(xùn)練次數(shù)分類結(jié)果正確率4100%3100%5100%圖2.感知器在二維平面的分類結(jié)果附件一：第三題程序clearall;%BP算法初始化D=1,-1,-1;1,-1,-1;1,-1,-1;-1,1,-1;-1,1,-1;-1,1,-1;1,-1,1;-1,-1,1;-1,-1,1;X=0.75,0.75;0.75,0.125;0.25,0.25;0.25,0.75;0.5,0.125;0.75,0.25;0.25,0.5;0.5,0.5;0.75,0.5;N,n=size(X

12、);L,Pd=size(D);%M=ceil(sqrt(N*L)+7;ceil函數(shù)為正無窮方向取整m=14;%隱層節(jié)點(diǎn)數(shù)%初始化權(quán)矩陣%輸入層到隱層權(quán)矩陣V=rand(N,m);%隱層到輸出層權(quán)矩陣W=rand(m,L);%開始訓(xùn)練，轉(zhuǎn)移函數(shù)選擇雙極性Sigmoid函數(shù)Q=100000;%訓(xùn)練次數(shù)計(jì)數(shù)器E二zeros(Q,l);%誤差Emin=0.3;%訓(xùn)練要求精度learnr=0.2;%學(xué)習(xí)率q=1；%訓(xùn)練次數(shù)計(jì)數(shù)，批訓(xùn)練%權(quán)值調(diào)整whileqQnetj=V.*X;Y=(1-exp(-netj)./(1+exp(-netj);netk=W.*Y;O=(1-exp(-netk)./(1+exp

13、(-netk);E(q)=sqrt(sum(sum(D-O).八2)/2);%計(jì)算總誤差ifE(q)Eminbreak;endDelta_o=(D0).*(10.八2)./2;W=W+learnr*(Delta_o*Y.).;%隱層和輸出層間的權(quán)矩陣調(diào)整Delta_y=(W*Delta_o).*(1-Y2)./2;V=V+learnr*(Delta_y*X.).;%輸入層和隱層間的權(quán)矩陣調(diào)整q=q+1;end%輸出結(jié)果qO=sign(O)%符號函數(shù)取整A=find(O=D);%和計(jì)算輸出和導(dǎo)師信號不同的個(gè)數(shù)length(A)%分類結(jié)果錯(cuò)誤的個(gè)數(shù)附件二：第五題程序clc;clear%單層感知器初

14、始化X=1,4;1,5;2,4;2,5;3,1;3,2;4,1;4,2;%輸入信號d=-1;-1;-1;-1;1;1;1;1;%輸入導(dǎo)師信號w=zeros(2,9);w(:,1)=rand(2,1);%第一組權(quán)值賦予較小的非零隨機(jī)數(shù)o=zeros(8,1);%輸出結(jié)果net二zeros(&1);%凈輸入netlearnr=0.01;%學(xué)習(xí)率為0.1n=0;%循環(huán)次數(shù)%調(diào)整權(quán)值whilen100%訓(xùn)練次數(shù)最大設(shè)為100次fori=1:8net(i)=X(i,:)*w(:,i);%計(jì)算凈輸入neto(i)=sign(net(i);%計(jì)算輸出，轉(zhuǎn)移函數(shù)為符號函數(shù)w(:,i+1)=w(:,i)+learnr*(d(i)-o(i)*X(i,:);%調(diào)整權(quán)值w(:,1)=w(:,9);%最后一組權(quán)值賦值給第一組