1、BP網絡BP網絡結構 一個具有兩個隱含層的神經網絡模型結構BP網絡理論n 與感知器模型不同的是，BP網絡的隱含層傳遞函數要求必須是可微的，所以不能使用感知器網絡的二值函數，常用的有S型的對數、正切函數或線性函數。由于傳遞函數是處處可微的，所以對于BP網絡來說，一方面，所劃分酌區域不再是一個線性劃分，而是由一個非線性超平面組成的區域，它是曲面，因而它的分類比線性劃分更加精確，容錯性也比線性劃分更好。n BP網絡是一種單向傳播的多層前向網絡。nBP網絡是一種具有三層或三層以上的神經網絡，包括輸入層、中間層(隱層)和輸出層。上下層之間實現全連接，而每層神經元之間無連接。n當一對學習樣本提供給網絡后，

2、神經元的激活值從輸入層經備中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。n接下來，按照減少目標輸出與實際誤差的方向，從輸出層經過各中間層逐層修正備連接權值，最后回到輸入層，這種算法稱為“誤差逆傳播算法”，即BP算法。隨著這種誤差逆的傳播修正不斷進行，網絡對輸入模式響應的正確率也不斷上升。BP學習規則nBP網絡的產生歸功于BP算法的獲得。BP算法屬于 算法，是一種監督式的學習算法。其主要思想為：對于q個輸入學習樣本： ，已知與其對應的輸出樣本為： 。學習的目的是用網絡的實際輸出 與目標矢量 之間的誤差來修正其權值，使其 ，（l=1，2，q與期望的盡可能地接近；即使網絡輸出層 的誤差平

3、方和達到最小。它是通過連續不斷地在相對于誤差函數斜率下降的方向上計算網絡權值和偏差的變化而逐漸逼近目標的。每一次權值和偏差的變化都與網絡誤差的影響成正比，并以反向傳播的方式傳遞到每一層的。12,.,qppp12,.,qAAA12,.,qTTTlA12,.,qTTT具有個隱含層的簡化網絡圖n BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中，輸入信息從輸入經隱含層逐層計算傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來修改各層神經元的權值直至達到期

4、望目標。n設輸入為P，輸入神經元有r個，隱含層內有s1的神經元，激活函數為F1，輸出層內有s2個神經元，對應的激活函數為F2，輸出為A，目標矢量為T。n4.2.1 信息的正向傳遞n（1隱含層中第i個神經元輸出為：n n i=1，2，s1n（2輸出層第k個神經元的輸出為：n n k=1，2，s2n（3定義誤差函數為：n 2211(, )22skkkE W Bta1122212skkiikiafwab11111riijjijafwpbn（2隱含層權值變化n 對從第j個輸入到第i個輸出的權值有：n其中：n同理可得：2111211kiijijkiijaaEEwwaaw 212221srrkkkijij

5、jktafwfpp 211 ,2srijiiijkike few1iijb BP網絡的缺陷和不足n 首先，由于學習速率是固定的，出此，網絡的收斂速度慢，需要校長的訓練時間。對于一些復雜的問題，BP算法需要的訓練時間可能會非常長。這主要是由于學習速率太小造成的，可采用變化的學習速率或自適應的學習速率加以改進。n 其次，BP算法可以使權值收斂到某個值，但并不能保證其為誤差平面的全局最小值，這是因為采用梯皮下降法可能會產生個局部最小值。對于這個問題，可以采用附加動量法來解決。n 再次，網絡隱含居的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網絡往往存在很大的冗余性，

6、在一定程度上也增加了網絡學習的負擔。人工智能大作業人工智能大作業2BP2BP神經網絡神經網絡要求：1：函數1和2以0，2等間距取11點為樣本(樣本間距為0.2)進行BP神經網絡學習訓練。訓練后，繪圖以0，2等間距取361個點 (檢測間距為/360)。初始權閾值隨機。最后給出不同誤差精度的擬合效果圖,并給出訓練誤差和訓詞次數的關系圖。隱含層數量2層。2：函數3，要求在X1X2平面內, 樣本間距為21*21 (間距0.1)進行訓練，繪圖間距0.01。要求同上。3：進階任務：隱含層數量1、2、3的訓練效果比較。標題: 三個函數：)sin(xy 2 , 0 x2211)sin()sin(xxxxy10

7、,1021xx)sin(xy 2 , 0 x1：2： 3： n例4.1用于函數逼近的BP網絡設計。n 下面給出一個典型的用來進行函數逼近的兩層結構的神經網絡，它具有一個雙曲正切型的激活函數隱含層，其輸出層采用線性函數。n定義一個密度較大的第二個輸入矢量：nP2=-1:0.025:1;n首先對網絡進行初始化：nR,Q=size(P);S2,Q=size(T);S1=5;nW1,B1=rands(S1,R);W2,B2=rands(S2,S1);n通過測試，用輸入矢量P2來計算網絡輸出：nA2=purelin(W2*tansig(W1*P2,B1),B2);n下面定義訓練參數并進行訓練：ndisp_fqre=10;max_ep