神經(jīng)網(wǎng)絡(luò)計算單個處理單元可以執(zhí)行簡單的圖形檢測功能,但更強的識別處理能力卻來自多個結(jié)點“連成”的網(wǎng)絡(luò),即人工神經(jīng)網(wǎng)絡(luò)單層網(wǎng)絡(luò)最簡單的網(wǎng)絡(luò)是把一組幾個結(jié)點形成一層,輸入信號可表示為行向量，其中每一分量通過加權(quán)連接到各結(jié)點。每一結(jié)點均可產(chǎn)生一個輸入的加權(quán)和。實際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在,為了更一般化,采用了全連接,并且都是前饋連接。各加權(quán)表示為加權(quán)矩陣輸入信號的加權(quán)和輸出向量多層網(wǎng)絡(luò)一般大而復(fù)雜的網(wǎng)絡(luò)能提供更強的計算能力。多層網(wǎng)絡(luò),只要將單層網(wǎng)絡(luò)進行級聯(lián)就可以了,即一層的輸出作為下一層的輸入。在多層網(wǎng)絡(luò)中,層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的,否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)的強。因為在線性轉(zhuǎn)移函數(shù)的情況下,兩層網(wǎng)絡(luò)的輸出是第一層的輸出作為第二層的輸入,通過第二個加權(quán)矩陣得到網(wǎng)絡(luò)輸出。回歸型網(wǎng)絡(luò)凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò),或稱反饋網(wǎng)絡(luò)。橫向反饋連接和縱橫連接。感知器網(wǎng)絡(luò)模型輸出只有兩種狀態(tài),實際上是輸入模式的分類器,判決輸入模式屬于兩類中的哪一類(A或B類)一個三層的感知器網(wǎng)絡(luò)可以產(chǎn)生任意復(fù)雜的判決域。+11-1.5x1x2Back-propagation神經(jīng)網(wǎng)絡(luò)模型中間層到輸出層權(quán)值調(diào)整中間層到輸出層權(quán)值的調(diào)整量為中間層到輸出層權(quán)值的調(diào)整量為由輸入到中間層權(quán)值的調(diào)整輸入到中間層權(quán)值的調(diào)整量為中間層到輸出層權(quán)值的調(diào)整量為輸入到中間層權(quán)值的調(diào)整量為任意層間權(quán)值調(diào)整的一般式輸出層中間層輸出層中間層BP網(wǎng)絡(luò)的訓(xùn)練步驟1)用均勻分布隨機將各權(quán)值設(shè)定為一個小的隨機數(shù)2)從訓(xùn)練數(shù)據(jù)對中,將一個輸入數(shù)據(jù)加在輸入端。3)計算輸出層的實際輸出y(k)4)計算輸出層的誤差5)計算中間層的誤差6)權(quán)值更新7)重復(fù)進行BP訓(xùn)練算法存在的問題1)對于一些復(fù)雜的問題往往訓(xùn)練時間很長;2)由于采用梯度下降法,可能陷入局部極小,而不是目標(biāo)函數(shù)的全局最小。為了減小局部極小的發(fā)生,可以采用增加中間單元,自動調(diào)整訓(xùn)練速率,由多種初始權(quán)值開始多次訓(xùn)練等方法。為了加快訓(xùn)練速度,增加附加沖量項,稱為沖量法,權(quán)值更新式用:BP算法的改進方法BP算法實質(zhì)：把一組樣本輸入輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題。BP算法運用梯度算法利用迭代運算求解權(quán)值問題的一種學(xué)習(xí)方法。BP算法缺陷:1)易形成局部極小而得不到整體最優(yōu);2)迭代次數(shù)多,收斂慢。改進方法