第2章神經(jīng)網(wǎng)絡(luò)Contents神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法3BP神經(jīng)網(wǎng)絡(luò)4進(jìn)化神經(jīng)網(wǎng)絡(luò)5神經(jīng)網(wǎng)絡(luò)的應(yīng)用62.1神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN）一般也稱為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），是科學(xué)家們?cè)趯?duì)生物的神經(jīng)元、神經(jīng)系統(tǒng)等生理學(xué)的研究取得了突破性進(jìn)展以及對(duì)人腦的結(jié)構(gòu)、組成和基本工作單元有了進(jìn)一步認(rèn)識(shí)的基礎(chǔ)上，通過借助數(shù)學(xué)和物理的方法從信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象后建立的簡(jiǎn)化模型。2.1.1基本原理生物神經(jīng)元基本結(jié)構(gòu)示意圖2.1.1

基本原理樹突細(xì)胞體軸突突觸生物神經(jīng)元人工神經(jīng)元類比關(guān)系輸入層加權(quán)和閾值函數(shù)輸出層2.1.1

基本原理模擬神經(jīng)元的樹突接收輸入信號(hào)輸入層加權(quán)和閾值函數(shù)輸出層模擬神經(jīng)元的細(xì)胞體加工和處理信號(hào)模擬神經(jīng)元的軸突控制信號(hào)的輸出模擬神經(jīng)元的突觸對(duì)結(jié)果進(jìn)行輸出人工神經(jīng)元結(jié)構(gòu)功能示意圖2.1.2

研究進(jìn)展1943年McCullonch和Pritts提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法，這標(biāo)志著神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)代的開始。1957年Rosenblatt定義一個(gè)稱為感知器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，第一次把神經(jīng)網(wǎng)絡(luò)從純理論的探討推向了工程實(shí)現(xiàn)，掀起了神經(jīng)網(wǎng)絡(luò)研究的高潮。Minsky和Papert在1969年發(fā)表論著《Perceptrons》指出感知器僅能解決一階謂詞邏輯，只能完成線性劃分，對(duì)于非線性或者其他分類會(huì)遇到很多困難，就連簡(jiǎn)單的XOR（異或）問題都解決不了。由此，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了反思期。啟蒙萌芽時(shí)期1940s至1960s低潮反思時(shí)期1960s至1970s2.1.2

研究進(jìn)展20世紀(jì)90年代中后期，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了一個(gè)新的發(fā)展階段，一方面已有理論在不斷地深化和得到進(jìn)一步推廣，另一方面，新的理論和方法也在不斷出現(xiàn)。光學(xué)神經(jīng)網(wǎng)絡(luò)、混沌神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)、進(jìn)化神經(jīng)網(wǎng)絡(luò)等新模型陸續(xù)出現(xiàn)。1982年Hopfield提出的全連接網(wǎng)絡(luò)模型才使得人們對(duì)神經(jīng)網(wǎng)絡(luò)有了重新的認(rèn)識(shí),開辟了一條新的研究道路。1986年Rumelhart等人提出的反向傳播算法，使Hopfield模型和多層前饋神經(jīng)網(wǎng)絡(luò)成為應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。復(fù)興發(fā)展時(shí)期1980s至1990s新的發(fā)展時(shí)期1990s中后期之后2.1.2

研究進(jìn)展重要學(xué)術(shù)期刊IEEETransactionsonNeuralNetworksIEEETransactionsonSystems,ManandCyberneticsJournalofArtificialNeuralNetworksJournalofNeuralSystemsNeuralNetworksNeuralComputationNetworksComputationinNeuralSystemsMachineLearning……2.1.2

研究進(jìn)展重要學(xué)術(shù)會(huì)議InternationalJointConferenceonNeuralNetworksIEEEInternationalConferenceonSystems,Man,andCyberneticsWorldCongressonComputationalIntelligence2.2神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)按網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)按學(xué)習(xí)方式區(qū)分有教師（監(jiān)督）學(xué)習(xí)網(wǎng)絡(luò)無(wú)教師（監(jiān)督）學(xué)習(xí)網(wǎng)絡(luò)按網(wǎng)絡(luò)的性能區(qū)分連續(xù)型和離散型網(wǎng)絡(luò)隨機(jī)型和確定型網(wǎng)絡(luò)2.2神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)按突觸性質(zhì)區(qū)分一階線性關(guān)聯(lián)網(wǎng)絡(luò)高階非線性關(guān)聯(lián)網(wǎng)絡(luò)按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分神經(jīng)元層次模型組合式模型網(wǎng)絡(luò)層次模型神經(jīng)系統(tǒng)層次模型智能型模型通常，人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。本節(jié)將按照神經(jīng)網(wǎng)絡(luò)連接模式，對(duì)神經(jīng)網(wǎng)絡(luò)的幾種典型結(jié)構(gòu)分別進(jìn)行介紹

2.2.1單層感知器網(wǎng)絡(luò)單層感知器是最早使用的，也是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由一個(gè)或多個(gè)線性閾值單元組成由于這種網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，因此能力也非常的有限，一般比較少用

單網(wǎng)層絡(luò)感示知意器圖2.2.2前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)的信號(hào)由輸入層到輸出層單向傳輸每層的神經(jīng)元僅與其前一層的神經(jīng)元相連，僅接受前一層傳輸來(lái)的信息是一種最為廣泛使用的神經(jīng)網(wǎng)絡(luò)模型，因?yàn)樗旧淼慕Y(jié)構(gòu)也不太復(fù)雜，學(xué)習(xí)和調(diào)整方案也比較容易操作，而且由于采用了多層的網(wǎng)絡(luò)結(jié)構(gòu)，其求解問題的能力也得到明顯的加強(qiáng)，基本上可以滿足使用要求2.2.3前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)這種網(wǎng)絡(luò)結(jié)構(gòu)從外部看還是一個(gè)前饋型的網(wǎng)絡(luò)，但是內(nèi)部有一些節(jié)點(diǎn)在層內(nèi)互連2.2.4反饋型網(wǎng)絡(luò)這種網(wǎng)絡(luò)結(jié)構(gòu)在輸入輸出之間還建立了另外一種關(guān)系，就是網(wǎng)絡(luò)的輸出層存在一個(gè)反饋回路到輸入層作為輸入層的一個(gè)輸入，而網(wǎng)絡(luò)本身還是前饋型的這種神經(jīng)網(wǎng)絡(luò)的輸入層不僅接受外界的輸入信號(hào)，同時(shí)接受網(wǎng)絡(luò)自身的輸出信號(hào)。輸出反饋信號(hào)可以是原始輸出信號(hào)，也可以是經(jīng)過轉(zhuǎn)化的輸出信號(hào)；可以是本時(shí)刻的輸出信號(hào)，也可以是經(jīng)過一定延遲的輸出信號(hào)此種網(wǎng)絡(luò)經(jīng)常用于系統(tǒng)控制、實(shí)時(shí)信號(hào)處理等需要根據(jù)系統(tǒng)當(dāng)前狀態(tài)進(jìn)行調(diào)節(jié)的場(chǎng)合2.2.5全互聯(lián)網(wǎng)絡(luò)全互聯(lián)網(wǎng)絡(luò)是網(wǎng)絡(luò)中所有的神經(jīng)元之間都有相互間的連接如Hopfiled和Boltgmann網(wǎng)絡(luò)都是這種類型全互聯(lián)網(wǎng)絡(luò)2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法2.3.1學(xué)習(xí)方法有監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)在有監(jiān)督的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)重，最終使差異變小。在無(wú)監(jiān)督的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)重，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方法2.3.2

學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則這個(gè)規(guī)則是由DonaldHebb在1949年提出的他的基本規(guī)則可以簡(jiǎn)單歸納為：如果處理單元從另一個(gè)處理單元接受到一個(gè)輸入，并且如果兩個(gè)單元都處于高度活動(dòng)狀態(tài)，這時(shí)兩單元間的連接權(quán)重就要被加強(qiáng)Hebb學(xué)習(xí)規(guī)則是一種沒有指導(dǎo)的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)重，因此此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)Delta（

）學(xué)習(xí)規(guī)則

Delta規(guī)則是最常用的學(xué)習(xí)規(guī)則，其要點(diǎn)是改變單元間的連接權(quán)重來(lái)減小系統(tǒng)實(shí)際輸出與應(yīng)有的輸出間的誤差這個(gè)規(guī)則也叫Widrow-Hoff學(xué)習(xí)規(guī)則，首先在Adaline模型中應(yīng)用，也可稱為最小均方差規(guī)則BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在Delta規(guī)則基礎(chǔ)上發(fā)展起來(lái)的，可在多層網(wǎng)絡(luò)上有效地學(xué)習(xí)2.3.2

學(xué)習(xí)規(guī)則梯度下降學(xué)習(xí)規(guī)則梯度下降學(xué)習(xí)規(guī)則的要點(diǎn)為在學(xué)習(xí)過程中，保持誤差曲線的梯度下降誤差曲線可能會(huì)出現(xiàn)局部的最小值，在網(wǎng)絡(luò)學(xué)習(xí)時(shí)，應(yīng)盡可能擺脫誤差的局部最小值，而達(dá)到真正的誤差最小值

Kohonen學(xué)習(xí)規(guī)則該規(guī)則是由TeuvoKohonen在研究生物系統(tǒng)學(xué)習(xí)的基礎(chǔ)上提出的，只用于沒有指導(dǎo)下訓(xùn)練的網(wǎng)絡(luò)后向傳播學(xué)習(xí)規(guī)則后向傳播（BackPropagation，BP）學(xué)習(xí)，是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則2.3.2

學(xué)習(xí)規(guī)則概率式學(xué)習(xí)規(guī)則從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)誤差曲線可能會(huì)出現(xiàn)局部的最小值，在網(wǎng)絡(luò)學(xué)習(xí)時(shí)，應(yīng)盡可能擺脫誤差的局部最小值，而達(dá)到真正的誤差最小值

競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)式學(xué)習(xí)屬于無(wú)監(jiān)督學(xué)習(xí)方式。這種學(xué)習(xí)方式是利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)無(wú)產(chǎn)生抑制性聯(lián)接競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競(jìng)爭(zhēng)識(shí)別2.4BP神經(jīng)網(wǎng)絡(luò)2.4.1基本思想BP神經(jīng)網(wǎng)絡(luò)也稱：后向傳播學(xué)習(xí)的前饋型神經(jīng)網(wǎng)絡(luò)（BackPropagationFeed-forwardNeuralNetwork，BPFNN/BPNN），是一種應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)在BPNN中，后向傳播是一種學(xué)習(xí)算法，體現(xiàn)為BPNN的訓(xùn)練過程，該過程是需要教師指導(dǎo)的；前饋型網(wǎng)絡(luò)是一種結(jié)構(gòu)，體現(xiàn)為BPNN的網(wǎng)絡(luò)構(gòu)架反向傳播算法通過迭代處理的方式，不斷地調(diào)整連接神經(jīng)元的網(wǎng)絡(luò)權(quán)重，使得最終輸出結(jié)果和預(yù)期結(jié)果的誤差最小BPNN是一種典型的神經(jīng)網(wǎng)絡(luò)，廣泛應(yīng)用于各種分類系統(tǒng)，它也包括了訓(xùn)練和使用兩個(gè)階段。由于訓(xùn)練階段是BPNN能夠投入使用的基礎(chǔ)和前提，而使用階段本身是一個(gè)非常簡(jiǎn)單的過程，也就是給出輸入，BPNN會(huì)根據(jù)已經(jīng)訓(xùn)練好的參數(shù)進(jìn)行運(yùn)算，得到輸出結(jié)果2.4.2算法流程4.網(wǎng)絡(luò)權(quán)值與神經(jīng)元偏置調(diào)整3.方向誤差傳播2.向前傳播輸入1.初始化網(wǎng)絡(luò)權(quán)值2.4.2算法流程2.4.3應(yīng)用舉例例2.1

已知一個(gè)前饋型神經(jīng)網(wǎng)絡(luò)例子如下圖所示。設(shè)學(xué)習(xí)率l為0.9，當(dāng)前的訓(xùn)練樣本為x={1,0,1}，而且預(yù)期分類標(biāo)號(hào)為1，同時(shí)，下表給出了當(dāng)前該網(wǎng)絡(luò)的各個(gè)連接權(quán)值和神經(jīng)元偏置。求該網(wǎng)絡(luò)在當(dāng)前訓(xùn)練樣本下的訓(xùn)練過程

。w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1例10.3

BPNN分類系統(tǒng)訓(xùn)練過程w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.12.5進(jìn)化神經(jīng)網(wǎng)絡(luò)對(duì)于某一具體問題，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是極其復(fù)雜的工作，至今仍沒有系統(tǒng)的規(guī)律可以遵循目前，一般憑設(shè)計(jì)者主觀經(jīng)驗(yàn)與反復(fù)實(shí)驗(yàn)挑選ANN設(shè)計(jì)所需的工具這樣不僅使得設(shè)計(jì)工作的效率很低，而且還不能保證設(shè)計(jì)出的網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重等參數(shù)是最優(yōu)的，從而造成資源的大量浪費(fèi)和網(wǎng)絡(luò)的性能低下人工神經(jīng)網(wǎng)絡(luò)存在的問題2.5進(jìn)化神經(jīng)網(wǎng)絡(luò)使用進(jìn)化算法去優(yōu)化神經(jīng)網(wǎng)絡(luò)，通過進(jìn)化算法和人工神經(jīng)網(wǎng)絡(luò)的結(jié)合使得神經(jīng)網(wǎng)絡(luò)能夠在進(jìn)化的過程中自適應(yīng)地調(diào)整其連接權(quán)重、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)規(guī)則等這些在使用神經(jīng)網(wǎng)絡(luò)的時(shí)候難以確定的參數(shù)，從而形成了進(jìn)化神經(jīng)網(wǎng)絡(luò)（EvolutionaryNeuralNetworks，ENN/EANN）進(jìn)化算法和神經(jīng)網(wǎng)絡(luò)的結(jié)合給神經(jīng)網(wǎng)絡(luò)指明了新的發(fā)展方向，對(duì)突破神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)難調(diào)等問題起到了重大的作用進(jìn)化神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)2.6神經(jīng)網(wǎng)絡(luò)的應(yīng)用民用應(yīng)用領(lǐng)域語(yǔ)言識(shí)別、圖像識(shí)別與理解、計(jì)算機(jī)視覺、智能機(jī)器人故檢測(cè)、實(shí)時(shí)語(yǔ)言翻譯、企業(yè)管理、市場(chǎng)分析、決策優(yōu)化、物資調(diào)運(yùn)、自適應(yīng)控制、專家系統(tǒng)、智能接口、神經(jīng)生理學(xué)、心理學(xué)和認(rèn)知科學(xué)研究等等軍用應(yīng)用領(lǐng)域語(yǔ)音、圖像信息的錄取與處理、雷達(dá)、聲納的多目標(biāo)識(shí)別與跟蹤、戰(zhàn)場(chǎng)管理和決策支持系統(tǒng)、軍用機(jī)器人控制、各種情況、信息的快速錄取、分類與查詢、導(dǎo)彈的智能引導(dǎo)、保密通訊、航天器的姿態(tài)控制等等2.6神經(jīng)網(wǎng)絡(luò)的應(yīng)用識(shí)別與聚類應(yīng)用模式識(shí)別和分類是指通過使用一系列的訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在有教師指導(dǎo)的學(xué)習(xí)方法下，讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)的訓(xùn)練下調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)重，以達(dá)到正確識(shí)別的目的2.6神經(jīng)網(wǎng)絡(luò)的應(yīng)用計(jì)算與優(yōu)化應(yīng)用神經(jīng)計(jì)算是人工神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用手段，也為各種優(yōu)化問題提供了解決的方案。優(yōu)化問題就是需要在問題的解空間里面尋找一個(gè)最優(yōu)的解在滿足一定約束條件下使得目標(biāo)函數(shù)最大化或者最小化。由于神經(jīng)網(wǎng)絡(luò)具有并行搜索處理信息、聯(lián)想記憶等特點(diǎn)，在搜索系統(tǒng)的全局最優(yōu)或局部最優(yōu)解方面，具有很好的優(yōu)勢(shì)，因此在優(yōu)化問題上得到了廣泛的研究和應(yīng)用2.6神經(jīng)網(wǎng)絡(luò)的應(yīng)用建模與預(yù)測(cè)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在非線性系統(tǒng)建模上的時(shí)候，實(shí)質(zhì)上就是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓其在訓(xùn)練數(shù)據(jù)中獲取知識(shí)，并且完成從輸入到輸出的非線性映射過程所謂神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)就是根據(jù)一定數(shù)量的歷史樣本數(shù)據(jù)（一般為表征某一種現(xiàn)象時(shí)間序列的數(shù)據(jù)，例如交通流量，外匯走勢(shì)等等）對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后用來(lái)對(duì)當(dāng)前的，或者未來(lái)的時(shí)刻情景進(jìn)行預(yù)