人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)1緒論定義：人工神經(jīng)網(wǎng)絡(luò)是對人腦或自然的神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。神經(jīng)網(wǎng)絡(luò)信息處理的基本特征：分布存貯與容錯性并行處理性信息處理與貯存的合二而一性可塑性與自組織性層次性與系統(tǒng)性緒論定義：人工神經(jīng)網(wǎng)絡(luò)是對人腦或自然的神經(jīng)網(wǎng)絡(luò)若干基本特性的2神經(jīng)網(wǎng)絡(luò)研究、發(fā)展的歷史1943年：WarrenMcCulloch和W.pittsM－P模型。1949年：Hebb提出學(xué)習(xí)規(guī)則。1962年：Rosenblattperceptron（感知機(jī)）特點：并行處理，分布式存貯。1967年：GrossbergAvalanche網(wǎng)絡(luò)。功能：語言識別，控制機(jī)器人手臂的運動。1969年：Minsky和papert出版perceptron（書）神經(jīng)網(wǎng)絡(luò)研究、發(fā)展的歷史1943年：WarrenMcCul31982年：JohnHopfieldHopfield網(wǎng)絡(luò)優(yōu)點：聯(lián)想記憶，容錯分類，自動尋優(yōu)。1986年：Rumelhart和McCelland《paralleldistributedprocessing》《并行分布信息處理》，對Errorbackpropagation（誤差逆?zhèn)鞑ニ惴ǎ┻M(jìn)行了詳細(xì)討論。二十世紀(jì)九十年代：神經(jīng)網(wǎng)絡(luò)在信息處理，模式識別，自動控制，專家系統(tǒng)及機(jī)器人控制等方面得到了廣泛的應(yīng)用。1982年：JohnHopfieldHopfi4神經(jīng)網(wǎng)絡(luò)的研究分以下幾個方面：大腦和神經(jīng)系統(tǒng)的信息處理原理構(gòu)造能實現(xiàn)信息處理的神經(jīng)網(wǎng)絡(luò)原理能實現(xiàn)信息處理基本原理的技術(shù)研究－神經(jīng)計算機(jī)神經(jīng)網(wǎng)絡(luò)的研究分以下幾個方面：大腦和神經(jīng)系統(tǒng)的信息處理原理5生物神經(jīng)元的特性：神經(jīng)元是一個多輸入、單輸出元件；神經(jīng)元是一個具有非線性輸入/輸出特性的元件；神經(jīng)元具有可塑性；神經(jīng)元的輸出響應(yīng)是各個輸入的綜合作用的結(jié)果，即所有輸入的累加作用。生物神經(jīng)元的特性：神經(jīng)元是一個多輸入、單輸出元件；6人工神經(jīng)網(wǎng)絡(luò)課件7

上述表達(dá)式為最終的生物神經(jīng)元模型，其數(shù)學(xué)表達(dá)式為：上述表達(dá)式為最終的生物神經(jīng)元模型，其數(shù)學(xué)表達(dá)式為：8輸入/輸出函數(shù)有兩種基本形式：階躍響應(yīng)函數(shù)和S型響應(yīng)函數(shù)。其響應(yīng)特征如圖所示：01yx輸入/輸出函數(shù)有兩種基本形式：01yx9設(shè)神經(jīng)元輸入向量為：相應(yīng)的權(quán)值向量為：設(shè)該神經(jīng)元的閾值為，輸出為y，則

式中或者采用符號函數(shù)M－P模型設(shè)神經(jīng)元輸入向量為：M－P模型10M－Ｐ模型原理簡單，但它對生物神經(jīng)元進(jìn)行了完整的數(shù)學(xué)描述，其缺點是只能實現(xiàn)線性分類。M－Ｐ模型原理簡單，但它對生物神經(jīng)元進(jìn)行了完整的數(shù)學(xué)描述，其11神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為兩類：教師示教學(xué)習(xí)方式

比較教師示教（希望輸出）實際輸出學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為兩類：教師示教學(xué)習(xí)方式比較教師示教12無教師示教方式

學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)自我比較實際輸出無教師示教方式學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)自我比較實際輸出13學(xué)習(xí)過程的結(jié)束標(biāo)志：學(xué)習(xí)次數(shù)誤差均方誤差式中M為樣本模式對的個數(shù)，Q為輸出單元的個數(shù)誤差平方和學(xué)習(xí)過程的結(jié)束標(biāo)志：學(xué)習(xí)次數(shù)14感知機(jī)模型感知機(jī)模型15感知機(jī)模型由感知層S(Sensory)、連接層A(Association)、反應(yīng)層R(Response)三層構(gòu)成。單層感知機(jī)網(wǎng)絡(luò)的一般拓?fù)浣Y(jié)構(gòu)如圖所示：………………………………感知機(jī)模型由感知層S(Sensory)、連接層A(Assoc16設(shè)網(wǎng)絡(luò)輸入模式向量為：對應(yīng)的輸出為：,由A層至輸出層R的連接權(quán)向量為：網(wǎng)絡(luò)按如下規(guī)則進(jìn)行學(xué)習(xí)初始化將A層至R層的連接權(quán)向量及輸出單元的閾值賦予(－1，＋1)區(qū)間內(nèi)的隨機(jī)值。連接權(quán)的修正每個輸入模式對完成如下計算。設(shè)網(wǎng)絡(luò)輸入模式向量為：17計算網(wǎng)絡(luò)輸出：式中，為雙極值階躍函數(shù)，且計算輸出層單元希望輸出與實際輸出之間的誤差：修正A層各單元與輸出層R之間的連接權(quán)與閾值：

式中，為學(xué)習(xí)回數(shù)；、為正常數(shù)，稱學(xué)習(xí)率。計算網(wǎng)絡(luò)輸出：18對個輸入模式重復(fù)步驟2，直到誤差趨于零或小于預(yù)先給定的誤差限。對個輸入模式重復(fù)步驟2，直到誤差19BP網(wǎng)絡(luò)學(xué)習(xí)過程BP網(wǎng)絡(luò)學(xué)習(xí)過程20人工神經(jīng)網(wǎng)絡(luò)課件21設(shè)輸入模式向量為：希望輸出向量：隱含層各單元的輸入向量為：隱含層各單元的輸出向量為：輸出層各單元的輸入向量為：輸出層各單元的輸出向量為：輸入層至中間層連接權(quán)：中間層至輸出層連接權(quán)：中間層各單元輸出閾值：輸出層各單元輸出閾值：設(shè)輸入模式向量為：22首先介紹網(wǎng)絡(luò)響應(yīng)函數(shù)——S函數(shù)的一個重要性質(zhì)，即該函數(shù)的導(dǎo)數(shù)可用其自身來表示。S函數(shù)的表達(dá)式可表示為：其一階導(dǎo)數(shù)：首先介紹網(wǎng)絡(luò)響應(yīng)函數(shù)——S函數(shù)的一個重要性質(zhì)，即該函數(shù)的導(dǎo)數(shù)23對于第k個學(xué)習(xí)模式，網(wǎng)絡(luò)希望輸出與實際輸出的差定義為：的均方值：為使隨連接權(quán)的修正按梯度下降，則需求對網(wǎng)絡(luò)實際輸出的偏導(dǎo)

對于第k個學(xué)習(xí)模式，網(wǎng)絡(luò)希望輸出與實際輸出的差定義為： 24由于連接權(quán)的微小變化，對輸出層響應(yīng)的影響可表示為連接權(quán)的微小變化對第k個模式的均方差的影響：由于25按梯度下降原則，使連接權(quán)的調(diào)整量與的負(fù)值成比例變化，則可得：設(shè)輸出層各單元的一般化誤差為定義為對輸出層輸入的負(fù)偏導(dǎo)按梯度下降原則，使連接權(quán)的調(diào)整量26連接權(quán)的調(diào)整量由輸入層至中間層連接權(quán)的調(diào)整，仍然按梯度下降法的原則進(jìn)行。中間層各單元的輸入為其輸出為連接權(quán)的調(diào)整量27連接權(quán)的微小變化，對第k個學(xué)習(xí)模式的均方誤差的影響，可得設(shè)中間層各單元的一般化誤差為

定義為對中間層輸入的負(fù)偏導(dǎo)。連接權(quán)的微小變化，對第k個學(xué)習(xí)模式的均方誤差的影28則連接權(quán)的調(diào)整量應(yīng)為閾值的調(diào)整量為設(shè)網(wǎng)絡(luò)的全局誤差為E，則則29BP網(wǎng)絡(luò)工作步驟BP網(wǎng)絡(luò)工作步驟30初始化給各連接權(quán)、及閾值、賦予(-1,+1)間的隨機(jī)值。隨機(jī)選取一模式對，提供給網(wǎng)絡(luò)。用輸入模式、連接權(quán)和閾值計算中間各單元的輸入；然后用 通過S函數(shù)計算中間層各單元的輸出初始化給各連接權(quán)、及閾值31用中間層的輸出、連接權(quán)和閾值計算輸出層各單元的輸入，然后用通過S函數(shù)計算輸出層各單元的響應(yīng)用希望輸出模式、網(wǎng)絡(luò)實際輸出，計算輸出層的各單元的一般化誤差用中間層的輸出、連接權(quán)和閾值32用連接權(quán)、輸出層的一般化誤差、中間層的輸出計算中間層各單元的一般化誤差用輸出層各單元的一般化誤差、中間層各單元的輸出修正連接權(quán)和閾值用連接權(quán)、輸出層的一般化誤差、中間層的33用中間層各單元的一般化誤差、輸入層各單元的輸入修正連接權(quán)和閾值隨即選取下一個學(xué)習(xí)模式對提供給網(wǎng)絡(luò)，返回到步驟3，直至全部m個模式對訓(xùn)練完畢。用中間層各單元的一般化誤差、輸入層各單元的輸入34重新從m個學(xué)習(xí)模式對中隨機(jī)選取一個模式對，返回步驟3，直至網(wǎng)絡(luò)全局誤差函數(shù)E小于預(yù)先設(shè)定的一個極小值，即網(wǎng)絡(luò)收斂或?qū)W習(xí)回數(shù)大于預(yù)先設(shè)定的值，即網(wǎng)絡(luò)無法收斂。結(jié)束學(xué)習(xí)。在上述的學(xué)習(xí)步驟中，3—6為“模式順傳播過程”，7－8為網(wǎng)絡(luò)誤差的逆?zhèn)鞑ミ^程，9、10完成訓(xùn)練和收斂過程。重新從m個學(xué)習(xí)模式對中隨機(jī)選取一個模式對，返回步驟3，直至網(wǎng)35BP網(wǎng)絡(luò)的缺陷學(xué)習(xí)收斂速度太慢，即使一個比較簡單的問題，也需要幾百次甚至上千次的學(xué)習(xí)才能收斂。不能保證收斂到全局最小點。網(wǎng)絡(luò)隱含層的層數(shù)及隱含層的單元數(shù)的選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗確定。因此，網(wǎng)絡(luò)往往具有很大的冗余性，無形中也增加了網(wǎng)絡(luò)學(xué)習(xí)的時間。網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性。一個訓(xùn)練結(jié)束的BP網(wǎng)絡(luò)，當(dāng)給它提供新的記憶模式時，將使已有的連接權(quán)打亂，導(dǎo)致已記憶的學(xué)習(xí)模式的信息消失。BP網(wǎng)絡(luò)的缺陷學(xué)習(xí)收斂速度太慢，即使一個比較簡單的問題，也需36對BP網(wǎng)絡(luò)的改進(jìn)慣性校正法式中，為本次應(yīng)得校正量，為前次校正量。對BP網(wǎng)絡(luò)的改進(jìn)慣性校正法37Hopfield網(wǎng)絡(luò)運行規(guī)則Hopfield網(wǎng)絡(luò)運行規(guī)則38人工神經(jīng)網(wǎng)絡(luò)課件39Hopfield神經(jīng)網(wǎng)絡(luò)的工作運行規(guī)則人工神經(jīng)網(wǎng)絡(luò)課件40從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元。求出所選中的神經(jīng)元的所有輸入的加權(quán)總和：計算的第時刻的輸出值，即：IF

THEN

ELSE從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元。41以外的所有神經(jīng)元輸出保持不變返回到第一步，直至網(wǎng)絡(luò)進(jìn)入穩(wěn)定狀態(tài)。以外的所有神經(jīng)元輸出保持不變42隨機(jī)型神經(jīng)網(wǎng)絡(luò)隨機(jī)型神經(jīng)網(wǎng)絡(luò)43誤差逆?zhèn)鞑ニ惴ㄅcHopfield網(wǎng)絡(luò)陷入局部極小值的原因主要有兩點：網(wǎng)絡(luò)結(jié)構(gòu)上存在著輸入與輸出之間的非線性函數(shù)關(guān)系，從而事網(wǎng)絡(luò)誤差或能量函數(shù)所構(gòu)成的空間是一個含有多極點的非線性空間；算法上，網(wǎng)絡(luò)的誤差或能量函數(shù)只能按單方向減小而不能有絲毫的上升趨勢。誤差逆?zhèn)鞑ニ惴ㄅcHopfield網(wǎng)絡(luò)陷入局部極小值的原因主要44(a)隨機(jī)型算法(b)“貪心”算法兩種類型算法的比較(a)隨機(jī)型算法(b)“貪心”算法兩種類型算法的比較45模擬退火算法模擬退火算法46如果把神經(jīng)網(wǎng)絡(luò)的狀態(tài)看作金屬內(nèi)部的“粒子”，把網(wǎng)絡(luò)在各個狀態(tài)下的能量函數(shù)Ei看作是粒子所處的能態(tài)。在算法中設(shè)置一種控制參數(shù)T，當(dāng)T較大時，網(wǎng)絡(luò)能量由低向高變化的可能性也較大；隨著T的減小，這種可能性也減小。如果把這個參數(shù)看作溫度，讓其由高慢慢的下降，則整個網(wǎng)絡(luò)狀態(tài)變化過程就完全模擬了金屬的退火過程，當(dāng)參數(shù)T下降到一定程度時，網(wǎng)絡(luò)將收斂于能量的最小值。如果把神經(jīng)網(wǎng)絡(luò)的狀態(tài)看作金屬內(nèi)部的“粒子”，把網(wǎng)絡(luò)在各個狀態(tài)47模擬退火算法如下：設(shè)網(wǎng)絡(luò)狀態(tài)為：

N——網(wǎng)絡(luò)神經(jīng)元的個數(shù)；各連接權(quán)為神經(jīng)元i的綜合輸入值，即內(nèi)部狀態(tài)為輸出閾值為模擬退火算法如下：設(shè)網(wǎng)絡(luò)狀態(tài)為：48神經(jīng)元i輸出ui為1和0的概率分別為Pui(1)和Pui(0)，則式中，T稱為網(wǎng)絡(luò)溫度(NetworkTemperature)……(1)……(2)……(3)神經(jīng)元i輸出ui為1和0的概率分別為Pui(1)和Pui(049Pui(1)函數(shù)曲線Pui(1)函數(shù)曲線50當(dāng)神經(jīng)元i按(2)式所給的概率，在下一時刻的輸出值取時，則其能量變化為由上式可以看出，這在Hopfield算法中是不允許的，而這里卻允許比較小的概率接受這種變化。當(dāng)神經(jīng)元i按(2)式所給的概率，在下一時刻的輸出值取時，則其51從圖中還可以看出，當(dāng)溫度T較高時，Pui(1)相對于Hi的變化反應(yīng)遲鈍，曲線區(qū)域平坦，特別是當(dāng)T→∞時，曲線變?yōu)橐粭l恒為0.5的直線。此時ui取1和0的概率相等，這意味著在T較高的期間，網(wǎng)絡(luò)各神經(jīng)元有更多的機(jī)會進(jìn)行狀態(tài)選擇，相當(dāng)于金屬內(nèi)部的粒子做激烈的自由運動。當(dāng)溫度降低時，Pui(1)曲線變陡，Pui(1)相對于Hi的變化相當(dāng)敏感。當(dāng)T→0時，曲線退化為一階躍函數(shù)，則算法也從模擬退火算法過渡到Hopfield算法，所以可以說Hopfield算法是模擬退火算法在T→0時的特例。從圖中還可以看出，當(dāng)溫度T較高時，Pui(1)相對于Hi的變52按(1)-(3)式反復(fù)進(jìn)行網(wǎng)絡(luò)的狀態(tài)更新，且更新次數(shù)N足夠大以后，我們會發(fā)現(xiàn)網(wǎng)絡(luò)某狀態(tài)出現(xiàn)的概率將服從以下所示的分布。式中，為狀態(tài)所對應(yīng)的網(wǎng)絡(luò)能量。按(1)-(3)式反復(fù)進(jìn)行網(wǎng)絡(luò)的狀態(tài)更新，且更新次數(shù)N足夠大53Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則54人工神經(jīng)網(wǎng)絡(luò)課件55設(shè)網(wǎng)絡(luò)有N個神經(jīng)元，各神經(jīng)元之間的連接權(quán)為，各神經(jīng)元的輸出閾值為，輸出為，神經(jīng)元的內(nèi)部狀態(tài)為。以上；。取，給和賦予[-1，+1]區(qū)間內(nèi)的隨機(jī)值，并使，（實際應(yīng)用中連接權(quán)是按聯(lián)想記憶模式設(shè)計的）。從N個神經(jīng)元中隨機(jī)選取一個神經(jīng)元求出神經(jīng)元的輸入總和，即內(nèi)部狀態(tài)設(shè)網(wǎng)絡(luò)有N個神經(jīng)元，各神經(jīng)元之間的連接權(quán)為56按此概率將神經(jīng)元的狀態(tài)更新為1以外的神經(jīng)元的輸出狀態(tài)保持不變令，計算此時新的溫度參數(shù)…該式稱為降溫策略。返回到步驟①，直至溫度參數(shù)小于預(yù)先給定的一個截止溫度。按此概率將神經(jīng)元的狀態(tài)更新為157這里對工作規(guī)則作以下四點解釋：步驟③中，更新網(wǎng)絡(luò)狀態(tài)使，一般有兩種方法：當(dāng)時，直接使，因為這種情況下；而當(dāng)時，在[0，0.5]區(qū)間內(nèi)產(chǎn)生一隨機(jī)數(shù)，當(dāng)時，使,否則使。當(dāng)時，使；當(dāng)時，當(dāng)大于預(yù)先給定的概率值時，使，否則使這里對工作規(guī)則作以下四點解釋：58關(guān)于初始溫度和結(jié)束溫度，目前還沒有一個成熟的設(shè)定方法，一般憑經(jīng)驗給出。關(guān)于連接權(quán)和閾值的設(shè)定，這里為敘述方便，在初始化時賦予[-1，+1]區(qū)間內(nèi)的隨機(jī)值。在實際應(yīng)用中，同Hopfield網(wǎng)絡(luò)一樣，是需要按一定規(guī)則預(yù)先設(shè)定的。關(guān)于降溫策略，由于在Boltzmann機(jī)工作規(guī)則中引入了概率，所以網(wǎng)絡(luò)不是收斂于一個狀態(tài)而是收斂于平衡狀態(tài)。關(guān)于初始溫度和結(jié)束溫度，目前還沒有一個成59基本競爭型神經(jīng)網(wǎng)絡(luò)基本競爭型神經(jīng)網(wǎng)絡(luò)60人工神經(jīng)網(wǎng)絡(luò)課件61競爭型神經(jīng)網(wǎng)絡(luò)分為輸入層和競爭層。其中輸入層有N個神經(jīng)元，競爭型有M個神經(jīng)元。網(wǎng)絡(luò)的連接權(quán)為；，且約束條件為：網(wǎng)絡(luò)的P個二值輸入學(xué)習(xí)模式為：，與其對應(yīng)的競爭層輸出模式為

競爭型神經(jīng)網(wǎng)絡(luò)分為輸入層和競爭層。其中輸入層有N個神經(jīng)元，競62基本競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則初始化按的約束條件賦予；[0，1]區(qū)間內(nèi)隨機(jī)值。任選P個學(xué)習(xí)模式中的一個模式提供給網(wǎng)絡(luò)的輸入層。計算競爭層各神經(jīng)元的輸入值：基本競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則初始化按63按“勝者為王”的原則，以中最大值所對應(yīng)的神經(jīng)元作為勝者，將其輸出狀態(tài)置為1，而其它所有神經(jīng)元的輸出狀態(tài)置為0，即：如果出現(xiàn)的現(xiàn)象，則按統(tǒng)一約定取左邊的神經(jīng)元為獲勝神經(jīng)元。對與獲勝神經(jīng)元相連的各連接權(quán)進(jìn)行修正。而其它所有連接權(quán)保持不變。

其中，為學(xué)習(xí)系數(shù)，為第k個學(xué)習(xí)模式向量中元素為1的個數(shù)。按“勝者為王”的原則，以64選取另一個學(xué)習(xí)模式，返回步驟③，直至P個學(xué)習(xí)模式全部提供給網(wǎng)絡(luò)。返回步驟②，直至各連接權(quán)的調(diào)整量變得很小為止。選取另一個學(xué)習(xí)模式，返回步驟③，直至P個學(xué)習(xí)模式全部提供給網(wǎng)65抑制競爭型神經(jīng)網(wǎng)絡(luò)抑制競爭型神經(jīng)網(wǎng)絡(luò)66人工神經(jīng)網(wǎng)絡(luò)課件67設(shè)網(wǎng)絡(luò)有N個輸入層神經(jīng)元和M個競爭層神經(jīng)元，網(wǎng)絡(luò)的P個二值輸入、學(xué)習(xí)模式為，網(wǎng)絡(luò)的連接權(quán)為；。網(wǎng)絡(luò)競爭層的輸出向量為。

表示網(wǎng)絡(luò)對k個輸入、學(xué)習(xí)模式的第次學(xué)習(xí)結(jié)果。設(shè)網(wǎng)絡(luò)有N個輸入層神經(jīng)元和M個競爭層神經(jīng)元，網(wǎng)絡(luò)的P個二值輸68抑制競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則給賦予(0，1)之間的隨機(jī)值，且滿足約束條件。任選一個學(xué)習(xí)模式提供給網(wǎng)絡(luò)的輸入層。計算競爭層各神經(jīng)元的輸入以競爭層各神經(jīng)元輸入值作為其輸出值的初始值，即：抑制競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則給69計算競爭層各神經(jīng)元下一時刻輸出的值返回步驟⑤，對輸出值進(jìn)行反復(fù)更新，直至第個神經(jīng)元的輸出值遠(yuǎn)遠(yuǎn)大于其它個神經(jīng)元的輸出值。計算競爭層各神經(jīng)元下一時刻輸出的值70對與神經(jīng)元連接權(quán)進(jìn)行調(diào)整。選擇另一個輸入、學(xué)習(xí)模式，返回步驟③，直至所有輸入、學(xué)習(xí)模式全部提供給網(wǎng)絡(luò)。對與神經(jīng)元連接權(quán)進(jìn)行調(diào)整。71ART1網(wǎng)絡(luò)的學(xué)習(xí)工作規(guī)則ART1網(wǎng)絡(luò)的學(xué)習(xí)工作規(guī)則721122jiMN............輸入模式Ak=(a1K,a2K,a3K,...,aNK)輸入向量Bk=(b1K,b2K,b3K,...,bMK)

輸出層(識別層)輸入層(比較層)反饋連接權(quán)(Tij)前饋連接權(quán)(Wij)互抑制性連接1122jiMN............輸入73學(xué)習(xí)過程初始階段識別階段比較階段尋找階段學(xué)習(xí)過程初始階段74初始化將輸入模式提供給網(wǎng)絡(luò)的輸入層。計算輸出層各神經(jīng)元的輸入加權(quán)和初始化75選擇的最佳分類結(jié)果令神經(jīng)元的輸出為1。計算以下三式，并進(jìn)行判斷當(dāng)Ⅲ式成立時，轉(zhuǎn)入步驟⑦，否則轉(zhuǎn)入步驟⑥。選擇的最佳分類結(jié)果76取消識別結(jié)果，將輸出層神經(jīng)元的輸出值復(fù)位為0，并將這一神經(jīng)元排除在下次識別的范圍之外，返回步驟④。當(dāng)所有已利用過的神經(jīng)元都無法滿足Ⅲ式，則選擇一個新的神經(jīng)元作為分類結(jié)果進(jìn)入步驟⑦。承認(rèn)識別結(jié)果，并按下式調(diào)整連接權(quán)將步驟⑥復(fù)位的所有神經(jīng)元重新加入識別范圍之內(nèi)，返回步驟②對下一個模式進(jìn)行識別。取消識別結(jié)果，將輸出層神經(jīng)元的輸出值復(fù)位為0，并將這一77ART1網(wǎng)絡(luò)應(yīng)用舉例如圖，設(shè)ART1網(wǎng)絡(luò)有五個輸入神經(jīng)元和二十個輸出神經(jīng)元。現(xiàn)有兩個輸入模式和。要求用這兩個模式訓(xùn)練網(wǎng)絡(luò)。ART1網(wǎng)絡(luò)應(yīng)用舉例如圖，設(shè)ART1網(wǎng)絡(luò)有五個輸入神經(jīng)元和二78初始化令首先將輸入模式加到網(wǎng)絡(luò)的輸入層。求獲勝神經(jīng)元因為在網(wǎng)絡(luò)的初始狀態(tài)下，所有前饋連接權(quán)均取相等值1/6，所以各輸入神經(jīng)元均具有相等的輸入加權(quán)和。這時可任選一個神經(jīng)元（如第1個）作為的分類代表，即獲勝神經(jīng)元，令其輸出值為1。初始化令79計算得到，接受這次識別的結(jié)果；調(diào)整連接權(quán)至此，已記憶在網(wǎng)絡(luò)中。計算80將輸入模式加到網(wǎng)絡(luò)的輸入層。求獲勝神經(jīng)元因為，所以取神經(jīng)元1為獲勝神經(jīng)元。這顯然與的識別結(jié)果相沖突。所以拒絕這次識別結(jié)果，重新進(jìn)行識別。將輸入模式加到81因為，故可以從中任選一個神經(jīng)元，如神經(jīng)元2作為的分類結(jié)果，即獲勝神經(jīng)元。調(diào)整連接權(quán)至此，已記憶在網(wǎng)絡(luò)中。因為82CP網(wǎng)絡(luò)學(xué)習(xí)工作規(guī)則CP網(wǎng)絡(luò)學(xué)習(xí)工作規(guī)則83人工神經(jīng)網(wǎng)絡(luò)課件84設(shè)網(wǎng)絡(luò)輸入層有N個神經(jīng)元，P個連續(xù)值輸入模式為；競爭層有Q個神經(jīng)元，所對應(yīng)的二值輸出向量為；輸出層有M個神經(jīng)元，其連續(xù)值輸出向量為；希望輸出向量為。以上由輸入層至競爭層連接權(quán)向量由競爭層至輸出層連接權(quán)向量為設(shè)網(wǎng)絡(luò)輸入層有N個神經(jīng)元，P個連續(xù)值輸入模式為85網(wǎng)絡(luò)學(xué)習(xí)、工作規(guī)則如下初始化將連接權(quán)向量和賦予[0，1]區(qū)間內(nèi)的隨機(jī)值。將所有輸入模式進(jìn)行歸一化處理網(wǎng)絡(luò)學(xué)習(xí)、工作規(guī)則如下初始化將連接權(quán)向量86將第個輸入模式提供給網(wǎng)絡(luò)的輸入層。將連接權(quán)向量進(jìn)行歸一化處理求每一個競爭層神經(jīng)元加權(quán)輸入和將第個輸入模式提供給網(wǎng)絡(luò)的輸入層。87求連接權(quán)向量中與距離最近的向量

將神經(jīng)元的輸出置為1，其余競爭層神經(jīng)元輸出置為0求連接權(quán)向量中與88對連接權(quán)向量進(jìn)行調(diào)整

式中，為學(xué)習(xí)率。將連接權(quán)向量重新歸一化調(diào)整由競爭層至輸出層的連接向量對連接權(quán)向量進(jìn)行調(diào)整89將的值帶入可得：其中，為學(xué)習(xí)率。因此，只需調(diào)整競爭層獲勝神經(jīng)元到各輸出層神經(jīng)元的連接權(quán)向量。其它連接權(quán)保持不變。求輸出層各神經(jīng)元的加權(quán)輸入，并將其作為輸出神經(jīng)元的實際輸出值可簡化為將的值帶入可得：90返回步驟2，直至P個輸入模式全部提供給網(wǎng)絡(luò)。令，將輸入模式重新提供給網(wǎng)絡(luò)學(xué)習(xí)。直至。一般情況下，。為總學(xué)習(xí)次數(shù)。返回步驟2，直至P個輸入模式全部提供給網(wǎng)絡(luò)。91神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用92研究思路上海地區(qū)第Ⅲ層承壓水層其頂?shù)装迓裆钜话銥?10-150米，厚約20-30米。其水位變化主要受人工開采和回灌活動影響。因此這里選取觀測井周圍各采灌井的開采/回灌量作為影響觀測井水位變化的主要因素。研究步驟如下：研究思路上海地區(qū)第Ⅲ層承壓水層其頂?shù)装迓裆钜话銥?10-1593研究思路計算每年各采灌井開采量和回灌量之差，即。其中為第i口井的開采量，為第i口井的回灌量。計算觀測井與給采灌井之間的距離：研究思路計算每年各采灌井開采量和回灌量之差，即94研究思路第i口采灌井對觀測井的影響程度我們用來表示。顯然，開采井或回灌井離觀測井越近，則其影響越大，反之，影響越小。將各采灌井對觀測井的影響程度作為影響因子，觀測井的水位作為預(yù)報因子，建立神經(jīng)網(wǎng)絡(luò)的初始模型。通過網(wǎng)絡(luò)的學(xué)習(xí)，訓(xùn)練，最終得到預(yù)測的地下水水位的神經(jīng)網(wǎng)絡(luò)模型。研究思路第i口采灌井對觀測井的影響程度我們用來表95

圖1：研究區(qū)井位分布圖圖96圖2：靜安區(qū)1#井網(wǎng)絡(luò)訓(xùn)練誤差與迭加次數(shù)關(guān)系圖圖2：靜安區(qū)1#井網(wǎng)絡(luò)訓(xùn)練誤差與迭加次數(shù)關(guān)系圖97表1:靜安區(qū)1#井水位預(yù)測結(jié)果表1:靜安區(qū)1#井水位預(yù)測結(jié)果98表2：不同井水位同時預(yù)測的結(jié)果表2：不同井水位同時預(yù)測的結(jié)果99圖3：研究區(qū)第Ⅱ含水層60年代（a）,80年代（b）時間段水質(zhì)分布圖（途中虛線為推測界限）圖3：研究區(qū)第Ⅱ含水層60年代（a）,80年代（b）時間段水100圖4：研究區(qū)第Ⅲ含水層60年代（a）,80年代（b）時間段水質(zhì)分布圖（途中虛線為推測界限）圖4：研究區(qū)第Ⅲ含水層60年代（a）,80年代（b）時間段水101城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立102BP研究方法利用BP網(wǎng)絡(luò)建立城市可持續(xù)發(fā)展調(diào)控預(yù)測模型，首先需確定作為模型預(yù)報因子的指數(shù)，這里將水環(huán)境綜合指數(shù)作為預(yù)報因子，研究步聚如下：BP研究方法利用BP網(wǎng)絡(luò)建立城市可持續(xù)發(fā)展調(diào)控預(yù)測模型，首先103BP研究方法(1)由于影響城市可持續(xù)發(fā)展的相關(guān)指標(biāo)值較多，建模之前，我們對各指標(biāo)值進(jìn)行了篩選。考慮到原始數(shù)據(jù)量綱不同和指標(biāo)數(shù)值存在數(shù)量級的明顯差異，因此需對原始數(shù)據(jù)進(jìn)行歸一化處理。這里采用下述方法來進(jìn)行，即Xi用(Xi-X)/X來代替，其中X為Xi的平均數(shù)，Ｘi表示某一指標(biāo)在第i年的實際數(shù)值。該法的優(yōu)點是可以明顯地消除原始數(shù)據(jù)的級差，并統(tǒng)一量綱，最終選取國民生產(chǎn)總值、人均用水量、人口自然增長率、海域環(huán)境質(zhì)量、萬元產(chǎn)值工業(yè)廢水排放量及人均公共綠地面積作為影響研究區(qū)可持續(xù)發(fā)展的主要因素。BP研究方法(1)由于影響城市可持續(xù)發(fā)展的相關(guān)指標(biāo)值較多，建104BP研究方法(2)根據(jù)1990－1999年影響研究區(qū)可持續(xù)發(fā)展的相關(guān)指標(biāo)，將前述的6個主要因素作為影響因素，水環(huán)境綜合指數(shù)作為預(yù)報因子，建立神經(jīng)網(wǎng)絡(luò)模型。在網(wǎng)絡(luò)的訓(xùn)練過程中，我們將1990－1997年的數(shù)據(jù)作為訓(xùn)練樣本，1998年的水環(huán)境綜合指數(shù)作為驗證值，而將1999年的值作為預(yù)報因子。BP研究方法(2)根據(jù)1990－1999年影響研究區(qū)可持續(xù)發(fā)105城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立模型的建立

本模型的影響因素為6個，即輸入層神經(jīng)元的個數(shù)為6個，而輸出層神經(jīng)元個數(shù)為1個，這里需要說明的是，訓(xùn)練過程中，隱含層神經(jīng)元的個數(shù)是自動調(diào)節(jié)的，即先給定神經(jīng)元個數(shù)的最小值，比如2個，若網(wǎng)絡(luò)陷入局部極小值，則自動加1，直至網(wǎng)絡(luò)趨于收斂。該法的優(yōu)點是確保隱含層神經(jīng)元個數(shù)最少，從而提高了網(wǎng)絡(luò)預(yù)測結(jié)果的穩(wěn)定性。城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立模型的建立106模型的建立右圖為本模型的網(wǎng)絡(luò)結(jié)構(gòu)圖模型的建立右圖為本模型的網(wǎng)絡(luò)結(jié)構(gòu)圖107模型的建立經(jīng)過1464次迭代，1999年上海市水環(huán)境綜合指數(shù)的預(yù)測值為0.5159，而其實測值為0.51，相對誤差為1.16%。說明運用神經(jīng)網(wǎng)絡(luò)技術(shù)來建立城市可持續(xù)發(fā)展的調(diào)控預(yù)測模型是切實可行的。表1為經(jīng)歸一化后影響上海市區(qū)可持續(xù)發(fā)展的主要指標(biāo)值。表2－4分別為所建模型輸入層各神經(jīng)元與隱含層各神經(jīng)元的連接權(quán)值、隱含層各神經(jīng)元與輸出層各神經(jīng)元的連接權(quán)值及隱含層各神經(jīng)元的閾值。輸出層神經(jīng)元只有一個，其閾值為0.7293。模型的建立經(jīng)過1464次迭代，1999年上海市水環(huán)境綜合指數(shù)108表1歸一化后影響上海市區(qū)可持續(xù)發(fā)展的相關(guān)指標(biāo)值年份國民生產(chǎn)總值人均用水量人口自然增長率海域環(huán)境質(zhì)量萬元產(chǎn)值工業(yè)廢水排放量人均公共綠地面積水環(huán)境綜合指數(shù)（四類）1990-0.6667-0.1979-4.6842-0.21360.7793-0.47640.791991-0.6062-0.1928-2.1579-0.13410.5273-0.43180.771992-0.5090-0.1615-1.21050.20340.4104-0.40571.141993-0.3340-0.1304-0.15790.2660-0.1838-0.37230.841994-0.1312-0.12320.47360.10240.0265-0.24680.7919950.08500.16761.10530.2783-0.1387-0.05820.6919960.27870.17611.4210-0.2121-0.27890.05230.7119970.48050.18371.5263-0.1152-0.32230.30070.6219980.62500.16692.2632-0.1131-0.34570.63080.5119990.77780.10941.4211-0.0620-0.47421.00700.51表1歸一化后影響上海市區(qū)可持續(xù)發(fā)展的相關(guān)指標(biāo)值年份國民生產(chǎn)109表2輸入層各神經(jīng)元與隱含層各神經(jīng)元之間的連接權(quán)值Wij

ji1234561-1.399810.6125-0.5501-6.85524.0251-2.39812-1.3264-8.90210.54918.60053.6808-2.620631.71293.12900.6117-6.2769-2.4386-3.922842.9561-5.4328-0.23585.08073.5352-4.04975-3.1730-8.31530.66472.58081.85593.00656-2.94414.84610.1633-5.8684-3.4640-3.79657-3.20891.3788-0.3458-10.34080.99663.67258-3.171213.95680.2546-5.1083-1.0935-1.6540表2輸入層各神經(jīng)元與隱含層各神經(jīng)元之間的連接權(quán)值Wij110表3隱含層各神經(jīng)元與輸出層各神經(jīng)元之間的連接權(quán)值Vjtj12345678Vjt0.2123-0.1055-0.14150.5548-0.05280.4393-0.5061-0.2059表3隱含層各神經(jīng)元與輸出層各神經(jīng)元之間的連接權(quán)值Vjtj1111表4隱含層各神經(jīng)元的閾值j123456780.81723.2207-0.8521-3.1211-1.6618-2.0650-1.8062-2.7817表4隱含層各神經(jīng)元的閾值j123456780.81723112預(yù)測結(jié)果的探討根據(jù)上述所建模型，輸入上海市“十五”規(guī)劃中提出的國民生產(chǎn)總值、人均用水量、人口自然增長率、海域環(huán)境質(zhì)量、萬元產(chǎn)值工業(yè)廢水排放量及人均公共綠地面積2005年的目標(biāo)值，運用所建模型預(yù)測2005年上海市的水環(huán)境質(zhì)量綜合指數(shù)，網(wǎng)絡(luò)的輸出值為0.5996。預(yù)測結(jié)果的探討根據(jù)上述所建模型，輸入上海市“十五”規(guī)劃中提113預(yù)測結(jié)果的探討這一結(jié)果表明，就水環(huán)境質(zhì)量的達(dá)標(biāo)而言，上海市在“十五”規(guī)劃中提出的社會、經(jīng)濟(jì)發(fā)展目標(biāo)是基本合理的，環(huán)境改善計劃是有效的，社會經(jīng)濟(jì)發(fā)展速度比較適度，不會超出區(qū)域水環(huán)境容量，同時也說明調(diào)控預(yù)測模型的使用可以為城市可持續(xù)發(fā)展戰(zhàn)略的制定和規(guī)劃提供科學(xué)依據(jù)。但不能忽視的是水環(huán)境是上海開始環(huán)境整治以來的一個重點，2005年水質(zhì)的達(dá)標(biāo)是長期環(huán)境治理的結(jié)果，這一預(yù)測結(jié)果不能說明該社會、經(jīng)濟(jì)發(fā)展規(guī)劃能滿足所有環(huán)境因子達(dá)標(biāo)的要求。預(yù)測結(jié)果的探討這一結(jié)果表明，就水環(huán)境質(zhì)量的達(dá)標(biāo)而言，上海市在114人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)115緒論定義：人工神經(jīng)網(wǎng)絡(luò)是對人腦或自然的神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。神經(jīng)網(wǎng)絡(luò)信息處理的基本特征：分布存貯與容錯性并行處理性信息處理與貯存的合二而一性可塑性與自組織性層次性與系統(tǒng)性緒論定義：人工神經(jīng)網(wǎng)絡(luò)是對人腦或自然的神經(jīng)網(wǎng)絡(luò)若干基本特性的116神經(jīng)網(wǎng)絡(luò)研究、發(fā)展的歷史1943年：WarrenMcCulloch和W.pittsM－P模型。1949年：Hebb提出學(xué)習(xí)規(guī)則。1962年：Rosenblattperceptron（感知機(jī)）特點：并行處理，分布式存貯。1967年：GrossbergAvalanche網(wǎng)絡(luò)。功能：語言識別，控制機(jī)器人手臂的運動。1969年：Minsky和papert出版perceptron（書）神經(jīng)網(wǎng)絡(luò)研究、發(fā)展的歷史1943年：WarrenMcCul1171982年：JohnHopfieldHopfield網(wǎng)絡(luò)優(yōu)點：聯(lián)想記憶，容錯分類，自動尋優(yōu)。1986年：Rumelhart和McCelland《paralleldistributedprocessing》《并行分布信息處理》，對Errorbackpropagation（誤差逆?zhèn)鞑ニ惴ǎ┻M(jìn)行了詳細(xì)討論。二十世紀(jì)九十年代：神經(jīng)網(wǎng)絡(luò)在信息處理，模式識別，自動控制，專家系統(tǒng)及機(jī)器人控制等方面得到了廣泛的應(yīng)用。1982年：JohnHopfieldHopfi118神經(jīng)網(wǎng)絡(luò)的研究分以下幾個方面：大腦和神經(jīng)系統(tǒng)的信息處理原理構(gòu)造能實現(xiàn)信息處理的神經(jīng)網(wǎng)絡(luò)原理能實現(xiàn)信息處理基本原理的技術(shù)研究－神經(jīng)計算機(jī)神經(jīng)網(wǎng)絡(luò)的研究分以下幾個方面：大腦和神經(jīng)系統(tǒng)的信息處理原理119生物神經(jīng)元的特性：神經(jīng)元是一個多輸入、單輸出元件；神經(jīng)元是一個具有非線性輸入/輸出特性的元件；神經(jīng)元具有可塑性；神經(jīng)元的輸出響應(yīng)是各個輸入的綜合作用的結(jié)果，即所有輸入的累加作用。生物神經(jīng)元的特性：神經(jīng)元是一個多輸入、單輸出元件；120人工神經(jīng)網(wǎng)絡(luò)課件121

上述表達(dá)式為最終的生物神經(jīng)元模型，其數(shù)學(xué)表達(dá)式為：上述表達(dá)式為最終的生物神經(jīng)元模型，其數(shù)學(xué)表達(dá)式為：122輸入/輸出函數(shù)有兩種基本形式：階躍響應(yīng)函數(shù)和S型響應(yīng)函數(shù)。其響應(yīng)特征如圖所示：01yx輸入/輸出函數(shù)有兩種基本形式：01yx123設(shè)神經(jīng)元輸入向量為：相應(yīng)的權(quán)值向量為：設(shè)該神經(jīng)元的閾值為，輸出為y，則

式中或者采用符號函數(shù)M－P模型設(shè)神經(jīng)元輸入向量為：M－P模型124M－Ｐ模型原理簡單，但它對生物神經(jīng)元進(jìn)行了完整的數(shù)學(xué)描述，其缺點是只能實現(xiàn)線性分類。M－Ｐ模型原理簡單，但它對生物神經(jīng)元進(jìn)行了完整的數(shù)學(xué)描述，其125神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為兩類：教師示教學(xué)習(xí)方式

比較教師示教（希望輸出）實際輸出學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為兩類：教師示教學(xué)習(xí)方式比較教師示教126無教師示教方式

學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)自我比較實際輸出無教師示教方式學(xué)習(xí)系統(tǒng)輸入神經(jīng)網(wǎng)絡(luò)自我比較實際輸出127學(xué)習(xí)過程的結(jié)束標(biāo)志：學(xué)習(xí)次數(shù)誤差均方誤差式中M為樣本模式對的個數(shù)，Q為輸出單元的個數(shù)誤差平方和學(xué)習(xí)過程的結(jié)束標(biāo)志：學(xué)習(xí)次數(shù)128感知機(jī)模型感知機(jī)模型129感知機(jī)模型由感知層S(Sensory)、連接層A(Association)、反應(yīng)層R(Response)三層構(gòu)成。單層感知機(jī)網(wǎng)絡(luò)的一般拓?fù)浣Y(jié)構(gòu)如圖所示：………………………………感知機(jī)模型由感知層S(Sensory)、連接層A(Assoc130設(shè)網(wǎng)絡(luò)輸入模式向量為：對應(yīng)的輸出為：,由A層至輸出層R的連接權(quán)向量為：網(wǎng)絡(luò)按如下規(guī)則進(jìn)行學(xué)習(xí)初始化將A層至R層的連接權(quán)向量及輸出單元的閾值賦予(－1，＋1)區(qū)間內(nèi)的隨機(jī)值。連接權(quán)的修正每個輸入模式對完成如下計算。設(shè)網(wǎng)絡(luò)輸入模式向量為：131計算網(wǎng)絡(luò)輸出：式中，為雙極值階躍函數(shù)，且計算輸出層單元希望輸出與實際輸出之間的誤差：修正A層各單元與輸出層R之間的連接權(quán)與閾值：

式中，為學(xué)習(xí)回數(shù)；、為正常數(shù)，稱學(xué)習(xí)率。計算網(wǎng)絡(luò)輸出：132對個輸入模式重復(fù)步驟2，直到誤差趨于零或小于預(yù)先給定的誤差限。對個輸入模式重復(fù)步驟2，直到誤差133BP網(wǎng)絡(luò)學(xué)習(xí)過程BP網(wǎng)絡(luò)學(xué)習(xí)過程134人工神經(jīng)網(wǎng)絡(luò)課件135設(shè)輸入模式向量為：希望輸出向量：隱含層各單元的輸入向量為：隱含層各單元的輸出向量為：輸出層各單元的輸入向量為：輸出層各單元的輸出向量為：輸入層至中間層連接權(quán)：中間層至輸出層連接權(quán)：中間層各單元輸出閾值：輸出層各單元輸出閾值：設(shè)輸入模式向量為：136首先介紹網(wǎng)絡(luò)響應(yīng)函數(shù)——S函數(shù)的一個重要性質(zhì)，即該函數(shù)的導(dǎo)數(shù)可用其自身來表示。S函數(shù)的表達(dá)式可表示為：其一階導(dǎo)數(shù)：首先介紹網(wǎng)絡(luò)響應(yīng)函數(shù)——S函數(shù)的一個重要性質(zhì)，即該函數(shù)的導(dǎo)數(shù)137對于第k個學(xué)習(xí)模式，網(wǎng)絡(luò)希望輸出與實際輸出的差定義為：的均方值：為使隨連接權(quán)的修正按梯度下降，則需求對網(wǎng)絡(luò)實際輸出的偏導(dǎo)

對于第k個學(xué)習(xí)模式，網(wǎng)絡(luò)希望輸出與實際輸出的差定義為： 138由于連接權(quán)的微小變化，對輸出層響應(yīng)的影響可表示為連接權(quán)的微小變化對第k個模式的均方差的影響：由于139按梯度下降原則，使連接權(quán)的調(diào)整量與的負(fù)值成比例變化，則可得：設(shè)輸出層各單元的一般化誤差為定義為對輸出層輸入的負(fù)偏導(dǎo)按梯度下降原則，使連接權(quán)的調(diào)整量140連接權(quán)的調(diào)整量由輸入層至中間層連接權(quán)的調(diào)整，仍然按梯度下降法的原則進(jìn)行。中間層各單元的輸入為其輸出為連接權(quán)的調(diào)整量141連接權(quán)的微小變化，對第k個學(xué)習(xí)模式的均方誤差的影響，可得設(shè)中間層各單元的一般化誤差為

定義為對中間層輸入的負(fù)偏導(dǎo)。連接權(quán)的微小變化，對第k個學(xué)習(xí)模式的均方誤差的影142則連接權(quán)的調(diào)整量應(yīng)為閾值的調(diào)整量為設(shè)網(wǎng)絡(luò)的全局誤差為E，則則143BP網(wǎng)絡(luò)工作步驟BP網(wǎng)絡(luò)工作步驟144初始化給各連接權(quán)、及閾值、賦予(-1,+1)間的隨機(jī)值。隨機(jī)選取一模式對，提供給網(wǎng)絡(luò)。用輸入模式、連接權(quán)和閾值計算中間各單元的輸入；然后用 通過S函數(shù)計算中間層各單元的輸出初始化給各連接權(quán)、及閾值145用中間層的輸出、連接權(quán)和閾值計算輸出層各單元的輸入，然后用通過S函數(shù)計算輸出層各單元的響應(yīng)用希望輸出模式、網(wǎng)絡(luò)實際輸出，計算輸出層的各單元的一般化誤差用中間層的輸出、連接權(quán)和閾值146用連接權(quán)、輸出層的一般化誤差、中間層的輸出計算中間層各單元的一般化誤差用輸出層各單元的一般化誤差、中間層各單元的輸出修正連接權(quán)和閾值用連接權(quán)、輸出層的一般化誤差、中間層的147用中間層各單元的一般化誤差、輸入層各單元的輸入修正連接權(quán)和閾值隨即選取下一個學(xué)習(xí)模式對提供給網(wǎng)絡(luò)，返回到步驟3，直至全部m個模式對訓(xùn)練完畢。用中間層各單元的一般化誤差、輸入層各單元的輸入148重新從m個學(xué)習(xí)模式對中隨機(jī)選取一個模式對，返回步驟3，直至網(wǎng)絡(luò)全局誤差函數(shù)E小于預(yù)先設(shè)定的一個極小值，即網(wǎng)絡(luò)收斂或?qū)W習(xí)回數(shù)大于預(yù)先設(shè)定的值，即網(wǎng)絡(luò)無法收斂。結(jié)束學(xué)習(xí)。在上述的學(xué)習(xí)步驟中，3—6為“模式順傳播過程”，7－8為網(wǎng)絡(luò)誤差的逆?zhèn)鞑ミ^程，9、10完成訓(xùn)練和收斂過程。重新從m個學(xué)習(xí)模式對中隨機(jī)選取一個模式對，返回步驟3，直至網(wǎng)149BP網(wǎng)絡(luò)的缺陷學(xué)習(xí)收斂速度太慢，即使一個比較簡單的問題，也需要幾百次甚至上千次的學(xué)習(xí)才能收斂。不能保證收斂到全局最小點。網(wǎng)絡(luò)隱含層的層數(shù)及隱含層的單元數(shù)的選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗確定。因此，網(wǎng)絡(luò)往往具有很大的冗余性，無形中也增加了網(wǎng)絡(luò)學(xué)習(xí)的時間。網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性。一個訓(xùn)練結(jié)束的BP網(wǎng)絡(luò)，當(dāng)給它提供新的記憶模式時，將使已有的連接權(quán)打亂，導(dǎo)致已記憶的學(xué)習(xí)模式的信息消失。BP網(wǎng)絡(luò)的缺陷學(xué)習(xí)收斂速度太慢，即使一個比較簡單的問題，也需150對BP網(wǎng)絡(luò)的改進(jìn)慣性校正法式中，為本次應(yīng)得校正量，為前次校正量。對BP網(wǎng)絡(luò)的改進(jìn)慣性校正法151Hopfield網(wǎng)絡(luò)運行規(guī)則Hopfield網(wǎng)絡(luò)運行規(guī)則152人工神經(jīng)網(wǎng)絡(luò)課件153Hopfield神經(jīng)網(wǎng)絡(luò)的工作運行規(guī)則人工神經(jīng)網(wǎng)絡(luò)課件154從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元。求出所選中的神經(jīng)元的所有輸入的加權(quán)總和：計算的第時刻的輸出值，即：IF

THEN

ELSE從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元。155以外的所有神經(jīng)元輸出保持不變返回到第一步，直至網(wǎng)絡(luò)進(jìn)入穩(wěn)定狀態(tài)。以外的所有神經(jīng)元輸出保持不變156隨機(jī)型神經(jīng)網(wǎng)絡(luò)隨機(jī)型神經(jīng)網(wǎng)絡(luò)157誤差逆?zhèn)鞑ニ惴ㄅcHopfield網(wǎng)絡(luò)陷入局部極小值的原因主要有兩點：網(wǎng)絡(luò)結(jié)構(gòu)上存在著輸入與輸出之間的非線性函數(shù)關(guān)系，從而事網(wǎng)絡(luò)誤差或能量函數(shù)所構(gòu)成的空間是一個含有多極點的非線性空間；算法上，網(wǎng)絡(luò)的誤差或能量函數(shù)只能按單方向減小而不能有絲毫的上升趨勢。誤差逆?zhèn)鞑ニ惴ㄅcHopfield網(wǎng)絡(luò)陷入局部極小值的原因主要158(a)隨機(jī)型算法(b)“貪心”算法兩種類型算法的比較(a)隨機(jī)型算法(b)“貪心”算法兩種類型算法的比較159模擬退火算法模擬退火算法160如果把神經(jīng)網(wǎng)絡(luò)的狀態(tài)看作金屬內(nèi)部的“粒子”，把網(wǎng)絡(luò)在各個狀態(tài)下的能量函數(shù)Ei看作是粒子所處的能態(tài)。在算法中設(shè)置一種控制參數(shù)T，當(dāng)T較大時，網(wǎng)絡(luò)能量由低向高變化的可能性也較大；隨著T的減小，這種可能性也減小。如果把這個參數(shù)看作溫度，讓其由高慢慢的下降，則整個網(wǎng)絡(luò)狀態(tài)變化過程就完全模擬了金屬的退火過程，當(dāng)參數(shù)T下降到一定程度時，網(wǎng)絡(luò)將收斂于能量的最小值。如果把神經(jīng)網(wǎng)絡(luò)的狀態(tài)看作金屬內(nèi)部的“粒子”，把網(wǎng)絡(luò)在各個狀態(tài)161模擬退火算法如下：設(shè)網(wǎng)絡(luò)狀態(tài)為：

N——網(wǎng)絡(luò)神經(jīng)元的個數(shù)；各連接權(quán)為神經(jīng)元i的綜合輸入值，即內(nèi)部狀態(tài)為輸出閾值為模擬退火算法如下：設(shè)網(wǎng)絡(luò)狀態(tài)為：162神經(jīng)元i輸出ui為1和0的概率分別為Pui(1)和Pui(0)，則式中，T稱為網(wǎng)絡(luò)溫度(NetworkTemperature)……(1)……(2)……(3)神經(jīng)元i輸出ui為1和0的概率分別為Pui(1)和Pui(0163Pui(1)函數(shù)曲線Pui(1)函數(shù)曲線164當(dāng)神經(jīng)元i按(2)式所給的概率，在下一時刻的輸出值取時，則其能量變化為由上式可以看出，這在Hopfield算法中是不允許的，而這里卻允許比較小的概率接受這種變化。當(dāng)神經(jīng)元i按(2)式所給的概率，在下一時刻的輸出值取時，則其165從圖中還可以看出，當(dāng)溫度T較高時，Pui(1)相對于Hi的變化反應(yīng)遲鈍，曲線區(qū)域平坦，特別是當(dāng)T→∞時，曲線變?yōu)橐粭l恒為0.5的直線。此時ui取1和0的概率相等，這意味著在T較高的期間，網(wǎng)絡(luò)各神經(jīng)元有更多的機(jī)會進(jìn)行狀態(tài)選擇，相當(dāng)于金屬內(nèi)部的粒子做激烈的自由運動。當(dāng)溫度降低時，Pui(1)曲線變陡，Pui(1)相對于Hi的變化相當(dāng)敏感。當(dāng)T→0時，曲線退化為一階躍函數(shù)，則算法也從模擬退火算法過渡到Hopfield算法，所以可以說Hopfield算法是模擬退火算法在T→0時的特例。從圖中還可以看出，當(dāng)溫度T較高時，Pui(1)相對于Hi的變166按(1)-(3)式反復(fù)進(jìn)行網(wǎng)絡(luò)的狀態(tài)更新，且更新次數(shù)N足夠大以后，我們會發(fā)現(xiàn)網(wǎng)絡(luò)某狀態(tài)出現(xiàn)的概率將服從以下所示的分布。式中，為狀態(tài)所對應(yīng)的網(wǎng)絡(luò)能量。按(1)-(3)式反復(fù)進(jìn)行網(wǎng)絡(luò)的狀態(tài)更新，且更新次數(shù)N足夠大167Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則168人工神經(jīng)網(wǎng)絡(luò)課件169設(shè)網(wǎng)絡(luò)有N個神經(jīng)元，各神經(jīng)元之間的連接權(quán)為，各神經(jīng)元的輸出閾值為，輸出為，神經(jīng)元的內(nèi)部狀態(tài)為。以上；。取，給和賦予[-1，+1]區(qū)間內(nèi)的隨機(jī)值，并使，（實際應(yīng)用中連接權(quán)是按聯(lián)想記憶模式設(shè)計的）。從N個神經(jīng)元中隨機(jī)選取一個神經(jīng)元求出神經(jīng)元的輸入總和，即內(nèi)部狀態(tài)設(shè)網(wǎng)絡(luò)有N個神經(jīng)元，各神經(jīng)元之間的連接權(quán)為170按此概率將神經(jīng)元的狀態(tài)更新為1以外的神經(jīng)元的輸出狀態(tài)保持不變令，計算此時新的溫度參數(shù)…該式稱為降溫策略。返回到步驟①，直至溫度參數(shù)小于預(yù)先給定的一個截止溫度。按此概率將神經(jīng)元的狀態(tài)更新為1171這里對工作規(guī)則作以下四點解釋：步驟③中，更新網(wǎng)絡(luò)狀態(tài)使，一般有兩種方法：當(dāng)時，直接使，因為這種情況下；而當(dāng)時，在[0，0.5]區(qū)間內(nèi)產(chǎn)生一隨機(jī)數(shù)，當(dāng)時，使,否則使。當(dāng)時，使；當(dāng)時，當(dāng)大于預(yù)先給定的概率值時，使，否則使這里對工作規(guī)則作以下四點解釋：172關(guān)于初始溫度和結(jié)束溫度，目前還沒有一個成熟的設(shè)定方法，一般憑經(jīng)驗給出。關(guān)于連接權(quán)和閾值的設(shè)定，這里為敘述方便，在初始化時賦予[-1，+1]區(qū)間內(nèi)的隨機(jī)值。在實際應(yīng)用中，同Hopfield網(wǎng)絡(luò)一樣，是需要按一定規(guī)則預(yù)先設(shè)定的。關(guān)于降溫策略，由于在Boltzmann機(jī)工作規(guī)則中引入了概率，所以網(wǎng)絡(luò)不是收斂于一個狀態(tài)而是收斂于平衡狀態(tài)。關(guān)于初始溫度和結(jié)束溫度，目前還沒有一個成173基本競爭型神經(jīng)網(wǎng)絡(luò)基本競爭型神經(jīng)網(wǎng)絡(luò)174人工神經(jīng)網(wǎng)絡(luò)課件175競爭型神經(jīng)網(wǎng)絡(luò)分為輸入層和競爭層。其中輸入層有N個神經(jīng)元，競爭型有M個神經(jīng)元。網(wǎng)絡(luò)的連接權(quán)為；，且約束條件為：網(wǎng)絡(luò)的P個二值輸入學(xué)習(xí)模式為：，與其對應(yīng)的競爭層輸出模式為

競爭型神經(jīng)網(wǎng)絡(luò)分為輸入層和競爭層。其中輸入層有N個神經(jīng)元，競176基本競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則初始化按的約束條件賦予；[0，1]區(qū)間內(nèi)隨機(jī)值。任選P個學(xué)習(xí)模式中的一個模式提供給網(wǎng)絡(luò)的輸入層。計算競爭層各神經(jīng)元的輸入值：基本競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則初始化按177按“勝者為王”的原則，以中最大值所對應(yīng)的神經(jīng)元作為勝者，將其輸出狀態(tài)置為1，而其它所有神經(jīng)元的輸出狀態(tài)置為0，即：如果出現(xiàn)的現(xiàn)象，則按統(tǒng)一約定取左邊的神經(jīng)元為獲勝神經(jīng)元。對與獲勝神經(jīng)元相連的各連接權(quán)進(jìn)行修正。而其它所有連接權(quán)保持不變。

其中，為學(xué)習(xí)系數(shù)，為第k個學(xué)習(xí)模式向量中元素為1的個數(shù)。按“勝者為王”的原則，以178選取另一個學(xué)習(xí)模式，返回步驟③，直至P個學(xué)習(xí)模式全部提供給網(wǎng)絡(luò)。返回步驟②，直至各連接權(quán)的調(diào)整量變得很小為止。選取另一個學(xué)習(xí)模式，返回步驟③，直至P個學(xué)習(xí)模式全部提供給網(wǎng)179抑制競爭型神經(jīng)網(wǎng)絡(luò)抑制競爭型神經(jīng)網(wǎng)絡(luò)180人工神經(jīng)網(wǎng)絡(luò)課件181設(shè)網(wǎng)絡(luò)有N個輸入層神經(jīng)元和M個競爭層神經(jīng)元，網(wǎng)絡(luò)的P個二值輸入、學(xué)習(xí)模式為，網(wǎng)絡(luò)的連接權(quán)為；。網(wǎng)絡(luò)競爭層的輸出向量為。

表示網(wǎng)絡(luò)對k個輸入、學(xué)習(xí)模式的第次學(xué)習(xí)結(jié)果。設(shè)網(wǎng)絡(luò)有N個輸入層神經(jīng)元和M個競爭層神經(jīng)元，網(wǎng)絡(luò)的P個二值輸182抑制競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則給賦予(0，1)之間的隨機(jī)值，且滿足約束條件。任選一個學(xué)習(xí)模式提供給網(wǎng)絡(luò)的輸入層。計算競爭層各神經(jīng)元的輸入以競爭層各神經(jīng)元輸入值作為其輸出值的初始值，即：抑制競爭型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則給183計算競爭層各神經(jīng)元下一時刻輸出的值返回步驟⑤，對輸出值進(jìn)行反復(fù)更新，直至第個神經(jīng)元的輸出值遠(yuǎn)遠(yuǎn)大于其它個神經(jīng)元的輸出值。計算競爭層各神經(jīng)元下一時刻輸出的值184對與神經(jīng)元連接權(quán)進(jìn)行調(diào)整。選擇另一個輸入、學(xué)習(xí)模式，返回步驟③，直至所有輸入、學(xué)習(xí)模式全部提供給網(wǎng)絡(luò)。對與神經(jīng)元連接權(quán)進(jìn)行調(diào)整。185ART1網(wǎng)絡(luò)的學(xué)習(xí)工作規(guī)則ART1網(wǎng)絡(luò)的學(xué)習(xí)工作規(guī)則1861122jiMN............輸入模式Ak=(a1K,a2K,a3K,...,aNK)輸入向量Bk=(b1K,b2K,b3K,...,bMK)

輸出層(識別層)輸入層(比較層)反饋連接權(quán)(Tij)前饋連接權(quán)(Wij)互抑制性連接1122jiMN............輸入187學(xué)習(xí)過程初始階段識別階段比較階段尋找階段學(xué)習(xí)過程初始階段188初始化將輸入模式提供給網(wǎng)絡(luò)的輸入層。計算輸出層各神經(jīng)元的輸入加權(quán)和初始化189選擇的最佳分類結(jié)果令神經(jīng)元的輸出為1。計算以下三式，并進(jìn)行判斷當(dāng)Ⅲ式成立時，轉(zhuǎn)入步驟⑦，否則轉(zhuǎn)入步驟⑥。選擇的最佳分類結(jié)果190取消識別結(jié)果，將輸出層神經(jīng)元的輸出值復(fù)位為0，并將這一神經(jīng)元排除在下次識別的范圍之外，返回步驟④。當(dāng)所有已利用過的神經(jīng)元都無法滿足Ⅲ式，則選擇一個新的神經(jīng)元作為分類結(jié)果進(jìn)入步驟⑦。承認(rèn)識別結(jié)果，并按下式調(diào)整連接權(quán)將步驟⑥復(fù)位的所有神經(jīng)元重新加入識別范圍之內(nèi)，返回步驟②對下一個模式進(jìn)行識別。取消識別結(jié)果，將輸出層神經(jīng)元的輸出值復(fù)位為0，并將這一191ART1網(wǎng)絡(luò)應(yīng)用舉例如圖，設(shè)ART1網(wǎng)絡(luò)有五個輸入神經(jīng)元和二十個輸出神經(jīng)元。現(xiàn)有兩個輸入模式和。要求用這兩個模式訓(xùn)練網(wǎng)絡(luò)。ART1網(wǎng)絡(luò)應(yīng)用舉例如圖，設(shè)ART1網(wǎng)絡(luò)有五個輸入神經(jīng)元和二192初始化令首先將輸入模式加到網(wǎng)絡(luò)的輸入層。求獲勝神經(jīng)元因為在網(wǎng)絡(luò)的初始狀態(tài)下，所有前饋連接權(quán)均取相等值1/6，所以各輸入神經(jīng)元均具有相等的輸入加權(quán)和。這時可任選一個神經(jīng)元（如第1個）作為的分類代表，即獲勝神經(jīng)元，令其輸出值為1。初始化令193計算得到，接受這次識別的結(jié)果；調(diào)整連接權(quán)至此，已記憶在網(wǎng)絡(luò)中。計算194將輸入模式加到網(wǎng)絡(luò)的輸入層。求獲勝神經(jīng)元因為，所以取神經(jīng)元1為獲勝神經(jīng)元。這顯然與的識別結(jié)果相沖突。所以拒絕這次識別結(jié)果，重新進(jìn)行識別。將輸入模式加到195因為，故可以從中任選一個神經(jīng)元，如神經(jīng)元2作為的分類結(jié)果，即獲勝神經(jīng)元。調(diào)整連接權(quán)至此，已記憶在網(wǎng)絡(luò)中。因為196CP網(wǎng)絡(luò)學(xué)習(xí)工作規(guī)則CP網(wǎng)絡(luò)學(xué)習(xí)工作規(guī)則197人工神經(jīng)網(wǎng)絡(luò)課件198設(shè)網(wǎng)絡(luò)輸入層有N個神經(jīng)元，P個連續(xù)值輸入模式為；競爭層有Q個神經(jīng)元，所對應(yīng)的二值輸出向量為；輸出層有M個神經(jīng)元，其連續(xù)值輸出向量為；希望輸出向量為。以上由輸入層至競爭層連接權(quán)向量由競爭層至輸出層連接權(quán)向量為設(shè)網(wǎng)絡(luò)輸入層有N個神經(jīng)元，P個連續(xù)值輸入模式為199網(wǎng)絡(luò)學(xué)習(xí)、工作規(guī)則如下初始化將連接權(quán)向量和賦予[0，1]區(qū)間內(nèi)的隨機(jī)值。將所有輸入模式進(jìn)行歸一化處理網(wǎng)絡(luò)學(xué)習(xí)、工作規(guī)則如下初始化將連接權(quán)向量200將第個輸入模式提供給網(wǎng)絡(luò)的輸入層。將連接權(quán)向量進(jìn)行歸一化處理求每一個競爭層神經(jīng)元加權(quán)輸入和將第個輸入模式提供給網(wǎng)絡(luò)的輸入層。201求連接權(quán)向量中與距離最近的向量

將神經(jīng)元的輸出置為1，其余競爭層神經(jīng)元輸出置為0求連接權(quán)向量中與202對連接權(quán)向量進(jìn)行調(diào)整

式中，為學(xué)習(xí)率。將連接權(quán)向量重新歸一化調(diào)整由競爭層至輸出層的連接向量對連接權(quán)向量進(jìn)行調(diào)整203將的值帶入可得：其中，為學(xué)習(xí)率。因此，只需調(diào)整競爭層獲勝神經(jīng)元到各輸出層神經(jīng)元的連接權(quán)向量。其它連接權(quán)保持不變。求輸出層各神經(jīng)元的加權(quán)輸入，并將其作為輸出神經(jīng)元的實際輸出值可簡化為將的值帶入可得：204返回步驟2，直至P個輸入模式全部提供給網(wǎng)絡(luò)。令，將輸入模式重新提供給網(wǎng)絡(luò)學(xué)習(xí)。直至。一般情況下，。為總學(xué)習(xí)次數(shù)。返回步驟2，直至P個輸入模式全部提供給網(wǎng)絡(luò)。205神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用206研究思路上海地區(qū)第Ⅲ層承壓水層其頂?shù)装迓裆钜话銥?10-150米，厚約20-30米。其水位變化主要受人工開采和回灌活動影響。因此這里選取觀測井周圍各采灌井的開采/回灌量作為影響觀測井水位變化的主要因素。研究步驟如下：研究思路上海地區(qū)第Ⅲ層承壓水層其頂?shù)装迓裆钜话銥?10-15207研究思路計算每年各采灌井開采量和回灌量之差，即。其中為第i口井的開采量，為第i口井的回灌量。計算觀測井與給采灌井之間的距離：研究思路計算每年各采灌井開采量和回灌量之差，即208研究思路第i口采灌井對觀測井的影響程度我們用來表示。顯然，開采井或回灌井離觀測井越近，則其影響越大，反之，影響越小。將各采灌井對觀測井的影響程度作為影響因子，觀測井的水位作為預(yù)報因子，建立神經(jīng)網(wǎng)絡(luò)的初始模型。通過網(wǎng)絡(luò)的學(xué)習(xí)，訓(xùn)練，最終得到預(yù)測的地下水水位的神經(jīng)網(wǎng)絡(luò)模型。研究思路第i口采灌井對觀測井的影響程度我們用來表209

圖1：研究區(qū)井位分布圖圖210圖2：靜安區(qū)1#井網(wǎng)絡(luò)訓(xùn)練誤差與迭加次數(shù)關(guān)系圖圖2：靜安區(qū)1#井網(wǎng)絡(luò)訓(xùn)練誤差與迭加次數(shù)關(guān)系圖211表1:靜安區(qū)1#井水位預(yù)測結(jié)果表1:靜安區(qū)1#井水位預(yù)測結(jié)果212表2：不同井水位同時預(yù)測的結(jié)果表2：不同井水位同時預(yù)測的結(jié)果213圖3：研究區(qū)第Ⅱ含水層60年代（a）,80年代（b）時間段水質(zhì)分布圖（途中虛線為推測界限）圖3：研究區(qū)第Ⅱ含水層60年代（a）,80年代（b）時間段水214圖4：研究區(qū)第Ⅲ含水層60年代（a）,80年代（b）時間段水質(zhì)分布圖（途中虛線為推測界限）圖4：研究區(qū)第Ⅲ含水層60年代（a）,80年代（b）時間段水215城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立城市可持續(xù)發(fā)展調(diào)控預(yù)測模型的建立216BP研究方法利用BP網(wǎng)絡(luò)建立城市可持續(xù)發(fā)展調(diào)控預(yù)測模型，首先需確定作為模型預(yù)報因子的指數(shù)，這里將水環(huán)境綜