第10章

神經網絡10.1神經網絡的相關知識10.2神經網絡10.3BP神經網絡10.1神經網絡的相關知識10.1.1神經網絡的歷史1890年WilliamJames的《心理學原理》，指明出了神經細胞所有輸入的疊加導致了這個神經細胞的激活。1943年WarrenMcCulloch和WalterPitts嘗試著通過數學的方式描述和構建了神經元。1949年，DonaldHebb在《行為組織學》一書中描述了一種神經元突觸學習法則。1951年MarvinMinsky在普林斯頓大學讀博士期間創建了第一個隨機連接神經模擬計算器SNARC。10.1神經網絡的相關知識10.1.1神經網絡的歷史1957年，FrankRosenblatt在康奈爾航天實驗室的IBM704計算機上設計了一種具有單神經元的“感知器”，可以解決簡單的線性分類問題。1969年，已經獲得了圖靈獎的MarvinMinsky和SeymourPapert合著了《感知器》一書，書中指出單層神經網絡只能運用于線性問題的求解，不能解決哪怕最簡單的異或（XOR）等線性不可分問題。1982年，加州理工的JohnHopfield發明了Hopfield神經網絡，這是一個單層循環神經網絡。10.1神經網絡的相關知識10.1.1神經網絡的歷史1985年，卡耐基梅隆大學的GeoffreyHinton，DavidAckley和TerrySejnowski借助統計物理學的概念和方法提出了一種隨機神經網絡模型——玻爾茲曼機。1986年，加州大學圣地亞哥分校的DavidRumelhart，卡耐基梅隆大學的GeoffreyHinton和東北大學的RonaldJ.Williams合作發表了神經網絡研究中里程碑一般的BP算法。從1986年之后的神經，網絡就蓬勃發展起來。10.1神經網絡的相關知識10.1.2神經元模型神經網絡（neuralnetworks）是一個跨學科領域的研究，它結合了生物學當中的生物神經學和計算學科中的神經網絡學，但這里所提出的神經網絡主要是指可用于計算的神經網絡。10.1神經網絡的相關知識10.1.3激活函數1、Sigmoid函數它把肯能在較大范圍內變化的輸入值擠壓到（0，1）輸出值范圍內，有時也稱為“擠壓函數”（squashingfunction）。當x時非常大的正數時，sigmoid（x）會去趨近于1，而x是非常大的負數時，則sigmoid（x）會趨近于0。它可以用作分類，比如：激活函數的輸出如果為0.9的話，便可以解釋為90%的概率為正樣本。10.1神經網絡的相關知識10.1.3激活函數1、Sigmoid函數它把肯能在較大范圍內變化的輸入值擠壓到（0，1）輸出值范圍內，有時也稱為“擠壓函數”（squashingfunction）。當x時非常大的正數時，sigmoid（x）會去趨近于1，而x是非常大的負數時，則sigmoid（x）會趨近于0。它可以用作分類，比如：激活函數的輸出如果為0.9的話，便可以解釋為90%的概率為正樣本。10.1神經網絡的相關知識10.1.3激活函數2、tanh函數它是sigmoid函數的一個變體，它的取值范圍為[-1,1]。它的改變解決了sigmoid函數的零中心的情況，但是飽和問題依舊存在。10.1神經網絡的相關知識10.1.3激活函數3、ReLu函數它是和0比大小，凡是x比0大，則輸出x，如果比0小，則輸出0。ReLu方法的出現大大簡化了計算，對網絡計算加速具有巨大的作用。10.2神經網絡10.2.1神經網絡的基本概念1958年，計算科學家Rosenblatt提出了由兩層神經元組成的神經網絡。他給它起了一個名字--“感知器”（Perceptron）（有的文獻翻譯成“感知機”，下文統一用“感知器”來指代）。感知器是當時首個可以學習的人工神經網絡。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時的社會引起了轟動。10.2神經網絡

10.2神經網絡

10.2神經網絡10.2.3隱藏層在多級前饋網當中，隱藏層的定義是：除輸入層和輸出層以外的其他各層叫做隱藏層。隱藏層不直接接受外界的信號,也不直接向外界發送信號

。輸入向量，輸出向量的維數是由問題所直接決定的。然而，網絡隱藏層的層數和各個隱藏層神經元的個數則是與問題相關的。目前的研究結果還難以給出它們與問題類型及其規模之間的函數關系。但實驗表明，增加隱藏層的層數和隱藏層神經元的個數不一定能夠提高網絡的精度和表達能力。10.2神經網絡10.2.4多層感知機網絡的原理層感知網絡除了包含一個輸入層，一個輸出層以外，還增加了一個中間層。10.3BP神經網絡BP(backpropagation)神經網絡是1986年由Rumelhart和McClelland為首的科學家提出的概念，是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡，是目前應用最廣泛的神經網絡之一。10.3BP神經網絡10.3.1BP神經網絡的基本原理基本BP算法包括信號的前向傳播和誤差的反向傳播兩個過程。即計算誤差輸出時按從輸入到輸出的方向進行，而調整權值和閾值則從輸出到輸入的方向進行。正向傳播時，輸入信號通過隱含層作用于輸出節點，經過非線性變換，產生輸出信號，若實際輸出與期望輸出不相符，則轉入誤差的反向傳播過程。誤差反傳是將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分攤給各層所有單元，以從各層獲得的誤差信號作為調整各單元權值的依據。通過調整輸入節點與隱層節點的聯接強度和隱層節點與輸出節點的聯接強度以及閾值，使誤差沿梯度方向下降，經過反復學習訓練，確定與