人腦的結構、機制和功能中凝聚著無比的奧秘和智慧。地球是宇宙的驕子，人類是地球的寵兒，大腦是人的主宰。

現在是探索腦的奧秘，從中獲得智慧，在其啟發下構造為人類文明服務的高級智能系統的時候了！神經網絡算法入門【】本章要點一、神經網絡簡介二、MATLAB簡介三、神經網絡建模基礎四、利用MicrosoftSQLServer2005實踐神經網絡算法神經網絡算法入門【】一、神經網絡簡介人腦與計算機信息處理能力的比較記憶與聯想能力學習與認知能力信息加工能力信息綜合能力信息處理速度神經網絡算法入門【】一、神經網絡簡介人腦與計算機信息處理機制的比較系統結構信號形式信息存儲信息處理機制神經網絡算法入門【】一、神經網絡簡介

生物神經網絡人類的大腦大約有1.4

1011個神經細胞，亦稱為神經元。每個神經元有數以千計的通道同其它神經元廣泛相互連接，形成復雜的生物神經網絡。人工神經網絡以數學和物理方法以及信息處理的角度對人腦神經網絡進行抽象，并建立某種簡化模型，就稱為人工神經網絡（ArtificialNeuralNetwork，縮寫ANN）。神經網絡算法入門【】一、神經網絡簡介人工神經網絡定義神經網絡是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統，該系統是靠其狀態對外部輸入信息的動態響應來處理信息的。人工神經網絡是一個由許多簡單的并行工作的處理單元組成的系統，其功能取決于網絡的結構、連接強度以及各單元的處理方式。人工神經網絡是一種旨在模仿人腦結構及其功能的信息處理系統。神經網絡算法入門【】一、神經網絡簡介神經網絡的基本特征能力特征：自學習自組織自適應性結構特征：并行式處理分布式存儲容錯性神經網絡算法入門【】一、神經網絡簡介聯想記憶功能神經網絡的基本功能神經網絡算法入門【】一、神經網絡簡介神經網絡的基本功能非線性映射功能神經網絡算法入門【】神經網絡的基本功能分類與識別功能一、神經網絡簡介神經網絡算法入門【】神經網絡的基本功能優化計算功能一、神經網絡簡介神經網絡算法入門【】神經網絡的基本功能知識處理功能一、神經網絡簡介神經網絡算法入門【】神經網絡的應用領域：信息處理領域信號處理模式識別數據壓縮一、神經網絡簡介神經網絡算法入門【】神經網絡的應用領域：自動化領域系統識別神經控制器智能檢測一、神經網絡簡介神經網絡算法入門【】神經網絡的應用領域：工程領域汽車工程軍事工程化學工程水利工程一、神經網絡簡介神經網絡算法入門【】神經網絡的應用領域：醫學領域檢測數據分析生物活性研究醫學專家系統一、神經網絡簡介神經網絡算法入門【】神經網絡的應用領域：經濟領域信貸分析市場預測一、神經網絡簡介神經網絡算法入門【】神經網絡的軟硬件實現神經網絡編程語言既可用高級語言也可用低級語言。C語言是神經網絡應用軟件的基本編程工具;匯編語言常用于提高神經網絡的已有功能或解決與硬件相關的難點。MATLAB名字由MATrix和LABoratory兩詞的前三個字母組合而成。20世紀七十年代后期，時任美國新墨西哥大學計算機科學系主任的CleveMoler教授出于減輕學生編程負擔的動機，為學生設計了一組調用LINPACK和EISPACK庫程序的“通俗易用”的接口，此即用FORTRAN編寫的萌芽狀態的MATLAB。一、神經網絡簡介神經網絡算法入門【】神經網絡的軟硬件實現MATLAB以商品形式出現后，僅短短幾年，就以其良好的開放性和運行的可靠性，使原先控制領域里的封閉式軟件包（如英國的UMIST，瑞典的LUND和SIMNON，德國的KEDDC）紛紛淘汰，而改以MATLAB為平臺加以重建。在時間進入20世紀九十年代的時候，MATLAB已經成為國際控制界公認的標準計算軟件。一、神經網絡簡介神經網絡算法入門【】神經網絡的軟硬件實現在歐美大學里，諸如應用代數、數理統計、自動控制、數字信號處理、模擬與數字通信、時間序列分析、動態系統仿真等課程的教科書都把MATLAB作為內容。這幾乎成了九十年代教科書與舊版書籍的區別性標志。在那里，MATLAB是攻讀學位的大學生、碩士生、博士生必須掌握的基本工具。一、神經網絡簡介神經網絡算法入門【】神經網絡的軟硬件實現MATLAB的推出得到了各個領域的專家學者的廣泛關注，在此基礎上，專家們相繼推出了MATLAB工具箱，主要包括信號處理、控制系統、神經網絡、圖像處理、魯棒控制、非線性系統控制設計、系統辨識、最優化、模糊邏輯、小波等工具箱，這些工具箱給各個領域的研究和工程應用提供了有力的工具。一、神經網絡簡介神經網絡算法入門【】參考文獻[1]人工神經網絡教程（第1版）韓力群，北京：北京郵電大學出版社，2006年[2]神經網絡(影印版),SatishKumar,北京：清華大學出版社，2006年[3]神經網絡設計(英文版)（美）黑根等著,機械出版社，中信出版社，2002[4]神經網絡模型及其MATLAB仿真程序設計，周開利，康耀紅，北京：清華大學出版社，2005年一、神經網絡簡介神經網絡算法入門【】三、神經網絡建模基礎

神經生理學和神經解剖學的研究結果表明，神經元(Neuron)是腦組織的基本單元，是人腦信息處理系統的最小單元。生物神經元生物神經網絡神經網絡算法入門【】三、神經網絡建模基礎生物神經元生物神經元在結構上由:細胞體(Cellbody)、樹突(Dendrite)、軸突(Axon)、突觸(Synapse)四部分組成。用來完成神經元間信息的接收、傳遞和處理。神經網絡算法入門【】人工神經網絡的生物學基礎神經網絡算法入門【】三、神經網絡建模基礎生物神經元:信息的產生神經元間信息的產生、傳遞和處理是一種電化學活動。

神經元狀態：靜息興奮抑制

膜電位：極化去極化超極化神經網絡算法入門【】三、神經網絡建模基礎神經網絡算法入門【】三、神經網絡建模基礎生物神經元:信息的傳遞與接收神經網絡算法入門【】三、神經網絡建模基礎生物神經元:信息的整合空間整合：同一時刻產生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數和。時間整合：各輸入脈沖抵達神經元的時間先后不一樣。總的突觸后膜電位為一段時間內的累積。神經網絡算法入門【】生物神經網絡

由多個生物神經元以確定方式和拓撲結構

相互連接即形成生物神經網絡。

生物神經網絡的功能不是單個神經元信息

處理功能的簡單疊加。

神經元之間的突觸連接方式和連接強度不

同并且具有可塑性，這使神經網絡在宏觀

呈現出千變萬化的復雜的信息處理能力。三、神經網絡建模基礎神經網絡算法入門【】三、神經網絡建模基礎

神經元及其突觸是神經網絡的基本器件。因此，模擬生物神經網絡應首先模擬生物神經元人工神經元(節點)

從三個方面進行模擬:節點本身的信息處理能力節點與節點之間連接(拓撲結構)相互連接的強度(通過學習來調整)決定人工神經網絡整體性能的三大要素神經網絡算法入門【】三、神經網絡建模基礎節點本身的信息處理能力(數學模型)節點與節點之間連接(拓撲結構)相互連接的強度(通過學習來調整)神經網絡算法入門【】三、神經網絡建模基礎模型的六點假設：(1)每個神經元都是一個多輸入單輸出的信息處理單元；(2)神經元輸入分興奮性輸入和抑制性輸入兩種類型；(3)神經元具有空間整合特性和閾值特性；(4)神經元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用和不應期；(6)神經元本身是非時變的，即其突觸時延和突觸強度均為常數。神經網絡算法入門【】三、神經網絡建模基礎假設1圖(a)表明，正如生物神經元有許多激勵輸入一祥，人工神經元也應該有許多的輸入信號，圖中每個輸入的大小用確定數值xi表示，它們同時輸入神經元j，神經元的單輸出用oj表示。神經網絡算法入門【】三、神經網絡建模基礎假設2生物神經元具有不同的突觸性質和突觸強度，其對輸入的影響是使有些輸入在神經元產生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對神經元的每一個輸入都有一個加權系數wij，稱為權重值，其正負模擬了生物神經元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強度。神經網絡算法入門【】三、神經網絡建模基礎假設3作為ANN的基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號的“總和值”，相應于生物神經元的膜電位。神經元激活與否取決于某一閾值電平，即只有當其輸入總和超過閾值時,神經元才被激活而發放脈沖,否則神經元不會產生輸出信號。神經網絡算法入門【】三、神經網絡建模基礎假設4圖(d)人工神經元的輸出也同生物神經元一樣僅有一個，如用oj表示神經元輸出，則輸出與輸入之間的對應關系可用圖(d)中的某種非線性函數來表示，這種函數一般都是非線性的。神經網絡算法入門【】三、神經網絡建模基礎神經網絡算法入門【】τij——輸入輸出間的突觸時延；

Tj——神經元j的閾值；

wij——神經元i到j的突觸連接系數或稱權重值；

f()——神經元轉移函數。(1)上述內容可用一個數學表達式進行抽象與概括。令xi(t)表示t時刻神經元j接收的來自神經元i的信息輸入，oj(t)表示t時刻神經元j的信息輸出，則神經元j的狀態可表達為1式。三、神經網絡建模基礎神經網絡算法入門【】三、神經網絡建模基礎(2)為簡單起見，將1上式中的突觸時延取為單位時間，則式(1)可寫為2式。上式描述的神經元數學模型全面表達了神經元模型的6點假定。其中輸入xi的下標i=1,2,…,n，輸出oj的下標j體現了神經元模型假定(1)中的“多輸入單輸出”。權重值wij的正負體現了假定(2)中“突觸的興奮與抑制”。Tj代表假定(3)中神經元的“閾值”；“輸入總和”常稱為神經元在t時刻的凈輸入，神經元的數學模型：神經網絡算法入門【】(3)三、神經網絡建模基礎net’j(t)

體現了神經元j的空間整合特性而未考慮時間整合，當net’j-Tj>0時，神經元才能被激活。oj(t+1)與xI(t)之間的單位時差代表所有神經元具有相同的、恒定的工作節律，對應于假定(4)中的“突觸延擱”；wij與時間無關體現了假定(6)中神經元的“非時變”。神經元的數學模型：神經網絡算法入門【】net’j=WjTX(4)三、神經網絡建模基礎為簡便起見，在后面用到式(3)時，常將其中的(t)省略。式(3)還可表示為權重向量Wj和輸入向量X的點積WTX。

其中Wj和X均為列向量，定義為Wj=(w1w2…wn）T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，則有-Tj=x0w0，因此凈輸入與閾值之差可表達為神經元的數學模型：神經網絡算法入門【】(5)oj=f(netj)=f(WjTX)(6)三、神經網絡建模基礎顯然，式(4)中列向量Wj和X的第一個分量的下標均從1開始，而式(5)中則從0開始。采用式(5)的約定后，凈輸入改寫為netj，與原來的區別是包含了閾值。綜合以上各式，神經元模型可簡化為神經元的數學模型：神經網絡算法入門【】三、神經網絡建模基礎

神經元各種不同數學模型的主要區別在于采用了不同的轉移函數，從而使神經元具有不同的信息處理特性。神經元的信息處理特性是決定人工神經網絡整體性能的三大要素之一，反映了神經元輸出與其激活狀態之間的關系，最常用的轉移函數有4種形式。神經網絡算法入門【】(1)閾值型轉移函數 1x≥0 f(x)=(7)

0x＜0 三、神經網絡建模基礎神經元的轉移函數：神經網絡算法入門【】(2)非線性轉移函數三、神經網絡建模基礎非線性轉移函數為實數域R到[0.1]閉集的非減連續函數，代表了狀態連續型神經元模型。最常用的非線性轉移函數是單極性的sigmoid函數曲線，簡稱S型函數。其特點是函數本身及其導數都是連續的，因而在處理上十分方便。S型函數函數又分為單極性和雙極性兩種，分別定義如下：神經元的轉移函數：神經網絡算法入門【】(2)非線性轉移函數三、神經網絡建模基礎神經元的轉移函數：教材選用這個轉移函數神經網絡算法入門【】(3)分段線性轉移函數三、神經網絡建模基礎該函數特點是神經元的輸入與輸出在一定區間內滿足線性關系，模擬了實際系統中的飽和特性。由于具有分段線性的特點，因而在實現上比較簡單。這類函數也稱為偽線性函數，表達式如下：神經元的轉移函數：神經網絡算法入門【】(3)分段線性轉移函數 0x≤0 f(x)= cx0＜

x≤xc(9)

1xc＜

x 三、神經網絡建模基礎神經元的轉移函數：神經網絡算法入門【】(4)概率型轉移函數溫度參數三、神經網絡建模基礎采用概率型轉移函數的神經元模型其輸入與輸出之間的關系是不確定的，需用一個隨機函數來描述輸出狀態為1或為0的概率。設神經元輸出為1的概率為由于采用該轉移函數的神經元輸出狀態分布與熱力學中的玻爾茲曼（Boltzmann）分布相類似，因此這種神經元模型也稱為熱力學模型。神經元的轉移函數：神經網絡算法入門【】三、神經網絡建模基礎節點本身的信息處理能力(數學模型)節點與節點之間連接(拓撲結構)相互連接的強度(通過學習來調整)神經網絡算法入門【】三、神經網絡建模基礎人工神經網絡的模型很多，可以按照不同的方法進行分類。其中常見的兩種分類方法是，按網絡連接的拓撲結構分類和按網絡內部的信息流向分類。神經網絡算法入門【】三、神經網絡建模基礎分類：按網絡連接的拓撲結構分類層次型結構互連型網絡結構按網絡內部的信息流向分類前饋型網絡反饋型網絡神經網絡算法入門【】三、神經網絡建模基礎層次型結構：將神經元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連。互連型網絡結構：網絡中任意兩個節點之間都可能存在連接路徑.人工神經網絡模型神經網絡算法入門【】網絡拓撲結構類型

層次型結構三、神經網絡建模基礎神經網絡算法入門【】輸出層到輸入層有連接三、神經網絡建模基礎網絡拓撲結構類型

神經網絡算法入門【】層內有連接層次型結構三、神經網絡建模基礎網絡拓撲結構類型

神經網絡算法入門【】全互連型結構三、神經網絡建模基礎網絡拓撲結構類型

神經網絡算法入門【】局部互連型網絡結構三、神經網絡建模基礎網絡拓撲結構類型

神經網絡算法入門【】網絡信息流向類型前饋型網絡前饋:網絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行反饋型網絡在反饋網絡中所有節點都具有信息處理功能，而且每個節點既可以從外界接收輸入，同時又可以向外界輸出。三、神經網絡建模基礎神經網絡算法入門【】前饋型網絡三、神經網絡建模基礎網絡信息流向類型神經網絡算法入門【】反饋型網絡三、神經網絡建模基礎網絡信息流向類型神經網絡算法入門【】三、神經網絡建模基礎節點本身的信息處理能力(數學模型)節點與節點之間連接(拓撲結構)相互連接的強度(通過學習來調整)神經網絡算法入門【】

神經網絡能夠通過對樣本的學習訓練，不斷改變網絡的連接權值以及拓撲結構，以使網絡的輸出不斷地接近期望的輸出。這一過程稱為神經網絡的學習或訓練，其本質是可變權值的動態調整。三、神經網絡建模基礎神經網絡學習神經網絡算法入門【】神經網絡的學習類型：有導師學習(有監督學習)無導師學習(無監督學習)死記式學習三、神經網絡建模基礎神經網絡學習神經網絡算法入門【】學習的過程（權值調整的一般情況）三、神經網絡建模基礎神經網絡算法入門【】1949年，心理學家D.O.Hebb最早提出關于神經網絡學習機理的“突觸修正”的假設。假設：當神經元i與j同時處于興奮時，兩者之間的連接強度應增強。三、神經網絡建模基礎神經網絡學習Hebb學習規則純前饋、無導師神經網絡神經網絡算法入門【】例：設有4輸入單輸出神經元模型，其閥值T=0，學習效率η＝1，3個輸入樣本向量和初始權向量分別為X1=(1,-2,1.5,0),X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,W(0)=(1,-1,0,0.5)T三、神經網絡建模基礎神經網絡學習神經網絡算法入門【】1958年，美國學者FrankRosenblatt首次定義了一個具有單層計算單元的神經網絡結果，稱為感知器（Perceptron）。感知器的學習規則規定。三、神經網絡建模基礎神經網絡學習離散感知器學習規則神經網絡算法入門【】當實際輸出與期望值相同時，權值不需要調整；在有誤差存在的情況下，由于dj和sgn(WjTX)屬于{-1，1}三、神經網絡建模基礎神經網絡學習離散感知器學習規則

導師學習只適用于二進制神經元神經網絡算法入門【】1986年，認知心理學家McClelland和Runelhart在神經網絡中引入δ規則，該規則亦可稱為連續感知器學習規則，與上述離散感知器學習規則并行。三、神經網絡建模基礎神經網絡學習連續感知器學習規則神經網絡算法入門【】7.3.2反向傳播模型1.工作原理神經網絡模型分為前饋多層式網絡模型、反饋遞歸式網絡模型、隨機型網絡模型等。誤差反向傳播(Backpropagation，簡稱BP網絡)，又稱為多層前饋神經網絡。其模型結構如圖7.3所示神經網絡算法入門【】2.學習過程

BP網絡學習過程是一種誤差邊向后傳播邊修正權系數的過程，BP算法把網絡的學習過程分為正向傳播和反向傳播兩種交替過程。

（1）正向傳播輸入信息先傳到隱藏層的結點上，經過各單元的特性為S型的激活函數運算后，把隱藏層結點的輸出信息傳到輸出結點，最后給出輸出結果。（2）反向傳播如果得不到實際的輸出，則轉入反向傳播過程，將誤差信號沿原來的連接線路返回，通過修改各層神經元的權值，逐次地向輸入層傳播進行計算，再經過正向傳播過程。這兩個過程的反復運用，逐漸使得誤差信號最小，網絡學習過程就結束。神經網絡算法入門【】3．BP算法BP算法如下。其中，l為學習率；oi為單元i的輸出；oj為單元j的輸出；Tj為輸出層單元j的期望輸出；Errj為與隱藏層單元j的誤差加權和；wjk為單元j與單元k相連的有向加權邊的權重；為改變單元j活性的偏量。輸入：訓練樣本S，學習率l，多層前饋網絡。輸出：一個訓練的、對樣本分類的神經網絡。方法：(1)初始化網絡的權和閾值(2)

WHILE終止條件滿足{(3)

FORS中的每個訓練樣本X{(4)

FOR隱藏或輸出層每個單元j{((5); //相對于前一層計算單元j的凈輸入(6) ;//計算每個單元j的輸出(7)

FOR輸出層每個單元(8)

; //計算誤差(9)

FOR由最后一個到第一個隱藏層，對于隱藏層每個單元j(10)

; //計算關于下一個較高層k的誤差(11)

FOR網絡中的每一個權(12)

;(13)

FOR網絡中每個單元偏量(14)

神經網絡算法入門【】【例7-5】假設訓練樣本s的屬性值為｛1，0，1｝，實際類別分別為1，兩層前饋神經網絡NT如圖7.4所示，NT中每條有一向加權邊的權重、每個隱藏層與輸出層單元的偏置如表7-11所示，學習率為0.9。寫出輸入S訓練NT的過程。神經網絡算法入門【】首先算出單元4、5、6的輸入、輸出，具體結果見表7-12，然后計算4、5、6的誤差，見表7-13；NT中每條有向加權邊的新權重、每個隱藏層與輸出層單元的新偏置見表7-14。圖7.4兩層前饋神經網絡神經網絡算法入門【】表7-11權重、單元的偏置神經網絡算法入門【】單元j輸入Ij輸出Oj40.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.71/(l+e-(-0.7))=0.3325(-0.3)×l+0.1×0+0.2×1+0.2=0.11/(l+e-0.1)=0.5256(-0.3)×0.332+(-0.2)×0.525+0.1=-0.1051/(l+e-(-0.105))=0.474表7-12隱藏層與輸出層每個單元的輸入、輸出神經網絡算法入門【】單元j誤差

60.474×(1-0.474)×(l-0.474)=0.131150.525×(l-0.525)×(0.1311×(-