1、人工神經網絡基礎知識1.人工神經網絡概述什么是人工神經網絡 (Artificial NeuralNetwroks-ANN)？ 生物神經網絡( natural neural network, NNN): 由中樞神經系統（腦和脊髓）及周圍神經系統（感覺神經、運動神經等）所構成的錯綜復雜的神經網絡，其中最重要的是腦神經系統。人工神經網絡(artificial neural networks, ANN): 模擬人腦神經系統的結構和功能，運用大量簡單處理單元經廣泛連接而組成的人工網絡系統。T.Koholen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系

2、統對真實世界物體所作出的交互反應?！?.1 研究ANN目的1.2 ANN的研究內容1.3 研究ANN方法1.4 神經網絡的發展概況1.5 神經網絡的特點1. 人工神經網絡概述 利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。1.1 研究ANN目的：（1）探索和模擬人的感覺、思維和行為的規律，設計具有人類智能的計算機系統。（2）探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質過程及其規律。 1.2 ANN的研究內容（1）理論研究：ANN模型及其學習算法，試圖從數學上描述ANN的動力學過程，建立相應的ANN模型，在該模型的基礎上，對于給定的學習樣本，找出一種能以

3、較快的速度和較高的精度調整神經元間互連權值，使系統達到穩定狀態，滿足學習要求的算法。（2）實現技術的研究：探討利用電子、光學、生物等技術實現神經計算機的途徑。（3）應用的研究：探討如何應用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。 1.3 研究ANN方法（1）生理結構的模擬： 用仿生學觀點，探索人腦的生理結構，把對人腦的微觀結構及其智能行為的研究結合起來即人工神經網絡（Artificial Neural Netwroks，簡稱ANN）方法。（2）宏觀功能的模擬： 從人的思維活動和智能行為的心理學特性出發，利用計算機系統來對人腦智能進行宏觀功能的模擬，即符號處理方法。 探索時期:（

4、開始于20世紀40年代） 1943年，麥克勞（W. S. McCullocn）和匹茨（W. A. Pitts）首次提出一個神經網絡模型MP模型。 1949年，赫布（D. O. Hebb）提出改變神經元連接強度的 Hebb學習規則。1.4 神經網絡的發展概況 1958年，羅森布拉特（F. Rosenblatt）提出感知器模型（perceptron）。 1959年，威德羅(B. Widrow)等提出自適應線性元件（adaline）網絡，通過訓練后可用于抵消通信中的回波和噪聲。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方差）算法的學習規則。 第一次熱

5、潮時期：(20世紀50年代末 20世紀60年代初)1.5 人工神經網絡的特點(1) 固有的并行結構和并行處理人工神經網絡與人類的大腦類似，不但結構上是并行的，其處理順序也是并行的和同時的。在同一層內的處理單元都是同時工作的，即神經網絡的計算功能分布在多個處理單元上，而傳統的計算機通常只有一個處理單元，其處理順序是串行的。目前的神經網絡功能常常用一般計算機的串行工作方式來模擬，所以顯得很慢，真正意義上的神經網絡將會大大提高處理速度，實現快速處理。 (2) 知識的分布存儲在神經網絡中，知識不是存儲在特定的存儲單元，而是分布在整個系統中，要存儲多個知識就需要很多連接。在計算機中，只要給定一個地址就可

6、以得到一個或一組數據，在神經網絡中，要獲得存儲的知識則采用“聯想”的辦法，這類似于人類和動物的記憶。當一個神經網絡輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配最好的知識存儲為其解。人類根據聯想善于正確識別圖形，人工神經網絡也具有這種能力。 （3） 容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經網絡可以從不完善的數據和圖形進行學習和做出決定由于知識存在整個系統中，而不是在一個存儲單元內，因此一定比例的結點不參與運算，對整個系統的性能不會產生重大影響。神經網絡中承受

7、硬件損壞的能力比一般計算機要強得多。（輸入）（輸出） 神經沖動神經元的信息傳遞和處理是一種電化學活動，樹突由于電化學作用接受外界的刺激(輸入)；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其他神經元(輸出) 。從控制論的觀點來看，這一過程可以看作一個多輸入單輸出非線性系統的動態過程。生物神經網絡基本模型神經元的 工作狀態： 興奮狀態：細胞膜電位 動作電位的閾值 神經沖動 抑制狀態：細胞膜電位 0，此時who0情況二直觀表達當誤差對權值的偏導數小于零時，權值調整量為正，實際輸出少于期望輸出，權值向增大方向調整，使得實際輸出與期望輸出的差減少

8、。e0who3.3 BP算法的實現（1） 隱層數及隱層神經元數的確定：目前尚無理論指導。（2）初始權值的設置：一般以一個均值為0的隨機分布設置網絡的初始權值。 （3）訓練數據預處理：線性的特征比例變換，將所有的特征變換到0，1或者-1，1區間內，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當應用神經網絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。 （1）. BP算法的設計 3.3 BP算法的實現 初始化：對所有連接權和閾值賦以隨機任意小值； 從 N 組輸入輸出樣本中取一組樣本： x=x1, x2, xp1T, d=d1, d2,dp

9、mT, 把輸入信息x=x1, x2, xp1T輸入到BP網絡中 正向傳播：計算各層節點的輸出： 計算網絡的實際輸出與期望輸出的誤差： （2）. BP算法的計算機實現流程 反向傳播：從輸出層方向計算到第一個隱層，按連接權值修正公式向減小誤差方向調整網絡的各個連接權值。 讓t+1t，取出另一組樣本重復（2）（5），直到 N 組輸入輸出樣本的誤差達到要求時為止。 BP學習算法程序框圖（3）BP神經網絡學習算法的MATLAB實現 MATLAB中BP神經網絡的重要函數和基本功能 生成網絡：newff 學習規則： learngd，learngdm 訓練算法：traingd，traingdm，traingd

10、a，traingdx，trainlm 變換函數：tansig，purelin，logsig 訓練網絡：train 仿真網絡：sim 畫圖：plotes，plotep，ploterr，barerr newff 該函數用于創建一個BP網絡。調用格式為： net=newff net=newff(PR,S1 S2.SN1,TF1 TF2.TFN1, BTF,BLF,PF) 其中,net=newff;用于在對話框中創建一個BP網絡。 net為創建的新BP神經網絡； PR為網絡輸入向量取值范圍的矩陣； S1 S2SNl表示網絡隱含層和輸出層神經元的個數； TFl TF2TFN1表示網絡隱含層和輸出層的傳輸

11、函數，默認為tansig； BTF表示網絡的訓練函數，默認為trainlm； BLF表示網絡的權值學習函數，默認為learngdm； PF表示性能數，默認為mse。 例：基于BP神經網絡逼近函數 要求設計一個BP網絡逼近以下函數： 其中，分別令k=1，2，4進行仿真，通過調節參數（如隱藏層節點個數等）得出信號的頻率與隱層節點之間，隱層節點與函數逼近能力之間的關系。步驟1：假設頻率參數k=1，繪制要逼近的非線性函數的曲線。k=1;p=-1:.05:8;t=1+sin(k*pi/4*p);plot（p，t，-)；title(要逼近的非線性函數);xlabel(時間);ylabel(非線性函數);應

12、用newff()函數建立BP網絡結構。隱層神經元數目n可以改變，暫設為n=3，輸出層有一個神經元。選擇隱層和輸出層神經元傳遞函數分別為tansig函數和purelin函數，網絡訓練的算法采用LM算法trainlm。n=3;net = newff(minmax(p),n,1,tansig purelin,trainlm);%對于初始網絡，可以應用sim（）函數觀察網絡輸出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未訓練網絡的輸出結果);xlabel(時間);ylabel(仿真輸出-原函數-);步驟2：網絡的建立其中 “ ” 代表要逼近的非線性函數

13、曲線；“” 代表未經訓練的函數曲線；步驟3：網絡訓練應用train（）函數對網絡進行訓練之前，需要預先設置網絡訓練參數。將訓練時間設置為50，訓練精度設置為0.01，其余參數使用缺省值。 net.trainParam.epochs=50; %網絡訓練時間設置為50net.trainParam.goal=0.01; %網絡訓練精度設置為0.01net=train(net,p,t); %開始訓練網絡訓練后得到的誤差變化過程 步驟4： 網絡測試對于訓練好的網絡進行仿真： y2=sim(net,p); figure; plot(p,t,-,p,y1,:,p,y2, -) title(訓練后網絡的輸出結

14、果); xlabel(時間); ylabel(仿真輸出);其中 “ ” 代表要逼近的非線性函數曲線；“” 代表未經訓練的函數曲線；“” 代表經過訓練的函數曲線；不同頻率下的逼近效果（1）頻率參數設為k=2，當隱層神經元數目分別取n=3、n=6時 當n=3時訓練后網絡的輸出結果 當n=6時訓練后網絡的輸出結果（2）頻率參數設為k=4，當隱層神經元數目分別取n=6、n=8時 當n=6時訓練后網絡的輸出結果 當n=8時訓練后網絡的輸出結果結論 通過上述仿真結果可知，當 k=1，n=3時；k=2，n=6時； k=4，n=8時，BP神經網絡分別對函數取得了較好的逼近效果。由此可見，n取不同的值對函數逼近

15、的效果有很大的影響。改變BP網絡隱層神經元的數目，可以改變BP神經網絡對于函數的逼近效果。隱層神經元數目越多，則BP網絡逼近非線性函數的能力越強。RBF神經網絡 徑向基函數(Radial Basis Function，RBF)網絡是由Moody J和Darken C于20世紀80年代末提出的一種神經網絡結構，是一種有監督的神經網絡。它是借鑒生物機制中的局部凋節及交叉接受區域知識的基礎上提出的一種采用局部接受域來執行函數映射的人工神經網絡。 RBF網絡最基本的構成包括3層，其中每一層都有著完全不同的作用。1. RBF 神經網絡概念1.1 RBF 神經網絡概況：Neuron：神經元輸入輸出X1x1

16、1x12x13x14y1X2x21x22x23x24y2X3x31x32x33x34y3X4x41x42x43x44y4.Xnxn1xn2xn3xn4yn 1.1.1神經網絡基礎：1.1.1 RBF 神經網絡基礎：Neuron：神經元分類回歸1.1.1 RBF 神經網絡基礎： RBF 神經網絡的本質：把輸入數據從一個空間轉換到另一個空間。1.1.2 RBF 神經網絡的例子 徑向基函數有多種形式，如：二次型、逆二次型或Gauss型等。若采用高斯函數作為徑向基函數，則神經元的輸出為：1.2 RBF 神經網絡的正式定義Gaussian RBF(GRBF)1.2.1 RBF 神經網絡的分類： 一、 E

17、eact 有幾組數據，就有幾個 ，適合數據比較少的網絡 二、Approximate 如果數據多，需要先對數據進行歸類 神經網絡的應用 （1）自動控制領域。神經網絡方法已經覆蓋了控制理論中的絕大多數問題，主要有系統建模與辨識、PID 參數整定、極點配置、內?？刂?、優化設計、預測控制、最優控制、自適應控制、濾波與預測容錯控制、模糊控制和學習控制等。 （2）處理組合優化問題。最典型的例子是成功地解決了TSP問題，即旅行推銷員問題。另外還有最大匹配問題、裝箱問題和作業調度等。2.神經網絡的應用神經網絡PID控制(neural network PID control) 經典增量式數字PID 的控制算法為

18、： NN 是一個三層BP 網絡, 有M個輸入節點、N 個隱含節點、3個輸出節點。輸入節點對應所選的系統運行狀態量, 輸出節點分別對應PID 控制器的3個可調參數kp , ki , kd 。 （3）模式識別。已成功應用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。 （4）機器人控制。對機器人眼手系統位置進行協調控制，用于機械手的故障診斷、智能自適應移動機器人的導航。 （5）信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應用。 （6）衛生保健、醫療。比如通過訓練自主組合的多層感知器可以區分正常心跳和非正常心跳。 （7）經濟。能對商品價格、股票價格和企業的可信度等進行短期預測。 （8）化工領域。能對制藥、生物化學和化學工程等進行分析。如：進行蛋白質結構分析、譜分析和化學反應分析等。 （9）圖像處理。對圖像進行邊緣監測、圖像分割、圖像壓縮和圖像恢復。 （10）傳感器信號