第四章基于人工神經網絡的軟測量方法黃福珍Huangfzh@本章主要內容人工神經網絡概述

BP神經網絡

RBF神經網絡

基于神經網絡的軟測量通用模型基于神經網絡的軟測量技術應用實例4.1

人工神經網絡概述神經網絡的基本概念神經網絡的特點神經網絡的發展簡史神經網絡的結構類型神經網絡的學習方法4.1.1

神經網絡的基本概念人工神經網絡是一種模仿人的大腦神經網絡行為特征的分布式并行信息處理算法結構的動力學模型。它用多路輸入部件輸入信號，并對這些信號按加權求和，當超過一定閾值時輸出的部件產生“興奮”即響應。人工神經網絡就是應用這種輸入—響應過程來模仿動物神經元的工作方式，并通過這些神經元部件相互聯接的結構和反映關聯強度的權系數使其“集體行為”具有各種復雜的信息處理功能。4.1.1

神經網絡的基本概念生物神經元模型：◆

神經元是處理人體內各部分之間相互信息傳遞的基本單元。據神經生物學家研究的結果表明，一個人的大腦一般有1010～1011個神經元。每個神經元都由一個細胞體、一個連接其他神經元的軸突和一些向外伸出的其他較短分支——樹突組成。4.1.1

神經網絡的基本概念人工神經元模型：◆

人工神經元模型是生物神經元的抽象和模擬。通常一個神經元可能有多個輸入端，但只有一個輸出端，一般是多輸入—單輸出的非線性器件，這個輸出值是對所有輸入值處理后的結果。輸入信號連接權閾值處理單元凈值轉移函數輸出4.1.1

神經網絡的基本概念人工神經元輸入與輸出之間的關系：轉換函數的作用：

◆控制輸入對輸出的激活作用◆對輸入、輸出進行函數轉換◆將可能無限域的輸入轉換成指定的有限范圍內的輸出4.1.1

神經網絡的基本概念幾種常見的轉換函數：◆閾值型：◆線性型：◆雙曲函數：◆Sigmoid型：◆高斯型：4.1.1

神經網絡的基本概念4.1.2

神經網絡的特點并行分布處理能力非線性映射能力通過訓練進行學習可以硬件實現4.1.3神經網絡的發展簡史初始發展期（20世紀40年代～60年代）:

◆1943年McCulloch（心理學家）和Pitts（數理邏輯學家）發表文章，提出M-P模型。M-P模型能完成一定的邏輯運算。——標志神經計算時代的開始

◆1949年DonalaU.Hebb（心理學家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯系強度可變的假設，認為學習的過程最終發生在神經元之間的突觸部位，突觸的聯系強度隨著突觸前后神經元的活動而變化。——Hebb規則：若兩個神經元輸出興奮，則它們之間的連接權加強，反之減少。4.1.3神經網絡的發展簡史初始發展期（20世紀40年代～60年代）:

◆1957年FrankRosenblatt定義了一個神經網絡結構，稱為感知器(Perceptron)。第一次把神經網絡研究從純理論的探討推向工程實現，在IBM704計算機上進行了模擬，證明了該模型有能力通過調整權的學習達到正確分類的結果。掀起了神經網絡研究高潮。

◆1962年電機工程師Window和Hoff提出自適應線性元件Adaline，它是一個連續取值的線性網絡。4.1.3神經網絡的發展簡史低谷期（20世紀60年代末～70年代末）:

◆1969年M.Minsky和S.Papert發表《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對于非線性或其他分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點。——神經網絡研究一度達到低潮。原因還有：計算機不夠發達、VLSI還沒出現、而人工智能和專家系統正處于發展高潮。

◆仍有不少學者致力于NN的研究，如Grossberg和Carpenter提出自適應共振理論ART網絡，Kohonen提出自組織映射網絡等。4.1.3神經網絡的發展簡史興盛期（20世紀80年代～90年代初）:

◆1982年JohnJ.Hopfield（物理學家）提出了全聯接網絡，離散的神經網絡模型。——全新的具有完整理論基礎的神經網絡模型。基本思想是對于一個給定的神經網絡，對于一個能量函數，這個能量函數是正比于每一個神經元的活動值和神經元之間的聯接權。而活動值的改變算法是向能量函數減少的方向進行，一直達到一個極小值為止。證明了網絡可達到穩定的離散和連續兩種情況。3年后AT&T等做出了半導體芯片。——神經網絡復興時期開始4.1.3神經網絡的發展簡史興盛期（20世紀80年代～90年代初）:

◆1986年美國的一個平行計算研究小組提出了前向反饋神經網絡的BackPropagation（BP）學習算法。成為當今應用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經網絡研究帶來了新的希望。

◆1990年漢森(L.K.Hansen)和薩拉蒙(P.Salamon)提出了神經網絡集成(neuralnetworkensemble)方法。他們證明，可以簡單地通過訓練多個神經網絡并將其結果進行擬合，顯著地提高神經網絡系統的泛化能力。神經網絡集成可以定義為用有限個神經網絡對同一個問題進行學習，集成在某輸入示例下的輸出由構成集成的各神經網絡在該示例下的輸出共同決定。4.1.3神經網絡的發展簡史再認識與應用研究階段（1991年以后）:

◆問題：

1）應用面還不夠寬

2）結果不夠精確

3）存在可信度的問題

◆研究：

1）開發現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度

2）充分發揮兩種技術各自的優勢是一個有效方法

3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法

4）進一步研究生物神經系統，不斷豐富對人腦的認識4.1.4神經網絡的結構類型前饋型神經網絡（Feed

forward）：*

神經元分層排列，可有多層*每層神經元只接受前層神經元的輸入*同層神經元之間無連接4.1.4神經網絡的結構類型反饋型神經網絡（Feedback）：*全反饋型：內部前向，輸出反饋到輸入*層內互連型：層間元相互連接4.1.5神經網絡的學習方法人工神經網絡的學習方式：*有監督學習：需要有個教師提供期望或目標輸出信號，系統根據期望的和實際的網絡輸出間的差來調整神經元連接的權值4.1.5神經網絡的學習方法人工神經網絡的學習方式：*無監督學習：不需要知道期望輸出，在訓練過程中，只要向神經網絡提供輸入模式，神經網絡就能夠自動地適應連接權4.1.5神經網絡的學習方法人工神經網絡的學習方式：*強化學習：不需要給出目標輸出，它采用一個評論員來評價與給定輸入相對應的神經網絡輸出的優度4.1.5神經網絡的學習方法人工神經網絡的學習算法：*

Hebb學習規則

-如果兩個神經元同時興奮(即同時被激活)，則它們之間的突觸連接加強

-Hebb學習規則是一種無監督的學習規則，常用于自組織網絡或特征提取網絡4.1.5神經網絡的學習方法人工神經網絡的學習算法：*

Delta學習規則

-用已知樣本作為教師對網絡進行學習

-學習規則可由二次誤差函數的梯度法導出

-誤差校正學習規則實際上是一種梯度方法

4.1.5神經網絡的學習方法人工神經網絡的學習算法：*概率型學習

-神經網絡處于某一狀態的概率主要取決于在此狀態下的能量，能量越低，概率越大

-該概率還取決于溫度系數T，T越大，不同狀態出現概率的差異便越小，較容易跳出能量的局部極小點4.1.5神經網絡的學習方法人工神經網絡的學習算法：*競爭式學習

-在競爭學習時網絡各輸出單元相互競爭，最后只有最強者激活4.2BP神經網絡BP（BackPropagation）網絡結構：*多層前饋神經網絡，其神經元的變換函數是S型函數*權值的調整采用反向傳播的學習算法*輸出量是0到1之間的連續量，它可實現從輸入到輸出的任意的非線性映射4.2BP神經網絡BP學習算法：*屬于Delta算法，是一種監督式的學習算法*主要思想：對于q個輸入學習樣本：P1,P2,…,Pq，已知與其對應的輸出樣本為：T1,T2,…,Tq使網絡輸出層的誤差平方和達到最小用網絡的實際輸出A1,A2,…,Aq,與目標矢量T1,T2,…,Tq之間的誤差修改其權值，使Am與期望的Tm,(m＝l,…,q)盡可能接近4.2BP神經網絡BP學習算法：由兩部分組成正向傳播過程中，輸入信息從輸入層經隱含層逐層計算傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來修改各層神經元的權值直至達到期望目標4.2BP神經網絡BP學習算法推導：

網絡關于第p個樣本的誤差函數為：網絡關于所有樣本的誤差函數為：權值的調整是沿著誤差的負梯度方向進行調整，即：對于輸出層有：4.2BP神經網絡BP算法推導：因此輸出層權值調整公式為：對于隱層：(先考慮層)4.2BP神經網絡BP算法推導：依次類推，可求得第q層：則隱層的權值調整公式為：

初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數加1調節輸出層和隱層的連接權值

改變訓練樣板訓練樣終止？迭代終止？BP算法的基本流程NoNoyy4.2BP神經網絡BP網絡的優點：

*

只要有足夠多的隱層和隱節點，BP網絡可以逼近任意的非線性映射關系

*

BP網絡的學習算法屬于全局逼近的方法，因而它具有較好的泛化能力BP網絡的缺點：*需要較長的訓練時間

*容易陷入局部極小值

*網絡結構難以確定（隱層和隱層節點數）4.2BP神經網絡BP算法的改進：*引入動量項K-1時刻的負梯度K時刻的負梯度動量因子4.2BP神經網絡BP算法的改進：*變步長法4.2BP神經網絡Matlab神經網絡工具箱BP網絡函數生成網絡：newff

學習規則：learngd，learngdm

訓練算法：traingd，traingdm，traingda，traingdx，trainlm

變換函數：tansig，purelin，logsig

訓練網絡：train

仿真網絡：sim

畫圖：plotes，plotep，ploterr，barerr4.2BP神經網絡應用Matlab實現BP網絡*首先建立一個BP網絡：net=newff([-12;05],[31],{‘tansig’‘purelin’},’traingd’);兩輸入變量的取值范圍隱含層節點數3,輸出層節點數1隱含層節點的轉換函數訓練函數的選取輸出層節點的轉換函數4.2BP神經網絡應用Matlab實現BP網絡

*訓練網絡：

p=[-1-122;0505];t=[-1-111];net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,p,t);4.2BP神經網絡應用Matlab實現BP網絡*仿真網絡：

p=[1;2];a=sim(net,p)a=-0.1011p=[132;241];a=sim(net,p)a=-0.1011-0.23080.49554.2BP神經網絡例：設計BP網絡逼近定義在[-11]上的函數：

4.2BP神經網絡Matlab程序如下：

%%%%訓練樣本集的獲取P=[-1:0.1:1];fori=1:21T(i)=0.4*exp(-(0.2-P(i))^2/1);endplot(P,T,'+');title('TrainingVectors');xlabel('InputVectorP');ylabel('TargetVectorT');pause%%%%%建立一個BP網絡，并訓練net=newff(minmax(P),[51],{'tansig''purelin'},'trainlm');net.trainParam.show=10;net.trainParam.goal=0.00001;net.trainParam.lr=0.01;net.trainParam.epochs=100;

[net,tr]=train(net,P,T);4.2BP神經網絡Matlab程序如下：

%%%%檢驗網絡的泛化能力

SP=[-1:0.3333:1]fori=1:7ST(i)=0.4*exp(-(0.2-SP(i))^2/1);endsy=sim(net,SP)sse=sumsqr(ST-sy);

plot(SP,sy,'o');holdoff4.2BP神經網絡有關圖形：

訓練誤差訓練數據擬合情況泛化能力4.2BP神經網絡應用圖形用戶界面（GUI）：Tostart,typenntool

Definethenetworkinputandtarget2.Creatnetwork4.2BP神經網絡應用圖形用戶界面（GUI）：

1.Definethenetworkinputandtarget

4.2BP神經網絡應用圖形用戶界面（GUI）：

2.CreateNetwork

Viewthenetwork4.2BP神經網絡應用圖形用戶界面（GUI）：

2.CreateNetwork

4.2BP神經網絡應用圖形用戶界面（GUI）：

3.Trainthenetwork

4.2BP神經網絡應用圖形用戶界面（GUI）：

3.Trainthenetwork

4.2BP神經網絡應用圖形用戶界面（GUI）：

3.Trainthenetwork

4.2BP神經網絡應用圖形用戶界面（GUI）：訓練誤差：iw{1,1}=[0.658860.9722;1.5017-0.81893;1.5348-0.25865]iw{2,1}=[0.892481.2663-0.13061]b{1}=[-4.9385;0.78466;2.2079]b{2}=[0.75264]4.2BP神經網絡應用圖形用戶界面（GUI）：

4.Simulatethenetwork：a=[0.469142.49480.9981]4.3RBF神經網絡RBF(Radial

Basis

Function)網絡的結構：

-具有單隱層的前饋神經網絡

-隱單元的變換函數是徑向基函數4.3RBF神經網絡RBF網絡的輸入輸出關系：4.3RBF神經網絡RBF網絡的學習算法：

*無教師學習階段：

4.3RBF神經網絡RBF網絡的學習算法：

*有教師學習階段：訓練由隱層到輸出層之間的權值

4.3RBF神經網絡RBF