BP人工神經網絡的基本原理模型與實例本講大綱：人工神經網絡的基本概念誤差反向傳播(BP)神經網絡2BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念從數(shù)學和物理方法以及信息處理的角度，對人腦神經網絡進行抽象，并建立某種簡化模型，稱為人工神經網絡。應用領域：模式識別系統(tǒng)辨識預測預估數(shù)據(jù)挖掘經濟學……3BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念

人工神經網絡在本質上是由許多小的非線性函數(shù)組成的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復雜映射關系。先給出單個人工神經網絡的一般模型描述：4BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念先來看一個單一輸入的神經元模型輸入變量：x1連接權重：w1激活函數(shù)：f(·)

w1x1f(·)

w1x15BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念

6BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念單極sigmoid函數(shù)

7BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念雙曲函數(shù)

8BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念增加激活閾值后的神經元模型輸入變量：x1連接權重：w1激活函數(shù)：f(·)

w1x1f(·)

w1x1-θ

-1小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經元的凈輸入和輸出分別是多少？x1w1θ10.20.49BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念當輸入增加時的神經元模型輸入變量：x1，x2連接權重：w1，w2激活函數(shù)：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經元的凈輸入和輸出分別是多少？x1x2w1w2θ100.20.40.410BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念

w1w2wmxmx2x1............f(·)

-1

11BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念當層數(shù)增加時的神經元模型輸入變量：x1，x2連接權重：w1，w2激活函數(shù)：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經元的凈輸入和輸出分別是多少？x1x2w1w2θ100.20.40.413BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6初始輸入、權重和偏倚值小練習：請你算一算，各節(jié)點的凈輸入和凈輸出分別是多少？14BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念單元j凈輸入Ij凈輸出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6凈輸入和輸出的計算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.47415BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念思考：

如果想要讓神經網絡的期望輸出盡可能接近“1”這個數(shù)值，請問應該調整網絡的哪些參數(shù)？16BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218初始輸入、權重和偏倚值小練習：若將各權值與閾值換成以上各值，各節(jié)點的凈輸入和凈輸出分別是多少？17BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念單元j凈輸入Ij凈輸出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6凈輸入和輸出的計算-0.5220.0820.62760.4795-0.18420.545940.192+0-0.306-0.408=-0.5225-0.306+0+0.194+0.194=0.0826-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.18421/(1+e-0.522)=0.62761/(1+e-0.1)=0.47951/(1+e-0.1842)=0.5459與0.474相比更接近“1”了18BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念神經網絡運算的難點之一：如何高效地確定各個連接權值W與激活閾值θ

自動確定權值與閾值的過程稱為神經網絡學習（訓練）。19BP人工神經網絡的基本原理模型與實例8.1人工神經網絡的基本概念神經網絡的學習方式：監(jiān)督學習非監(jiān)督學習激勵學習20BP人工神經網絡的基本原理模型與實例8.2誤差反向傳播(BP)神經網絡反向傳播算法分二步進行，即正向傳播和反向傳播。1．正向傳播輸入的樣本從輸入層經過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經元的狀態(tài)只對下一層神經元的狀態(tài)產生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。2．反向傳播反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數(shù)進行修改，以望誤差信號趨向最小。21BP人工神經網絡的基本原理模型與實例8.2誤差反向傳播(BP)神經網絡

22BP人工神經網絡的基本原理模型與實例8.2誤差反向傳播(BP)神經網絡單元j計算誤差Errj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6每個節(jié)點輸入端誤差Errj的計算Err4=-0.0087Err5=-0.00650.3320.525Err6=0.13111-0.4744[0.332?(1-0.332)]?(0.1311)?(-0.3)5[0.525?(1-0.525)]?(0.1311)?(-0.2)6[0.474?(1-0.474)]?(1-0.474)-0.0087-0.00650.13110.1311?w460.1311?w5623BP人工神經網絡的基本原理模型與實例8.2誤差反向傳播(BP)神經網絡權重或偏差新值w46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2+(0.9)(-0.0087)(1)=0.192w15-0.3+(0.9)(-0.0065)(1)=-0.306w240.4+(0.9)(-0.0087)(0)=0.4w250.1+(0.9)(-0.0065)(0)=0.1w34-0.5+(0.9)(-0.0087)(1)=-0.508w350.2+(0.9)(-0.0065)(1)=0.194θ6-0.1+(0.9)(0.1311)(-1)=-0.218θ5-0.2+(0.9)(-0.0065)(-1)=-0.194θ40.4+(0.9