1、第22卷第3期湖北工業大學學報2007年06月V ol.22N o.3Journal of H ubei U niversity of T echnology Jun.2007收稿日期2007-03-20基金項目湖北省自然科學基金項目(2004ABA065.作者簡介劉幺和(1954-,男,湖北武漢人,湖北工業大學教授,美國ASM E 和IEEE 專業會員,研究方向:智能控制.文章編號1003-4684(20070320001203一種B P 神經網絡學習率的優化設計劉幺和1,陳睿1,彭偉2,周蕾1(1湖北工業大學機械工程學院,湖北武漢430068;2湖北工業大學計算機學院,湖北武漢430068

2、摘要考慮到結構優化設計的實用性和模糊性.在大量智能計算的基礎上,提出了一種動態BP 神經網絡的學習率優化方法,該方法如同Rough 集理論的數據分類簡約功能去掉了多余屬性的樣本數據一樣,從而使神經網絡拓撲結構優化.實驗表明,這種方法簡單、實用且快速收斂.關鍵詞BP 網絡;優化設計;學習率中圖分類號TP183文獻標識碼A目前,智能計算在結構優化設計中已經得到廣泛應用.智能計算是根據人和動物的3大系統(神經系統、遺傳系統、免疫系統特性,提出恰當的數學模型來進行智能計算.Rumelhart 等提出的誤差反向傳播(Back Propagation 學習算法是訓練神經網絡的強有力的工具.但是BP 算法存

3、在收斂速度慢、易陷入局部極小等缺點,所以對BP 算法的改進是一個重要的研究課題.其中對學習率的研究是很重要的一個部分.如果學習率太小,收斂性容易得到保證,但收斂速度太慢;學習率太大,學習速度快,但可能導致振蕩或發散1.因而一個固定學習率不可能很好地適用于網絡的整個學習過程.為實現快速而有效的學習收斂過程,人們提出了許多自適應地調節學習率的方法(自適應調節學習率,即在網絡的學習過程中,學習率隨著環境狀態的變化不斷自動調整.1BP 神經網絡BP 網絡可實現輸入空間到輸出空間的非線性映射,它采用了優化算法中的梯度下降法,把一組樣本的I/O 問題變為非線性優化問題,B P 神經網絡模型一般由輸入層、中

4、間層、輸出層構成(圖1,該方法的數學原理和推導方法見文獻2.算法的執行步驟如下2.1對權系數W ij 置初值.對各層的權系數W ij 置一個較小的非零隨機數,但其中W i ,n+1=-.2輸入一個樣本X =(X 1,X 2,X n ,以及對應的期望輸出Y =(Y 1,Y 2,Y n .3計算各層的輸出.對于第k 層第i 個神經元的輸出X k i ,有圖1BP 神經網絡模型4求各層的學習誤差d k i .對于輸出層k =m ,有d m i =X m i (1-X m i (X mi -Y i .對于其他各層,有d k i =X k i (1-X ki tW lid k+l l .5修正權系數W

5、ij 和閥值有W ij (t +l =W ij (t -d k i X k-1j.其中,W ij (t =-d k i X k-1j+W ij (t -l =W ij (t -W ij (t -l .6當求出了各層各個權系數之后,可按給定品質指標判別是否滿足要求.如果滿足要求,則算法結束;如果未滿足要求,則返回3執行.該學習算法,對于任一給定的樣本X p=(X p1, X p2,X pn和期望輸出Y p=(X p1,Y p2,Y pn都要執行,直到滿足所有輸入輸出要求為止.2遺傳算法和免疫算法在結構優化中的應用遺傳算法是模擬生物在自然環境中的遺傳和進化過程而形成的一種自適應全局優化概率搜索算法

6、,其主要運算過程如下所示.步驟一:初始化.設置進化代數計算器t=0;設置最大進化代數T;隨機生成M個個體作為初始群體P(0.步驟二:個體評價.計算群體P(t中各個個體的適應度.步驟三:選擇運算.將選擇算子作用于群體.步驟四:交叉運算.將交叉算子作用于群體.步驟五:變異運算.將變異算子作用于群體.群體P(t經過選擇、交叉、變異運算后得到下一代的群體.群體P(t+1.步驟六:終止條件判斷.若tT,則t=t+1,轉到步驟二;若t>T,則以進化過程中得到的具有最大適應度的個體作為最優解輸出,終止運算.基本免疫算法基于生物免疫系統基本機制,模仿了人體的免疫系統,它從體細胞理論和網絡理論得到啟發,實

7、現了類似于生物免疫系統的抗原識別、細胞分化、記憶和自我調節的功能.如果將免疫算法與求解優化問題的一般搜索方法相比較,那么抗原、抗體、抗原和抗體之間的親和性分別對應于優化問題的目標函數、優化解、解與目標函數的匹配程度.3BP網絡學習率的優化模型BP算法理論具有依據可靠、推導過程嚴謹、精度較高、通用性較好等優點,但是B P模型存在收斂速度緩慢、容易陷入局部極小值、難以確定隱層節點的數目等缺點3.目前,有大量學者和研究人員試圖采用遺傳算法和免疫算法對B P網絡學習率進行優化,建立了大量的數學模型.4但這些模型往往公式復雜、結構繁瑣,既不利于學習和計算,也不利于計算機建模.針對以上的問題,筆者在大量遺

8、傳算法和免疫算法的實驗基礎上,提出一種簡單優化方法將學習率的變化公式=Ae-n.其中n為迭代次數,A和的取值根據實際情況選擇,一般情況下,1A50,0.0010.0001.鑒于工程應用的復雜性和結構優化的模糊性,對應不同的系統和實際要求,得出不同的取值范圍.4計算機仿真利用BP網絡函數逼近的功能對B P網絡及兩種改進算法的性能進行比較,采用的神經網絡有6個輸入節點,6個隱藏節點和6個輸出節點,共三層.輸入樣本為0,0,0,0,0,0,輸出樣本為:0.11,0.73,0.29,0.81,0.54,0.64.訓練最大步數取5000步,目標誤差定為0.01,固定學習率定為2,A選為8.1,選為0.0

9、01.表1是BP 網絡和優化算法的訓練結果比較.表1BP網絡和優化算法的訓練結果迭代次數結果誤差基本BP網絡960.001048優化學習率的BP網絡190.0010705結論以上實驗仿真結果可以看出,在相同的誤差要求下,優化過學習率的模型較之標準B P模型,訓練次數明顯減少,訓練時間大大減短,而且結構簡單,適用于計算機建模,該方法如同Rough集理論的數據分類簡約功能去掉了多余屬性的樣本數據一樣,從而使神經網絡拓撲結構優化,快速收斂.參考文獻1武美先,張學良,溫淑花,等.BP神經網絡的雙學習率自適應學習算法J.現代制造工程,2005(10:29-32.2史忠植.智能科學M.北京:清華大學出版社

10、,2006.3楊東侯,年曉紅,楊勝躍.兩種改進的BP神經網絡學習算法J.長沙大學學報,2004,18(4:54-57. 4龔安,張敏.BP網絡自適應學習率研究J.科學技術與工程:2006,6(1:64-66.2湖北工業大學學報2007年第3期Optim al Design for Learning R ate of BP N eutral N et w orkL IU Yao 2he 1,C H EN Rui 1,PEN G Wei 2,ZHOU Lei 1(1S chool of Mechanical Engi n.,H ubei Univ.of Technolog y ,W u H an

11、430068,Chi na;2S chool of Com p uter ,H ubei Univ.of Technolog y ,W uhan 430068,Chi na Abstract :Because of t he p racticability and f uzziness of optimum st ruct ure designing ,a kind of dynamic BP neural networks learning rate optimization is presented in t his paper on t he basis of a great amoun

12、t of intel 2ligent calculation.The experimental result s show t hat t his met hod is simple ,f unctional and rapid in con 2vergence.K eyw ords :B P neut ral networkl ;optimal design ;learning rate責任編輯:張巖芳“高精度貼片機自動對準系統的開發研究”通過鑒定該項目由機械工程學院測試計量技術及儀器學科帶頭人、博導鐘毓寧教授負責,2004年獲得武漢市科技攻關項目立項。經過三年的研究,研制出基于機器視覺的自動對準系統樣機。項目組開發了利用小波變換、尺度映射、分層搜索預處理和亞象素邊緣提取等多種算法的圖像處理軟件;提出并實現了一種利用正交光柵對CCD 自動