第4節(jié)

BP網(wǎng)絡(luò)第三講人工神經(jīng)網(wǎng)絡(luò)BP—BackPropagation(反向傳播）LinearlySuperviseFeedforwardThelocationofperceptronVirtuesofPerceptronsEasytolearnanduseMoreinput-outputpairtouseLimitationsofPerceptronsSingle-layerperceptronscannotsolveproblemsthatarelinearlyinseparable(e.g.,XOR)MostinterestingproblemsarelinearlyinseparableNeedlongerlearntime第4節(jié)

BP網(wǎng)絡(luò)概述

基本BP算法

算法的改進(jìn)

算法的實(shí)現(xiàn)

算法的理論基礎(chǔ)

幾個問題的討論

1。BP算法的出現(xiàn)UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2。弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題、算法不一定收斂。3。優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。4.1概述

一、簡介BP算法即反向傳播算法，有時也稱為BP模型；BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的，通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無反饋的多層前向網(wǎng)絡(luò);算法可以對網(wǎng)絡(luò)中各層的權(quán)系數(shù)進(jìn)行修正，故適用于多層網(wǎng)絡(luò)的學(xué)習(xí);BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，在自動控制中是最有用的學(xué)習(xí)算法。4.1概述

一、簡介x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)4.1概述

二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)BP網(wǎng)絡(luò)含有輸入層、輸出層以及處于輸入輸出層之間的中間層；中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱層；隱層雖然和外界不連接，但它們的狀態(tài)影響輸入輸出之間的關(guān)系。改變隱層的權(quán)系數(shù)，可以改變整個多層神經(jīng)網(wǎng)絡(luò)的性能。Xik=f(Uik)

4.1概述

二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)如何決定?實(shí)驗(yàn)表明：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級網(wǎng)絡(luò)。4.1概述

二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)；可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的。4.1概述

三、激活函數(shù)4.2BP網(wǎng)的學(xué)習(xí)算法

一、BP算法的訓(xùn)練過程概述

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：神經(jīng)元的網(wǎng)絡(luò)輸入：4.2BP網(wǎng)的學(xué)習(xí)算法

一、BP算法的訓(xùn)練過程概述

BP訓(xùn)練基本過程：樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))4.2BP網(wǎng)的學(xué)習(xí)算法

一、BP算法的訓(xùn)練過程概述

BP訓(xùn)練基本過程：2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：4.2BP網(wǎng)的學(xué)習(xí)算法

二、BP算法原理設(shè)有一個m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；設(shè)第k層的第i個神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個神經(jīng)元到第k層的第i個神經(jīng)元的權(quán)系數(shù)為Wij，各個神經(jīng)元的激發(fā)函數(shù)為f，則各個變量的關(guān)系可用下面的數(shù)學(xué)式表示：（一）前饋多層網(wǎng)絡(luò)x1o1x2o2omxn…………………K層K-1層UikXikWi1X2k-1X1k-1Xnk-1Wi2Win4.強(qiáng)2香BP網(wǎng)的黎學(xué)習(xí)鞋算法二、BP算法糠原理（二旋）BP算法機(jī)的基酒本思盆路1．正謙向傳磚播輸入磨的樣蠢本從烘輸入濱層經(jīng)您過隱搞單元聲一層庸一層感進(jìn)行扮處理培，通賣過所團(tuán)有的地隱層炒之后慶，傳串向輸經(jīng)出層漸；在珍逐層吃處理奪的過袖程中柄，每劃一層女神經(jīng)界元的恐狀態(tài)忌只對化下一敬層神老經(jīng)元押的狀詠態(tài)產(chǎn)呢生影稼響。錢在輸賀出層話把現(xiàn)應(yīng)行輸歲出和陸期望凝輸出圍進(jìn)行獅比較太，如煎果現(xiàn)侄行輸訊出不駛等于拿期望帆輸出池，則癢進(jìn)入悟反向裙傳播茄過程訪。2．反蹄向傳士播反向鼠傳播裝時，做把誤會差信邁號按在原來射正向拉傳播忍的通獸路反士向傳表回，珠并對車每個幟隱層搖的各瞇個神岡經(jīng)元焰的權(quán)先系數(shù)宰進(jìn)行愉修改控，以譯期望困誤差語信號挽趨向葵最小征。BP算法條分二請步進(jìn)遠(yuǎn)行:正向然傳播吃和反冷向傳屑播。4.逗2危BP網(wǎng)的逐學(xué)習(xí)踏算法二、BP算法部原理（三怖）BP算法獲的數(shù)倦學(xué)表猛達(dá)BP算法安實(shí)質(zhì)黃是求遍取誤搖差函韻數(shù)的覺最小錫值問露題。BP算法竭采用久非線派性規(guī)架劃中給的最微速下葬降方暖法，東按誤仁差函辮數(shù)的俊負(fù)梯輩度方務(wù)向修揚(yáng)改權(quán)蛋系數(shù)銀。wijE>0，此時Δwij<0取E<0,此時Δwij>0wij最速火下降鄰法，眾要求E的極睡小點(diǎn)。4.掩2磚BP網(wǎng)的腦學(xué)習(xí)吸算法二、BP算法階原理（三勻）BP算法臨的數(shù)巨學(xué)表蹲達(dá)4.加2忘BP網(wǎng)的臣學(xué)習(xí)足算法二、BP算法們原理（三鏈）BP算法泡的數(shù)鞭學(xué)表廣達(dá)x1o1x2o2omxn…………………K層K-別1層UikXikX2k-1X1k-1Xnk-1Wi1Wi2Winxikxikxik1．正絲式向傳繪播4.孔2覺BP網(wǎng)的蒸學(xué)習(xí)塔算法二、BP算法術(shù)原理（三央）BP算法來的數(shù)咱學(xué)表賺達(dá)2、反向舅傳播定義荷誤差俱函數(shù)e。取鑄期望膀輸出播和實(shí)頂際輸木出之溫差的司平方邊和為將誤差意函數(shù)唐，則糖有：按誤喊差函雅數(shù)e的負(fù)侄梯度患方向苦修改霧權(quán)系蘭數(shù)OR如何求？其中扭：Yi是輸蔽出單餐元的假期望知值；譜它也烏在這掉里用抄作教織師信它號；Xim是實(shí)竟際輸篇出；藝因?yàn)橄灥趍層是狐輸出瞇層。η為學(xué)討習(xí)速掠率，趟即步遼長2、反向新傳播令η為學(xué)環(huán)習(xí)速逝率，忽即步慣長，臣一般銳取0-須1間的澇數(shù)。如何刮求？2、反向混傳播為了方便進(jìn)行求導(dǎo)，取f為連續(xù)函數(shù)。一般取非線性連續(xù)函數(shù)。取f為非對稱Sigmoid函數(shù)2、反向躬傳播(1脹)If述k＝m，則鑰是輸明出層惱，這略時Yi是輸伴出期曲望值暈，它宴是常蝦數(shù)。？兩種預(yù)情況殲：k＝mK<攜m2、反向色傳播(2望)If如果k<冬m，則楊該層屑是隱逢層,這時桌應(yīng)考兆慮上墊一層泳對它漢的作明用。？考慮酷上一茫層對移它的席作用2、反向跡傳播多層書網(wǎng)絡(luò)浙的訓(xùn)衡練方轎法是某把一句個樣釀本加紙到輸帶入層孩，并博根據(jù)廊向前地傳播咸的規(guī)線則：Xik=司f黨(Uik)不斷屑一層懷一層戲向輸區(qū)出層貢傳遞熊，最甜終在艱輸出未層可恐以得榆到輸富出Xim。總結(jié)容：2、反向向傳播誤差啊信號eXim=認(rèn)Yi（期恐望輸方出）？反向蠻傳播善修改色權(quán)系餅數(shù)2、反向嘆傳播求取嚷本層dik時，慎要用剩到高畜一層緣瑞的dik+價1；可牙見，舌誤差行函數(shù)惜的求天取是餅從輸田出層硬開始狹，到墓輸入如層的恨反向旦傳播吊過程管；通過甚多個粗樣本沃的反粗復(fù)訓(xùn)杜練，祖同時班向誤怒差漸濱漸減李小的惡方向國對權(quán)活系數(shù)總進(jìn)行助修正蘭，以滑達(dá)最袋終消門除誤賄差。慘從上寇面公緊式也必可以莫知道謝，如摸果網(wǎng)床絡(luò)的險層數(shù)泛較多傭時，班所用站的計(jì)由算量虜就相榨當(dāng)可惕觀，胡故而級收斂錢速度挨不快犁。為了牌加快聚收斂快速度嶄，再助進(jìn)行應(yīng)修正稱為一疤般化退的De世lt蠅a法則槽，由鋼公式看可知2、反向脖傳播對于導(dǎo)沒有朗隱層振的神迫經(jīng)網(wǎng)醋絡(luò)，濱可取修正濃方法考慮邊上一王次的肉權(quán)系柏?cái)?shù)，恐并以遭它作黨為本渣次修遣正的謙依據(jù)砍之一肢，故庫而有騾修正絕公式匙：η為學(xué)嘴習(xí)速壇率，耗即步育長，η＝0.匠1-碌0.莊4左右ɑ為權(quán)劣系數(shù)聾修正條常數(shù)拍，取0.減7-遲0.獻(xiàn)9左右稱為胳簡單De用lt岡a法則,只在漆理論特推導(dǎo)跟上有予用Xj為輸出層的實(shí)際輸出Yi為期望輸出Xi為輸入層的輸入2、反向樂傳播4.考2借BP網(wǎng)的構(gòu)學(xué)習(xí)云算法二、BP算法濾原理（四啟）BP算法泰的執(zhí)立行步俗驟1．對權(quán)驢系數(shù)Wij置初純值。對各考層的刊權(quán)系銳數(shù)Wij置一龜個較劫小的挪非零替隨機(jī)法數(shù)，困但其奴中Wi,顏n+墻1=油-θ。2．輸入重一個械樣本恩。X＝(xl，x2，…，xn，1)，以焰及對奔應(yīng)期牌望輸憐出Y＝(Y1，Y2，…，Yn)。3．計(jì)算歪各層街的輸渣出。對于獅第k層第i個神伯經(jīng)元御的輸哨出Xik，有留：4.奧2酬BP網(wǎng)的覺學(xué)習(xí)紐奉算法二、BP算法添原理（四馳）BP算法攜的執(zhí)沾行步嚼驟4．求各飽層的躍學(xué)習(xí)未誤差dik對于妙輸出因?qū)佑袛。?．修爽正權(quán)驗(yàn)系數(shù)Wij和閥嘗值θel航seIf蹄k=紀(jì)m4.性2禁BP網(wǎng)的溫學(xué)習(xí)厘算法二、BP算法預(yù)原理（四傾）BP算法艇的執(zhí)毒行步某驟Xik=f(Uik)6．根據(jù)膨誤差虧標(biāo)準(zhǔn)嬌判別瓶是否脈滿足樓要求母。如果板滿足腐要求峰，則杏算法患結(jié)束衰；如徑果未嶄滿足股要求惰，則惕返回(3嚷)執(zhí)行裙。這個銳學(xué)習(xí)屑過程趣，對篩于任殺一給轟定的挑樣本Xp＝(Xp1，Xp2，…Xpn，1)和期械望輸吳出Yp=(金Yp1，Yp2，…，Ypn)都要份執(zhí)行堤，直句到滿誰足所昏有輸真入輸惕出要五求為鵲止。4.償2翻BP網(wǎng)的深學(xué)習(xí)潛算法二、BP算法嚇原理（四視）BP算法腹的執(zhí)勿行步每驟一個BP學(xué)習(xí)辮周期（a)前向傳播，產(chǎn)生輸出模式(b)計(jì)算輸出層值，更新權(quán)值W[2](c)誤差向后傳播一個BP學(xué)習(xí)硬周期(d)更新權(quán)矩陣W[1](0己,硬0)(1器,看0)(1貫,唯1)(0伴,蛾1)××x1x2L1L2L3L4XO膛R樣本躬空間死分布異或講求解羞網(wǎng)絡(luò)BP算法儀原理前向他傳播后向獵傳播BP算法仰原理前向串傳播后向卡傳播(1名)學(xué)習(xí)岔算法沫收斂愈速度獄慢。順一個轎相當(dāng)榴簡單拐的問筆題求亭解，歸其訓(xùn)捧練次優(yōu)數(shù)要濁幾百俘或幾度千次售迭代沾；(2耍)局部焦極小運(yùn)問題傳。從洞數(shù)學(xué)現(xiàn)角度云看，BP學(xué)習(xí)宿過程肺是一碑個非貍線性想優(yōu)化企過程歷，所壁在不誦可避消免地幼會遇倘到優(yōu)港化過責(zé)程中嚇最常篇見的備局部豬極小掏問題昨，使冷學(xué)習(xí)詞結(jié)果成令人掘不滿隙意；(3沙)網(wǎng)絡(luò)廈的隱距層單墓元個側(cè)數(shù)尚靈無理躍論上趕的指贈導(dǎo)，尤而是度根據(jù)回經(jīng)驗(yàn)琴選取艦；(4辭)BP網(wǎng)絡(luò)鍬是一遲個前廟向網(wǎng)省絡(luò)，廢具有守非線膀性映肚射能滴力，耀但它蒙并不騙是一程個非銹線性夢動力亞學(xué)系冒統(tǒng)，縫功能諒上有殺其局瘡限性潤。4.攏2水BP網(wǎng)的歸學(xué)習(xí)從算法二、BP算法瞇原理（五難）BP模型眉存在噴的問刻題Lo粱ca拜l貧mi嗽ni冰mu食mGl府ob朋al慶m盾in核im虎umEr面ro消r4.勝2半BP網(wǎng)的穩(wěn)學(xué)習(xí)以算法二、BP算法把原理（五袖）BP模型紐奉存在健的問可題局部懷極小輕問題Ov達(dá)er就fi陳tt局edRe樹al杜D網(wǎng)is霧tr工ib綱ut腸io詠nOv喇er窗-f幕it核ti錫ng腎/o曾ve顯r-私tr村ai叢ni遲ng劫p匠ro瘋bl少em演:竿tr略ai所ne聰d