-CAL-FENGHAI.-(YICAI)-CompanyOne1-CAL-FENGHAI.-(YICAI)-CompanyOne1神經網絡及BP與RBF比較機器學習第四章神經網絡報告一、神經網絡概述1.簡介人工神經網絡是模仿腦細胞結構和功能、腦神經結構以及思維處理問題等腦功能的信息處系統，它從模仿人腦智能的角度出發，探尋新的信息表示、存儲和處理方式，這種神經網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的，它采用了與傳統人工智能和信息處理技術完全不同的機理，克服了傳統的基于邏輯符號的人工智能在處理直覺、非結有針對性化信息方面的缺陷，具有自適應、自組織和實時學習的特點，它通過預先提供的一批相互對應的輸入和輸出數據，分析掌握兩者之間潛在的規律，最終根據這些規律，用新的輸入數據來推算輸出結果。人工神經網絡（ANN）學習對于訓練數據中的錯誤健壯性很好，且已被成功地應用到很多領域，例如視覺場景分析、語音識別、機器人控制以及醫學圖像處理等。人工神經網絡2.人工神經網絡的特點及功能人工神經網絡具有以下幾個突出的優點：（1）能充分逼近復雜的非線性關系。只有當神經元對所有輸入信號的綜合處理結果超過某一個限值后才能輸出一個信號。（2）所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，每個神經元及其連線只能表示一部分信息，因此當有節點斷裂時也不影響總體運行效果，具有很強的魯棒性和容錯能力。（3）采用并行分布處理方法，使得快速進行大量運算成為可能。（4）可學習和自適應不知道或不確定的系統。人工神經網絡的特點和優越性，使其具有以下三個顯著的功能：（1）具有自學習功能：這種功能在圖像識別和處理以及未來預測方面表現得尤為明顯。自學習功能在未來預測方面也意義重大，隨著人工神經網絡的發展，未來它將在更多的領域，比如經濟預測、市場預測、效益預測等等，發揮更好的作用。（2）具有聯想存儲功能：人的大腦能夠對一些相關的知識進行歸類劃分，進而具有聯想的功能，當我們遇到一個人或者一件事情的時候，跟此人或者此事相關的一些信息會浮現在你的腦海，而人工神經網絡則通過它的反饋網絡，實現一些相關事物的聯想。（3）具有高速尋找優化解的功能：人工神經網絡利用反饋型網絡，通過發揮計算機快速和高效的計算能力，結合針對解決某一問題的算法，往往能快速找到針對某些復雜問題的優化解此外，ANN還存在著很多問題：如訓練時間長，需大量訓練數據，不能保證最佳結果和完全可靠，容易陷入局部極小，不具備增量學習能力，聯想存儲網絡容量小，所存儲的信息相互干擾和退化，不適合高精度計算，沒有很完善的學習方法，經驗參數太多等。在實際應用中也存在著難以設計通用的神經網絡芯片，大量的、動態的神經無互聯實現困難等問題。因此，還需對ANN進行現深更進一步的研究。二RBF神經網絡介紹徑向基函數（RBF）神經網絡是一種新穎有效的前饋式神經網絡，它具有最佳逼近和全局最優的性能，同時訓練方法快速易行，不存在局部最優問題，這些優點使得RBF網絡在非線性時間序列預測中得到了廣泛的應用。1985年，Powell提出了多變量插值的徑向基函數（Radial-BasisFunction,RBF）方法。1988年，Broomhead和Lowe首先將RBF應用于神經網絡設計，構成了徑向基函數神經網絡，對輸入矢量進行一次變換，將低維的模式輸入數據變換到高維空間內，通過對隱單無輸出的加權求和得到輸出，這就是RBF網絡的基本思想。RBF神經網絡的結構原理RBF函數網絡從結構上看是一個3層前饋網絡，包括一個輸入層、一個輸出層和一人隱含層。輸入層節點的作用是將輸入數據傳遞到隱含層節點。隱含層節點稱為RBF節點，其激活函數為輻射狀函數的神經元構成，下面是單輸出的RBF網絡的拓撲圖：通常采用高斯型函數：u其中x=(x1,x2,…,xm)RBF網絡中所用的非線性函數的形式對網絡性能的影響并不是至關重要的，關鍵因素是基函數中心的選取，中心選取不當構造出來的RBF網絡的性能一般不能令人滿意。例如，某些中心靠的太近，會產生近似線性相關，從而帶來數值上的病變條件。通常使用的RBF有：高斯函、多二次函數、逆多二次函數、薄板樣條函數等。普通RBF網絡采用的是高斯函數?！盎瘮怠辈捎玫母咚够瘮稻邆淙缦碌膬烖c：表示形式簡單，即使對于多變量輸入也不增加太多的復雜性；徑向對稱；光滑性好，任意階導數均存在；由于該基函數表示簡單且解析性好，因而便于進行理論分析。最近鄰聚類學習算法按RBF中心選取方法的不同來分可將RBF網絡的學習算法分為隨機選取中心、自組織選取中心、有監督選取中心、正交最小二乘等方法。下面對最近鄰聚類學習算法選取RBF基函數中心進行介紹；該算法是一種在線自適應聚類學習算法，不需要事先確定隱單元的個數，完成聚類所得到RBF網絡是最優的，并且此算法可以在線學習。該算法具體過程如下：（1）選擇一個適當的高斯函數寬度r，定義一個矢量Λ(l)用于存放屬于各類的輸出矢量之各，定義一個計數器B(l)用于統計屬于各類的樣本個數，其中（2）從第一個數據對（x1,y1）開始，在x1上建立一個聚類中心，令c1=（3）考慮第2個樣本數據對（x2,y2），求出x2到c1這個聚類中心的距離｜x2-c1｜。如果｜x2-c1｜≤r（4）假設我們考慮第k個樣本數據對（xk,yk）時，k=3,4,…,N存在M個聚類中心，其中心點分別為c1,c2,如果｜xk-ci｜>r，則將xk作為一個新聚類中心，并令cM+如查如果｜xk-ci｜≤r，作如下計算Λj=Λj+y（5）根據上述規則建立的RBF網絡其輸出應為f半徑r的大小決定了動態自適應RBF網絡的復雜程度。r越小，所得到的聚類數目就越多，計算量也越大。但由于r是一個一維參數，通?？梢酝ㄟ^實驗和誤差信息找到一個適當的r，這比同時確定隱單元的個數和一個合適的范數要方便的多。由于每一個輸入-輸出數據對都可能產生一個新的聚類。因此，這種動態自適應RBF網絡，實際上同時在進行參數和結構兩個過程的自適應調整。三BP神經網絡介紹BP（BackPropagation）網絡是1986年由Rumclhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input）、隱藏層（hidelayer）和輸出層（outputlayer）。每一層由一定數量的神經元構成，如下圖所示：當學習模式供給網絡后，神經元激活值從輸出層傳播，在輸出層各神經元輸出對應的值，然后按照減少與期望輸出與實際輸出的準則，從輸出層回到隱含層，再回到輸入層修正各個網絡系數。由于BP網絡有處于中間的隱藏層，并有相應的學習規則可循，可以訓練這種網絡，使其具有對非線性模式的識別能力。常用于信息處理、模式識別、智能控制及系統建模領域。BP網絡主要罝入模式順傳播，輸出誤差逆傳播，循環記憶訓練，學習結果判別四個部分組成。下面是BP算法的學習過程：BPTrain{初始化network的權和閾值。While終止條件不滿足{ forsamples中的每個訓練樣本X{ //向前傳播輸入 For隱藏或輸出層每個單元j{Ij=i } //后向傳播誤差 for輸出層每個單元j{ Errj } for由最后一個到第一個隱藏層，對于隱藏層每個單元j{ Errj }fornetwork中每個權ωij ωij ωij}fornetwork中每個偏差θj θj θj}}}算法基本流程就是：初始化網絡權值和神經元的閾值（最簡單的辦法就是隨要初始化）前向傳播：按照公式一層一層的計算隱藏層神經元和輸出層神經元的輸入和輸出。反向傳播：根據公式修正權值和閾值直到滿足終止條件。四RBF神經網絡與BP神經網絡的比較RBF神經網絡與BP神經網絡都是非線性多層前向網絡，它們都是通用逼近器。對于任一個BP神經網絡，總存在一個RBF神經網絡可以代替它，反之亦然。但是這兩個網絡也存在著很多不同點，這里從網絡結構、訓練算法、網絡資源的利用及逼近性能等方面對RBF神經網絡和BP神經網絡進行比較研究。（1）從網絡結構上看。BP神經網絡實行權連接，而RBF神經網絡輸入層到隱層單元之間為直接連接，隱層到輸出層實行權連接。BP神經網絡隱層單元的轉移函數一般選擇非線性函數（如反正切函數），RBF神經網絡隱層單元的轉移函數是關于中心對稱的RBF（如高斯函數）。BP神經網絡是三層或三層以上的靜態前饋神經網絡，其隱層和隱層節點數不容易確定，沒有普遍適用的規律可循，一旦網絡的結構確定下來，在訓練階段網絡結構將不再變化；RBF神經網絡是三層靜態前饋神經網絡，隱層單元數也就是網絡的結構可以根據研究的具體問題，在訓練階段自適應地調整，這樣網絡的適用性就更好了。（2）從訓練算法上看。BP神經網絡需要確定的參數是連接權值和閾值，主要的訓練算法為BP算法和改進的BP算法。但BP算法存在許多不足之處，主要表現為易限于局部極小值，學習過程收斂速度慢，隱層和隱層節點數難以確定；更為重要的是，一個新的BP神經網絡能否經過訓練達到收斂還與訓練樣本的容量、選擇的算法及事先確定的網絡結構（輸入節點、隱層節點、輸出節點及輸出節點的傳遞函數）、期望誤差和訓練步數有很大的關系。RBF神經網絡的訓練算法在前面已做了論述，目前，很多RBF神經網絡的訓練算法支持在線和離線訓練，可以動態確定網絡結構和隱層單元的數據中心和擴展常數，學習速度快，比BP算法表現出更好的性能。（3）從網絡資源的利用上看。RBF神經網絡原理、結構和學習算法的特殊性決定了其隱層單元的分配可以根據訓練樣本的容量、類別和分布來決定。如采用最近鄰聚類方式訓練網絡，網絡隱層單元的分配就僅與訓練樣本的分布及隱層單元的寬度有關，與執行的任務無關。在隱層單元分配的基礎上，輸入與輸出之間的映射關系，通過調整隱層單元和輸出單元之間的權值來實現，這樣，不同的任務之間的影響就比較小，網絡的資源就可以得到充分的利用。這一點和BP神經網絡完全不同，BP神經網絡權值和閾值的確定由每個任務（輸出節點）均方差的總和直接決定，這樣，訓練的網絡只能是不同任務的折中，對于某個任務來說，就無法達到最佳的效果。而RBF神經網絡則可以使每個任務之間的影響降到較低的水平，從而每個任務都能達到較好的效果，這種并行的多任務