極限學習機簡介_第1頁
極限學習機簡介_第2頁
極限學習機簡介_第3頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1極限學習機傳統前饋神經網絡采用梯度下降的迭代算法去調整權重參數，具有明顯的缺陷：1） 學習速度緩慢，從而計算時間代價增大；2） 學習率難以確定且易陷入局部最小值；3） 易出現過度訓練，引起泛化性能下降。這些缺陷成為制約使用迭代算法的前饋神經網絡的廣泛應用的瓶頸。針對這些問題，huang等依據摩爾-彭羅斯（MP）廣義逆矩陣理論提出了極限學習（ELM）算法，該算法僅通過一步計算即可解析求出學習網絡的輸出權值，同迭代算法相比，極限學習機極大地提高了網絡的泛化能力和學習速度。極限學習機的網絡訓練模型采用前向單隱層結構。設m,M,n分別為網絡輸入層、隱含層和輸出層的節點數，gG）是隱層神經元的激活函數，七為閾值。設有N個不同樣本G,t）， 1<i<N，其中X=[x,x,xbC.Rm.t=,[ttt1,GRn，則極限學習機的網絡訓練模型如i i1i2im iii1in2圖1所示。圖1極限學習機的網絡訓練模型極限學習機的網絡模型可用數學表達式表示如下：丈Pg(①x+b)=o,j=1,2,...,Niiiiji=1

式中，①=[%,氣.,...,①.]表示連接網絡輸入層節點與第i個隱層節點的輸入權值向量；P=[0,P，…,P》表示連接第i個隱層節點與網絡輸出層節點的輸出i i1i2in權值向量；o=[氣,o.2，?..，oj表示網絡輸出值。極限學習機的代價函數E可表示為E(S,&)=尹他―七j=1式中，，=(?,,b,i=1,2,...,M)，包含了網絡輸入權值及隱層節點閾值。Huang等指出極限學習機的懸鏈目標就是尋求最優的S，。，使得網絡輸出值與對應實際值誤差最小，即min(E(S,B))。min(E(S,p))可進一步寫為.,①,b,...,b,x,...,x)P-TM1M1N.,①,b,...,b,x,...,x)P-TM1M1N3廣4,& 1式中，H表示網絡關于樣本的隱層輸出矩陣，萬表示輸出權值矩陣，T表示樣本集的目標值矩陣，H，月，T分別定義如下:H(3H(3，…,3,b，…,b,x，…,xNg(3x+b)???g(3x+b))="1M1Mg(3x+b)???g(3x+b)L1N1 mNM」NxMJ:機NJ:機NNxN: ,T=pT^MxN極限學習機的網絡訓練過程可歸結為一個非線性優化問題。當網絡隱層節點的激活函數無限可微時，網絡的輸入權值和隱層節點閾值可隨機賦值，此時矩陣H為一常數矩陣，極限學習機的學習過程可等價為求取線性系統Hp=T最小范數的最小二乘解&，其計算式為p=H+T式中H+時矩陣H的MP廣義逆。2實驗結果>>ELM('diabetes_train','diabetes_test',1,20,'sig')TrainingTime=0.0468TestingTime=0TrainingAccuracy=0.79

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論