激活函數 市賽獲獎_第1頁
激活函數 市賽獲獎_第2頁
激活函數 市賽獲獎_第3頁
激活函數 市賽獲獎_第4頁
激活函數 市賽獲獎_第5頁
已閱讀5頁，還剩5頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

激活函數主講：孫靜激活函數首先激活函數顧名思義就是一個函數，為神經元提供規模化非線性化能力，激活函數的最大作用就是非線性化，激活函數是一個掰彎利器，將正常的輸入的線形函數變成非線性的。比如當進行邏輯回歸即分類時，如果沒有激活函數那么神經網絡相當于一個線形函數，這種情況下就無法將數據分成固定的幾個類別了，而使用激活函數就可以將線性的數據掰彎成自己想要類型的數據。

Sigmoid函數：函數示意圖如右圖所示。函數式如下所示：激活函數可以看到sigmoid函數將輸入的實數壓縮在0～1之間，將非常大的正數壓縮成1，將非常大的負數壓縮成0。

Sigmoid函數優缺點激活函數優點：1處處連續，便于求導，方便應用到反向傳播。2將數據從實數空間R變換到概率空間[0,1]。缺點：1在數值趨向無窮的時候數值變化不大，梯度趨向于0，在深層神經網絡的反向傳播中容易發生梯度消失，這一點在圖像中表現在函數線趨向于直線x=1，所以導數是0即梯度也是0，比如當你初始值特別大時，函數的梯度為0，因此梯度下降算法失效，學習失敗；2整個函數的輸出值在0～1之間，因此輸出值的平均值不會是0，這個缺點的影響在于導致計算的梯度始終會大于0，梯度下降會以z字型下降。3計算量大.

tanh函數：函數示意圖如右圖所示。函數式如下所示：激活函數可以很明顯的看到tanh()是sigmoid函數的優化，優化了sigmoid函數的第二個缺點，而tanh函數其他特點也都和sigmoid類似。

relu函數：函數示意圖如右圖所示。函數式如下所示：激活函數由函數圖像和表達式可以很清楚的看到，當輸入值小于等于0時，輸出0；大于0時，輸入本身。

relu函數優缺點激活函數優點：relu在使用SGD時收斂速度明顯會加快。其次，相比于sigmoid/tanh，ReLU只需要一個閾值就可以得到激活值，而不用去算一大堆復雜的運算。缺點：但同時relu也有缺點，這個缺點在我用python手寫神經網絡時也遇到了，就是當使用較大的learningrate時神經元死掉。

softmax函數：函數式如下兩種形式所示：激活函數這里假設分類結果有C種(minist中即有10種)，y代表的就是第i種的概率，那么結果會是一個C維向量(y1,y2...yc),其中y1代表該輸出是第一類的概率，y2代表該輸出是第2類的概率以此類推。然后我們選取其中概率最大的一個作為我們的結果

softmax函數：函數式如下兩種形式所示：激活函數例如識別手寫數字minist模型中C=10有10種分類，輸出為y=(0.9,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1)，這個結果代表輸入值為0,

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論