深度學習案例教程 課件3.3激活函數的含義_第1頁
深度學習案例教程 課件3.3激活函數的含義_第2頁
深度學習案例教程 課件3.3激活函數的含義_第3頁
深度學習案例教程 課件3.3激活函數的含義_第4頁
深度學習案例教程 課件3.3激活函數的含義_第5頁
已閱讀5頁，還剩3頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

第二節激活函數的含義激活函數Sigmoid函數神經網絡中經常使用的一個激活函數就是如圖表示的sigmoid函數(sigmoidfunction)。圖中的exp(?x)表示??x的意思。e是納皮爾常數2.7182…。該式子表示的的sigmoid函數看上去有些復雜，但它也僅僅是個函數而已。而函數就是給定某個輸入后，會返回某個輸出的轉換器。神經網絡中用sigmoid函數作為激活函數，進行信號的轉換，轉換后的信號被傳送給下一個神經元。激活函數ReLU函數在神經網絡發展的歷史上，sigmoid函數很早就開始被使用了，而最近則主要使用ReLU

(RectifiedLinearUnit)函數。激活函數ReLU函數ReLU（RectifiedLinearUnit）是一種常用的神經網絡激活函數，具有以下優點計算速度快：ReLU函數的計算非常簡單，只需要判斷輸入是否大于0，因此計算速度非常快。收斂速度快：ReLU函數在非負區間內斜率為1，因此當輸入大于0時，梯度不會變得特別小，這有助于避免梯度消失問題，提高網絡的訓練速度和穩定性。非線性：ReLU函數在輸入大于0時是線性的，在輸入小于等于0時是非線性的，因此可以幫助神經網絡學習非線性的特征。激活函數Tanh函數Tanh函數激活函數Tanh函數優點：有助于減緩梯度的消失問題，提高模型的訓練效果。缺點：它的輸出范圍為[-1,1]，因此需要對輸入數據進行歸一化，避免輸出值過大或過小。激活函數Softmax函數Softmax是常用且重要的一種歸一化函數，其將輸入值映射為0-1之間的概率實數，常用于多分類。激活函數Softmax函數Softmax函數的優點包括：1.輸出結果可解釋性強，可以表示不同類別的概率分布。2.可以使用交叉熵損失函數來訓練分類模型，簡化模型訓練過程。3.Softmax函數具有平

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論