正向傳播應用主講：胡林01正向傳播算法02正向傳播應用目錄正向傳播算法1正向傳播算法一、算法定義

正向傳播算法，也叫前向傳播算法，顧名思義，是由前往后進行的一個算法。最開始，我們會初始化一組的取值，并且選定一個激活函數，為了后面的方便，我們假設選定sigmoid函數作為激活函數，其函數形式為：并且它的導數為有了聯結權重和激活函數之后，就可以由前往后計算，依次算出所有的值，最終算出輸出層的值。這就是前向傳播算法。二、DNN正向傳播算法DNN可以理解為有很多隱藏層的神經網絡。這個很多其實也沒有什么度量標準,多層神經網絡和深度神經網絡DNN其實也是指的一個東西，當然，DNN有時也叫做多層感知機（Multi-Layerperceptron,MLP）,名字實在是多。后面我們講到的神經網絡都默認為DNN。從DNN按不同層的位置劃分，DNN內部的神經網絡層可以分為三類，輸入層，隱藏層和輸出層，如下圖示例，一般來說第一層是輸入層，最后一層是輸出層，而中間的層數都是隱藏層。

所謂的DNN的前向傳播算法也就是利用我們的若干個權重系數矩陣WWW和偏倚向量bbb來和輸入值向量xxx進行一系列線性運算和激活運算，從輸入層開始，一層層的向后計算，一直到運算到輸出層，得到輸出結果為止。

輸入：

總層數L，所有隱藏層和輸出層對應的矩陣W，偏倚向量b，輸入值向量x。

輸出：輸出層的輸出aL

（1）初始化a1=x

（2）Forl=2toL，計算正向傳播算法三、核心代碼實現正向傳播應用2正向傳播應用一、LSTM中的正向傳播LSTM模型有兩個隱藏狀態h(t),C(t)h(t),C(t)，模型參數幾乎是RNN的4倍，包含Wf,Uf,bf,Wa,Ua,ba,Wi,Ui,bi,Wo,Uo,boWf,Uf,bf,Wa,Ua,ba,Wi,Ui,bi,Wo,Uo,bo這些參數。

LSTM雖然結構復雜，但是只要理順了里面的各個部分和之間的關系，進而理解前向傳播算法是不難的。理解LSTM模型結構仍然是高效使用的前提。

前向傳播過程在每個序列索引位置的過程為：

（1）更新遺忘門輸出： f(t)=σ(Wfh(t?1)+Ufx(t)+bf)

（2）更新輸入門兩部分輸出： i(t)=σ(Wih(t?1)+Uix(t)+bi)i(t)=σ(Wih(t?1)+Uix(t)+bi) a(t)=tanh(Wah(t?1)+Uax(t)+ba)（3）更新細胞狀態 C(t)=C(t?1)⊙f(t)+i(t)⊙a(t)（4）更新輸出門輸出： o(t)=σ(Woh(t?1)+Uox(t)+bo) h(t)=o(t)⊙tanh(C(t))（5）更新當前序列索引預測輸出： y^(t)=σ(Vh(t)+c)正向傳播應用何為正向傳播呢？假設上一層結點i,j,k,…等一些結點與本層的結點w有連接，結點w的值如何算？即通過上一層的i,j,k等結點以及對應的連接權值進行加權和運算，最終結果再加上一個偏置項（圖中為了簡單省略了），最后在通過一個非線性函數（即激活函數），如sigmoid函數，最后得到的結果就是本層結點w的輸出。不斷迭代此運算，得到輸出層結果。如下圖DeepMind實驗室有很多應用正向傳播的實例。例如強化學