深度學習的常用模型和方法2016年9月18日12021/6/27

深度學習的背景1目錄

深度學習常用模型和方法2

總結與展望3

自動編碼器1

稀疏編碼2

卷積神經網絡3

RNN與LSTM422021/6/27

深度學習的背景1實際生活中，人們為了解決一個問題，如對象的分類（文檔、圖像等），首先必須做的事情是如何來表達一個對象，即必須抽取一些特征來表示一個對象。如文本的處理中，常常用詞集合來表示一個文檔，或把文檔表示在向量空間中（稱為VSM模型），然后才能提出不同的分類算法來進行分類；又如在圖像處理中，我們可以用像素集合來表示一個圖像，后來人們提出了新的特征表示，如SIFT，這種特征在很多圖像處理的應用中表現非常良好，特征選取得好壞對最終結果的影響非常巨大。因此，選取什么特征對于解決一個實際問題非常的重要。然而，手工地選取特征是一件非常費力、啟發式的方法，能不能選取好很大程度上靠經驗和運氣。自動地學習特征的方法，統稱為DeepLearning。32021/6/27AutoEncoder自動編碼器2.1

深度學習中最簡單的一種方法是利用人工神經網絡的特點。如果給定一個神經網絡，我們假設其輸入和輸出相同，然后調整其每層參數，得到每一層的權重，自然，就得到了輸入的幾種不同表示，這些表示就是特征（feature）。

自動編碼器是一種盡可能復現輸入信號的神經網絡。其大致過程如下：1，給定無標簽數據，用非監督學習學習特征42021/6/27AutoEncoder自動編碼器2.1此時的誤差可由重構后與原輸入相比得到。

經過最小化重構誤差之后，可以認為code此時就是input的一種良好的表達。52021/6/27AutoEncoder自動編碼器2.1

2，通過編碼器產生特征，逐層訓練

將第一層輸出的code作為第二層的輸入信號，同樣最小化重構誤差，就得到了第二層的參數和第二層輸出的code。其他層用同樣的方法炮制，每一層均能得到輸入的一種表達，直到產生到需要的層數。

62021/6/27AutoEncoder自動編碼器2.1

3，有監督的微調

最后，為了可以實現分類，一般可以在AutoEncoder的最頂層添加一個分類器，然后通過標準的多層神經網絡的監督訓練方法去訓練。

在這里，可以通過有標簽樣本僅調整分類器，也可以對整個系統進行微調（數據多）。72021/6/27AutoEncoder自動編碼器2.1在研究中可以發現，如果在原有的特征中加入這些自動學習得到的特征可以大大提高精確度，甚至在分類問題中比目前最好的分類算法效果還要好。兩個變體稀疏自動編碼器降噪自動編碼器稀疏自動編碼器：限制每次得到的表達code盡量稀疏。

降噪自動編碼器：訓練數據加入噪聲，迫使編碼器更具有魯棒性。82021/6/27SparseCoding稀疏編碼2.2稀疏編碼是一種無監督學習方法，它用來尋找一組“超完備”基向量來更有效地表示樣本數據。其目的是將輸入的樣本集X分解為多個基元的線性組合，然后這些基前面的系數表示的是輸入樣本的特征。O=a1*Φ1+a2*Φ2+….+an*Φn，Φi是基，ai是系數。那么可以得出一個優化問題： MIN|I–O|，其中，I為輸入，O為輸出

通過求解這個最優化式子，可以求得Φi和ai，也就能得出輸入的特征表示。

如果我們加上稀疏規則限制，得到：MIN|I–O|+λ（|a1|+|a2|+…+|ai|）

這種方法就是稀疏編碼。92021/6/27SparseCoding稀疏編碼2.2稀疏編碼分為兩個部分：

（1）Training階段:

目標：給定一系列的樣本圖片[x1,x2,…]，我們需要學習得到一組基[Φ1,Φ2,…]。

訓練過程是一個重復迭代的過程，不斷交替更改a和Φ使得下面這個目標函數最小。

（2）Coding階段:

給定一個新的圖片x，求a矩陣的值，使得上面的目標函數取得最小值。102021/6/27SparseCoding稀疏編碼2.2112021/6/27

卷積神經網絡（CNN）2.3卷積神經網絡是一種特殊的深層的神經網絡模型，它的特殊性體現在兩個方面，一方面它的神經元間的連接是非全連接的，另一方面同一層中某些神經元之間的連接的權重是共享的（即相同的）。它的非全連接和權值共享的網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。卷積網絡是為識別二維形狀而特殊設計的一個多層感知器，這種網絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。122021/6/27

卷積神經網絡（CNN）2.3卷積神經網絡的結構與特點：BP神經網絡132021/6/27

卷積神經網絡（CNN）2.3LeNet-5文字識別系統142021/6/27

循環神經網絡（RNN）與LSTM2.4人類并不是每時每刻都從一片空白的大腦開始他們的思考，人總是基于自己已經擁有的對先前詞的理解來推斷當前詞的真實含義。傳統的神經網絡沒有考慮到時間因素，也就是其并不能記憶之前存儲的內容。而RNN解決了這個問題，RNN是包含循環的網絡，允許信息的持久化。循環神經網絡的基本結構如下所示：152021/6/27

循環神經網絡（RNN）與LSTM2.4RNN被廣泛的應用在語音識別、語言建模、翻譯等方面。而這些應用的關鍵就是LSTM的使用。長短時記憶網絡（LSTM）是一種特殊的RNN模型，其特點是可以學習長期依賴的信息。LSTM可以自動記憶長期的信息而不需要特意花費很大的代價。標準RNN結構162021/6/27

循環神經網絡（RNN）與LSTM2.4LSTM的結構根據上個輸出和當前的輸入決定是否拋棄之前的狀態內容172021/6/2