1、淺談深度學習（淺談深度學習（D Deepeep L Learningearning）1 制作者：劉紅敬 專 業(yè)：計算機技術 主要內容主要內容 20062006年以來，機器學習領域中一個叫年以來，機器學習領域中一個叫“深度學習深度學習”的的課題開始受到學術界廣泛關注，如今擁有大數(shù)據(jù)的互聯(lián)網課題開始受到學術界廣泛關注，如今擁有大數(shù)據(jù)的互聯(lián)網公司爭相投入大量資源研發(fā)深度學習技術。公司爭相投入大量資源研發(fā)深度學習技術。 一一、機器學習機器學習 二、為什么有二、為什么有 D Deep learningeep learning？Why?Why? 三、三、什么是什么是 D Deep learningeep

2、learning？What?What? 四、四、怎么來的怎么來的？ 五、五、Deep learningDeep learning與神經網絡的異同與神經網絡的異同2一、機器學習一、機器學習 機器學習（機器學習（Machine LearningMachine Learning）是一門專門研究計算機怎是一門專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能的學科。組織已有的知識結構使之不斷改善自身的性能的學科。 簡單的說，機器學習就是通過算法，使得機器能從大量的簡單的說，機器學習就是通過

3、算法，使得機器能從大量的歷史數(shù)據(jù)中學習規(guī)律，從而對新的樣本做智能識別或預測未來。歷史數(shù)據(jù)中學習規(guī)律，從而對新的樣本做智能識別或預測未來。 19591959年美國的年美國的塞繆爾塞繆爾(Samuel)(Samuel)設計了一個下棋程序，這個設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4 4年后，這個程序戰(zhàn)勝了設計者本人。又過了年后，這個程序戰(zhàn)勝了設計者本人。又過了3 3年，這個程序戰(zhàn)勝年，這個程序戰(zhàn)勝了美國一個保持了美國一個保持8 8年之久的常勝不敗的冠軍。這個程序向人們展年之久的常勝不敗的冠軍。這個程序向人

4、們展示了示了機器學習的能力，機器學習的能力，提出了許多令人深思的社會問題與哲學提出了許多令人深思的社會問題與哲學問題。問題。 這種程序水平達到一定程度很容易，但再進一步就不容易了。這種程序水平達到一定程度很容易，但再進一步就不容易了。深藍深藍是是9090年代機器學習理論有了突破之后才出來的年代機器學習理論有了突破之后才出來的。3二、二、Why?Why? 機器學習雖然發(fā)展了幾十年，但還是存在很多沒有良好解決的機器學習雖然發(fā)展了幾十年，但還是存在很多沒有良好解決的問題。例如以問題。例如以視覺感知視覺感知為例，通過為例，通過機器學習機器學習去解決這些問題的去解決這些問題的思路：思路： Input I

5、nput Feature RepresentationFeature Representation Learning Learning Algorithm Algorithm 手工選取特征不太好，那么能不能自動地學習一些特征呢？手工選取特征不太好，那么能不能自動地學習一些特征呢？答案是能！答案是能！Deep LearningDeep Learning就是用來干這個事情的，它有一個別就是用來干這個事情的，它有一個別名名Unsupervised Feature LearningUnsupervised Feature Learning。WhyWhy？答案：讓機器自動學習良好的特征，而免去人工選取過

6、程。答案：讓機器自動學習良好的特征，而免去人工選取過程。4三、三、WhatWhat？ 深度深度學習學習是機器學習研究中的一個新的領域，其動機在是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。文本。 深度深度學習是無監(jiān)督學習的一種。學習是無監(jiān)督學習的一種。 深度深度學習的概念學習的概念源于源于人工神經網絡的研究。含多隱層的人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層多層感知器就是一種深度學習結構

7、。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。的分布式特征表示。5四、怎么來的？四、怎么來的？從機器學習的模型結構層次來分，機器學習經歷了兩次浪潮：從機器學習的模型結構層次來分，機器學習經歷了兩次浪潮：1 1、淺層學習（、淺層學習（Shallow LearningShallow Learning）：機器學習第一次浪潮）：機器學習第一次浪潮2 2、深度學習（、深度學習（Deep LearningDeep Learning）：機器學習第二次浪潮）：機器學習第二次浪潮6 1 1、淺層學習、淺層學習 20

8、20世紀世紀8080年代末期年代末期，由于，由于人工神經網絡人工神經網絡的的反向傳播算反向傳播算法法（BPBP算法算法）的發(fā)明，給機器學習帶來了希望，掀起了）的發(fā)明，給機器學習帶來了希望，掀起了基基于統(tǒng)計模型的機器學習于統(tǒng)計模型的機器學習熱潮。這個熱潮一直持續(xù)到今天。熱潮。這個熱潮一直持續(xù)到今天。 基于基于統(tǒng)計的機器學習方法可以讓一個人工神經網絡模統(tǒng)計的機器學習方法可以讓一個人工神經網絡模型從大量訓練樣本中學習統(tǒng)計規(guī)律，從而對未知事件做預型從大量訓練樣本中學習統(tǒng)計規(guī)律，從而對未知事件做預測。測。 這個這個時候的人工神經網絡，雖也被稱作時候的人工神經網絡，雖也被稱作多層感知機多層感知機（Mult

9、i-layer PerceptronMulti-layer Perceptron），但實際是一種只含有），但實際是一種只含有一層一層隱層節(jié)點的淺層模型隱層節(jié)點的淺層模型。71 1、淺層學習、淺層學習 2020世紀世紀9090年代年代，各種各樣的淺層機器學習模型相繼被，各種各樣的淺層機器學習模型相繼被提出，例如提出，例如支撐向量機支撐向量機（SVMSVM）、）、 BoostingBoosting、最大熵方法最大熵方法（LRLR）等。）等。 這些模型的結構基本上可以看成帶有這些模型的結構基本上可以看成帶有一層隱層節(jié)點一層隱層節(jié)點（如（如SVMSVM、BoostingBoosting），或），或沒有

10、隱層節(jié)點沒有隱層節(jié)點（如（如LRLR）。這些）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。模型無論是在理論分析還是應用中都獲得了巨大的成功。 相比之下，由于理論分析的難度大，訓練方法又需要相比之下，由于理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期深度人工神經網絡反而相對沉很多經驗和技巧，這個時期深度人工神經網絡反而相對沉寂。寂。82 2、深度學習、深度學習 20062006年，加拿大多倫多大學教授、機器學習領域的泰斗年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey HintonGeoffrey Hinton等在等在ScienceScience上發(fā)表了一篇文章

11、上發(fā)表了一篇文章11，開啟了深度學習在學術界和工業(yè)界的浪潮。開啟了深度學習在學術界和工業(yè)界的浪潮。這篇文章有兩個主要觀點：這篇文章有兩個主要觀點：1 1）多隱層多隱層的人工神經網絡具有優(yōu)異的特征學習能力，學習的人工神經網絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質的刻畫，從而有利于可視化或得到的特征對數(shù)據(jù)有更本質的刻畫，從而有利于可視化或分類分類。2 2）深度神經網絡在訓練上的難度，可以通過）深度神經網絡在訓練上的難度，可以通過“逐層初始化逐層初始化”來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學習實現(xiàn)的。習實現(xiàn)的。11 Hint

12、on, Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye . Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2006(30)4: 725-732. 9 當前當前多數(shù)多數(shù)分類、回歸分類、回歸等學習方法為等學習方法為淺層結構算法淺層結構算法，其，其局限性在于有限樣本和計算單元情況下對復雜函數(shù)的表示局限性在于有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。能力有限，針對復雜分

13、類問題其泛化能力受到一定制約。 深度深度學習學習可通過學習一種可通過學習一種深層非線性網絡結構深層非線性網絡結構，實現(xiàn)，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學習數(shù)據(jù)集本質特征的能力。（多層的從少數(shù)樣本中集中學習數(shù)據(jù)集本質特征的能力。（多層的好處是可以用較少的參數(shù)表示復雜的函數(shù)）的好處是可以用較少的參數(shù)表示復雜的函數(shù)）102 2、深度學習、深度學習 深度深度學習學習的實質，是通過構建具有的實質，是通過構建具有很多隱層很多隱層的機器學的機器學習模型和海量的訓練數(shù)據(jù)，來學習更有用的特征，從而最習模型和海量的訓練數(shù)據(jù)

14、，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，終提升分類或預測的準確性。因此，“深度模型深度模型”是手段，是手段，“特征學習特征學習”是目的。是目的。 區(qū)別區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：于傳統(tǒng)的淺層學習，深度學習的不同在于： 1 1）強調了）強調了模型結構的深度模型結構的深度，通常有，通常有5 5層、層、6 6層，甚至層，甚至1010多層多層的隱層節(jié)點；的隱層節(jié)點； 2 2）明確突出了）明確突出了特征學習的重要性特征學習的重要性，也就是說，通過逐層特，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空征變換，將樣本在原空間的特征表示變換到一個新特征

15、空間，從而使分類或預測更加容易。利用大數(shù)據(jù)來學習特征，間，從而使分類或預測更加容易。利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內在信息。更能夠刻畫數(shù)據(jù)的豐富內在信息。113 3、淺層學習與深度學習的不同、淺層學習與深度學習的不同四、深度學習與神經網絡的異同四、深度學習與神經網絡的異同 深度學習深度學習與與傳統(tǒng)的神經網絡傳統(tǒng)的神經網絡之間有相同的地方也有很之間有相同的地方也有很多不同。多不同。 相同點相同點：深度學習深度學習采用了神經網絡相似的分層結構，系采用了神經網絡相似的分層結構，系統(tǒng)由包括統(tǒng)由包括輸入層、隱層（多層）、輸出層輸入層、隱層（多層）、輸出層組成的多層網絡，組成的多層網絡，只有相

16、鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個邏輯回歸模型；這種分互無連接，每一層可以看作是一個邏輯回歸模型；這種分層結構，是比較接近人類大腦的結構的。層結構，是比較接近人類大腦的結構的。12 不同點不同點：采用了：采用了不同的訓練機制不同的訓練機制。 傳統(tǒng)神經網絡傳統(tǒng)神經網絡中，采用的是反向傳播（中，采用的是反向傳播（BPBP）的方式進）的方式進行。即采用迭代的算法來訓練整個網絡，隨機設定初值，行。即采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據(jù)當前計算當前網絡的輸出，然后根據(jù)當前計算的輸出值計算的輸出值和和實際實際的標記值的標記值之間的差去改變前面各層的參數(shù)，直到收斂（整之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個梯度下降法）。體是一個梯度下降法）。 BP BP算法不適合深度神經網絡：算法不適合深度神經網絡：如果對所有層同時訓練，如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞，出現(xiàn)過擬合遞，出現(xiàn)過擬合。 深度學習深度學習整體上是一個逐層整體上是一個逐層的訓練機制的訓練機制。13深度學習的訓練過程深度學習的訓練過程1 1）自下而上的非監(jiān)督學