淺談深度學習1主要內容2006年以來，機器學習領域中一個叫“深度學習”的課題開始受到學術界廣泛關注，如今擁有大數據的互聯網公司爭相投入大量資源研發深度學習技術。為什么有deeplearning？Why什么是deeplearning？What怎么來的？Deeplearning與神經網絡的異同2機器學習機器學習（MachineLearning）是一門專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能的學科。簡單的說，機器學習就是通過算法，使得機器能從大量的歷史數據中學習規律，從而對新的樣本做智能識別或預測未來。1959年美國的塞繆爾(Samuel)設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰勝了設計者本人。又過了3年，這個程序戰勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。3Why?機器學習雖然發展了幾十年，但還是存在很多沒有良好解決的問題。例如以視覺感知為例，通過機器學習去解決這些問題的思路：

InputFeatureRepresentationLearningAlgorithm手工選取特征不太好，那么能不能自動地學習一些特征呢？答案是能！DeepLearning就是用來干這個事情的，它有一個別名UnsupervisedFeatureLearning。Why？答案：讓機器自動學習良好的特征，而免去人工選取過程。4What？深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習是無監督學習的一種。深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。5怎么來的？從機器學習的模型結構層次來分，機器學習經歷了兩次浪潮：1、淺層學習（ShallowLearning）：機器學習第一次浪潮2、深度學習（DeepLearning）：機器學習第二次浪潮6

淺層學習（一）20世紀80年代末期，由于人工神經網絡的反向傳播算法（BP算法）的發明，給機器學習帶來了希望，掀起了基于統計模型的機器學習熱潮。這個熱潮一直持續到今天。基于統計的機器學習方法可以讓一個人工神經網絡模型從大量訓練樣本中學習統計規律，從而對未知事件做預測。這個時候的人工神經網絡，雖也被稱作多層感知機（Multi-layerPerceptron），但實際是一種只含有一層隱層節點的淺層模型。7淺層學習（二）20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM）、Boosting、最大熵方法（LR）等。這些模型的結構基本上可以看成帶有一層隱層節點（如SVM、Boosting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由于理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期深度人工神經網絡反而相對沉寂。8深度學習（一）2006年，加拿大多倫多大學教授、機器學習領域的泰斗GeoffreyHinton等在《Science》上發表了一篇文章[1]，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經網絡具有優異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類；2）深度神經網絡在訓練上的難度，可以通過“逐層初始化”來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。[1]Hinton,

Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye

.

UnsupervisedDiscoveryofNonlinearStructureUsingContrastiveBackpropagation.Science.2006(30)4:

725-732.9當前多數分類、回歸等學習方法為淺層結構算法，其局限性在于有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本中集中學習數據集本質特征的能力。（多層的好處是可以用較少的參數表示復雜的函數）10深度學習（二）深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區別于傳統的淺層學習，深度學習的不同在于：1）強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點；2）明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。11淺層學習與深度學習的不同深度學習與神經網絡的異同Deeplearning與傳統的神經網絡之間有相同的地方也有很多不同。相同點：deeplearning采用了神經網絡相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰層節點之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個邏輯回歸模型；這種分層結構，是比較接近人類大腦的結構的。12不同點：采用了不同的訓練機制。傳統神經網絡中，采用的是反向傳播（BP）的方式進行。即采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前計算的輸出值和實際的標記值之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。BP算法不適合深度神經網絡：如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞，出現過擬合。deeplearning整體上是一個layer-wise的訓練機制。13深度學習的訓練過程1）自下而上的非監督學習:從底層開始，一層一層的往頂層訓練，分別得到各層參數。

采