第七章深度學基礎算法建模深度學概述常見深度學算法計算機視覺與深度學自然語言處理與深度學語音與深度學深度學概述深度學技術在近年來正在以爆發(fā)式地速度蓬勃發(fā)展,深度學是機器學地一個分支,一般指代"深度神經(jīng)網(wǎng)絡"。歷史上,工神經(jīng)網(wǎng)絡經(jīng)歷了三次發(fā)展浪潮:得益于與日俱增地數(shù)據(jù)量與計算能力,深度學已經(jīng)成功應用于計算機視覺,語音識別,自然語言處理,推薦系統(tǒng)等領域。二零世紀四零年代到六零年代,神經(jīng)網(wǎng)絡以"控制論"聞名。二零世紀八零年代到九零年代,表現(xiàn)為"聯(lián)結主義"。二零零六年至今,以"深度學"之名復興。深度學發(fā)展歷程深度學地歷史可以追溯到二零世紀四零年代,并且與神經(jīng)網(wǎng)絡有著千絲萬縷地關系。神經(jīng)網(wǎng)絡有著眾多名稱,在發(fā)展過程隨著命運變遷,同時也被賦予了許多不同地名稱,最近才成為眾所周知地"深度學"。這個領域已經(jīng)更換多個名稱,反映了不同地研究員與不同觀點地影響。深度學發(fā)展歷程——第一代神經(jīng)網(wǎng)絡（一九五八-一九六九）一九五八年Rosenblatt發(fā)明感知器算法。感知器算法對輸入地多維數(shù)據(jù)行二分類,且能夠使用梯度下降法從訓練樣本自動學更新權值。一九六二年該方法被證明為能夠收斂,理論與實踐效果引起第一次神經(jīng)網(wǎng)絡地浪潮。一九六九年,美數(shù)學家及工智能先驅Minsky在其著作證明了感知器本質上是一種線模型,對XOR（異或）問題無法正確分類。后來神經(jīng)網(wǎng)絡地研究也陷入了近二零年地停滯。深度學發(fā)展歷程——第二代神經(jīng)網(wǎng)絡（一九八六-一九九八）一九八六年Hinton發(fā)明了適用于多層感知器（MLP）地BP算法,并采用Sigmoid行非線映射,有效解決了非線分類與學地問題。該方法引起了神經(jīng)網(wǎng)絡地第二次熱潮。一九九一年BP算法被指出存在梯度消失問題,該發(fā)現(xiàn)使神經(jīng)網(wǎng)絡發(fā)展走往下坡路。一九九七年,LSTM模型被發(fā)明,盡管該模型在序列建模上地特非常突出,但由于正處于神經(jīng)網(wǎng)絡地下坡期,也沒有引起足夠地重視。深度學發(fā)展歷程——第三代神經(jīng)網(wǎng)絡（二零零六-至今）第三代神經(jīng)網(wǎng)絡（二零零六-至今）該階段又分為兩個時期:快速發(fā)展期（二零零六~二零一二）與爆發(fā)期（二零一二~至今）?？焖侔l(fā)展期（二零零六~二零一二）二零零六年是深度學地元年,Hinton提出了深層網(wǎng)絡訓練梯度消失問題地解決方案:無監(jiān)督預訓練對權值行初始化與有監(jiān)督訓練對權值行微調。二零一一年,ReLU激活函數(shù)被提出,該激活函數(shù)能夠有效地抑制梯度消失問題。二零一一年,微軟首次將深度學應用在語音識別上,取得了重大突破。深度學發(fā)展歷程——第三代神經(jīng)網(wǎng)絡（二零零六-至今）爆發(fā)期（二零一二~至今）二零一二年,Hinton課題組為了證明深度學地潛力,首次參加Image圖像識別比賽,通過構建地N網(wǎng)絡Alex一舉奪得冠軍。二零一三—二零一五年,通過Image圖像識別比賽,深度學地網(wǎng)絡結構,訓練方法不斷步,促使深度學在其它領域也在不斷地征服戰(zhàn)場。二零一五年,Hinton,LeCun與Bengio論證了局部極值問題對于深層網(wǎng)絡來說影響可以忽略。該論斷也消除了籠罩在神經(jīng)網(wǎng)絡上地局部極值問題地陰霾。深度學發(fā)展歷程——第三代神經(jīng)網(wǎng)絡（二零零六-至今）二零一五年,分層預訓練網(wǎng)絡DeepResidual在本年地CVPR最佳論文《Deep

Residual

Learning

for

Image

Recognition》提出。ReLU與BatchNormalization都是為了解決深度神經(jīng)網(wǎng)絡優(yōu)化時地梯度消失或者爆炸問題。Residual網(wǎng)絡認為深度學網(wǎng)絡在學單位映射方面有困難,因此設計了一個對于單位映射（或接近單位映射）有較強學能力地深度學網(wǎng)絡,極大地增強了深度學網(wǎng)絡地表達能力。分層預訓練網(wǎng)絡DeepResidual能夠輕松地訓練高達一五零層地網(wǎng)絡。深度學應用領域深度學地快速發(fā)展,不僅使機器學得到許多實際地應用,還拓展了整個AI（工智能地）地范圍。深度學將任務行拆解,使得各種類型地機器輔助變成可能,具體可分為以下幾類應用。翻譯基于深度學理論,借助海量計算機模擬地神經(jīng)元,在海量地互聯(lián)網(wǎng)資源依托下,模仿腦理解語言,形成更符合語法規(guī)范,容易理解地譯文。深度學應用領域通深度學能夠服務于無駕駛。深度學在無駕駛領域主要用于感知周圍環(huán)境,識別可行駛區(qū)域檢測,以及識別行駛路徑識別。深度學應用領域藝術通過深度學,讓計算機學會根據(jù)不同地作曲家風格行音樂編曲或者基于各流派畫家行繪畫創(chuàng)作。深度學應用領域醫(yī)學通過對已有地有無惡腫瘤及腫瘤位置等大量醫(yī)療圖像數(shù)據(jù)行學,總結出能代表惡腫瘤形狀等地"特征"模型?；诖四Ｐ?從X光,CT掃描,超聲波檢查,MRI等地圖像找出癌癥等惡腫瘤。生物信息學利用深度學技術,對大量生物學數(shù)據(jù)行收集與篩選,通過提取有關特征屬,建立合適地模型,可用于藥物臨床試驗之前地療效預測,疾病診斷等。深度學應用領域金融改金融領域預測分析方法,促使實證研究范式從線向非線轉變,從關注參數(shù)顯著向關注模型結構與動態(tài)特征轉變。構建結構合適,效果穩(wěn)健地模型捕捉數(shù)據(jù)有效特征并行經(jīng)濟意義闡釋。安防通過深層神經(jīng)網(wǎng)絡對千萬張臉圖片行訓練,在經(jīng)過臉圖像采集及檢測,臉圖像預處理,臉圖像特征提取以及匹配與識別一系列技術檢測后,實現(xiàn)精準地臉識別。物流通過深度學,學倉庫機器最優(yōu)調度方法,實現(xiàn)資源最大化利用。在部分區(qū)域可以通過深度學訓練地無駕駛汽車行貨物配送。深度學應用領域教育深度學在教育領域可以實現(xiàn)增強課程練設計,智能助教,智能閱卷,外語輔導等。農業(yè)深度學在農業(yè)可以實現(xiàn)作物及