第十章深度學習大數據管理與應用——主編：王剛副主編：劉婧、邵臻近年來，深度學習在學術界和產業界都取得了極大的成功，它是實現人工智能系統的重要方法。在本章中您將了解深度學習的發展歷程及基本概念；學習不同種類的深度學習模型和方法，包括深度前饋網絡、卷積神經網絡、循環神經網絡等；討論深度學習在實際生活和生產中的應用。深度學習概述神經網絡深度前饋網絡卷積神經網絡循環神經網絡第十章深度學習01深度學習概述02神經網絡03深度前饋網絡04卷積神經網絡05循環神經網絡人工智能（ArtificialIntelligence，AI）的目的是讓機器完成人類的智能工作，例如推理、規劃和學習等。AI中有許多方法，如專家系統（ExpertSystems）和機器學習（MachineLearning，ML）。機器學習是AI的重要領域，其目的是讓機器從訓練數據中自動學習和進步，例如通過輸入大量棋譜，讓機器學會如何下棋。機器學習又包括多種方法，如決策樹、支持向量機和深度學習。深度學習是目前最熱門的機器學習方法，它在諸多問題上表現最佳，尤其是在數據量足夠多的情況下。深度學習的主要目標是用一種“深度”的模型完成機器學習，使用這種有“深度”的模型自動學習出原始數據的特征表示，從而削減甚至消除人為特征工程的工作量。1.1深度學習概述圖10-1從人工智能到深度學習所謂“深度”是指將原始數據進行非線性特征轉換的次數。如果將一個學習系統看作一個有向圖結構，“深度”也可以指數據在系統中從輸入到輸出走過的最長路徑。神經網絡模型是目前深度學習采用的主要模型，因此，可以將其簡單地看成神經網絡的層數。一般超過一層的神經網絡模型都可以看作深度學習模型，但實際上，隨著深度學習的快速發展，神經網絡的層數已經從早期的5-10層增加到了目前的上千層。一般認為，深度學習到目前為止共經歷了3次浪潮：20世紀40年代到60年代，深度學習的雛形出現在控制論（Cybernetics）中；20世紀80年代到90年代，深度學習以連接主義（Connectionism）的形式出現；2006年以深度學習之名復興。總之，深度學習的演變趨勢可以總結如下：深度學習并不是一個新興的概念，其有著悠久的歷史，只是隨著許多哲學觀點的逐漸消逝，其名稱也漸漸被塵封。隨著互聯網技術的發展，可用的訓練數據量不斷增加，深度學習也變得更加有用。隨著計算機軟硬件基礎設施的改善，深度學習模型的規模也隨之增長。隨著時間的推移，深度學習已經可以解決日益復雜的問題，并且精度在不斷提升。1.1深度學習概述生物神經網絡（BiologicalNeuralNetworks）一般指生物的大腦神經元、細胞、觸點等組成的網絡，用于產生生物的意識，幫助生物進行思考和行動。以人類大腦為例，作為人體最復雜的器官，人類大腦由神經元、神經膠質細胞、神經干細胞和血小板組成。神經元（Neuron），也叫神經細胞（NerveCell），是攜帶和傳輸信息的細胞，是人腦神經系統中最基本的結構和功能單位。典型的神經元結構分為細胞體和突起兩部分：細胞體由細胞核、細胞膜、細胞質組成，具有聯絡和整合輸入信息并傳出信息的作用。突起樹突短而分枝多，直接由細胞體擴張突出，形成樹枝狀，其作用是接受其他神經元軸突傳來的沖動并傳給細胞體；軸突長而分枝少，為粗細均勻的細長突起，常起于軸丘，其作用是接受外來刺激，再由細胞體傳出。2.1生物神經網絡圖10-2典型的神經元結構人工神經網絡由多個節點（神經元）互相連接而成，可以用來對數據之間的復雜關系進行建模。圖10-3中的橙色圈表示人工神經網絡中的神經元，神經元內部可以對輸入神經元的信息進行一定地處理，類似于生物神經網絡中的細胞體對其接收到的信息進行綜合處理。不同節點之間的連接被賦予不同的權重，每個權重代表了一個節點對另一個節點的影響大小。圖10-3中的黑色箭頭表示不同神經元之間的連接，不同的連接被賦予不同的權重，類似于生物神經網絡中在不同的神經元之間傳遞信息的突觸，突觸之間有不同的“連接強度”。在生物神經網絡中，當細胞體接收到的累加刺激超過一定閾值時，該神經元被激活，并向其他神經元傳遞信息。在人工神經網絡中，不同的輸入結合不同的連接權重，被輸入給神經元進行處理，神經元內部首先對不同的輸入和相應的權重進行計算，得到累加輸入（生物神經元中的累加刺激），該累加輸入再被傳遞給一個特殊函數，我們稱之為激活函數，得到一個新的活性值（興奮或抑制）。2.2人工神經網絡圖10-3神經網絡模型示例除了神經元的內部結構，各個神經元之間的連接規則（即網絡結構）也是人工神經網絡中至關重要的組成部分。到目前為止，研究者已經發明了多種神經網絡結構，常用的神經網絡結構主要有三種：前饋網絡、記憶網絡和圖網絡。前饋網絡：前饋網絡是指整個網絡中的信息朝一個方向傳播的神經網絡。記憶網絡：也稱為反饋網絡，網絡中的神經元不僅可以接收其他神經元的信息，也可以接收自己的歷史信息。圖網絡：圖網絡指的是定義在圖上的神經網絡。2.2人工神經網絡（a）前饋網絡（b）記憶網絡（c）圖網絡圖10-4三種不同的網絡結構人腦神經網絡有很強的學習能力，因此，人的智力和記憶能力可以通過后天的學習和訓練得到提升。但是，事實上，早期的神經網絡模型并不具備學習能力。首個可學習的人工神經網絡是采用一種基于赫布規則的無監督學習方法的網絡，稱為赫布網絡。感知機是最早的具有機器學習思想的神經網絡，但其學習方法無法擴展到多層神經網絡上。直到20世紀80年代，反向傳播算法才有效地解決了多層神經網絡的學習問題，并成為直到今天都廣為應用的神經網絡學習算法。總體來看，人工神經網絡的發展經歷了興起、低潮、復興、再低潮、崛起五個階段。第一階段1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網絡的數學模型。該模型由可以執行簡單邏輯運算的神經元組成，稱為MP模型，至此，人工神經網絡研究的時代被開啟。1948年，AlanTuring提出了一種可以基于Hebbian法則進行學習的“B型圖靈機”。1949年，心理學家提出了突觸聯系強度可變的設想。1951年，McCulloch和Pitts的學生MarvinMinsky建造了第一臺神經網絡機SNARC。1958年，Rosenblatt提出了一種可以模擬人類感知能力的神經網絡模型，稱為感知機（Perceptron），并提出了接近人類學習過程（試錯、迭代）的學習算法。60年代，人工神經網絡得到了進一步發展，提出了更完善的神經網絡模型，包括自適應線性元件等。第二階段M.Minsky等仔細分析了以感知器為代表的神經網絡系統的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決“異或”問題。他們的論點極大地影響了神經網絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經網絡的研究處于低潮。也有說法認為除了感知機本身的局限外，另一個導致神經網絡進入低潮期的原因是當時的計算機不具備訓練大型神經網絡所需的計算能力。2.3人工神經網絡的發展歷程第三階段1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了“計算能量”概念，給出了網絡穩定性判斷。1984年，他又提出了連續時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創了神經網絡用于聯想記憶和優化計算的新途徑，有力地推動了神經網絡的研究。1985年，有學者提出了玻耳茲曼模型，在學習中采用統計熱力學模擬退火技術，以保證整個系統趨于全局穩定點。1986年有研究者進行了認知微觀結構的研究，提出了分布式并行處理的理論。1986年，Rumelhart，Hinton，Williams發展了BP算法。1988年，Linsker對感知機網絡提出了新的自組織理論，并在Shanon信息論的基礎上形成了最大互信息理論，從而點燃了基于神經網絡的信息應用理論的光芒。1988年，Broomhead和Lowe用徑向基函數（Radialbasisfunction，RBF）提出了分層網絡的設計方法，從而將神經網絡的設計與數值分析和線性適應濾波相掛鉤。第四階段在該階段，機器學習領域的支持向量機和線性分類器等方法的流行掩蓋了神經網絡的光芒。雖然神經網絡可以通過增加神經元的數量、網絡的層數很容易地構造更復雜的網絡，但是更復雜的網絡也意味著更大的計算開銷。相比之下，機器學習領域的支持向量機、線性分類器等方法的計算開銷要小得多。因此，20世紀90年代中期，機器學習模型開始興起，神經網絡則因為種種原因再一次進入低潮期。第五階段自2006年Hinton等人通過逐層預訓練來學習一個深度信念網絡，并將其權重作為一個多層前饋神經網絡的初始化權重，再用反向傳播算法進行精調開始，研究者就逐漸掌握了訓練深層神經網絡的方法，使得神經網絡重新崛起。這種“預訓練+精調”的方式可以有效地解決深度神經網絡難以訓練的問題。隨著深度神經網絡在語音識別、圖像分類等任務上的成功，以神經網絡為基礎的深度學習迅速崛起。2.3人工神經網絡的發展歷程一般而言，每個神經元有多個輸入（輸入的個數可以根據需求自己設定），一個輸出（如果需要多個輸出，可使用多個神經元），以及兩類參數：權重神經元的每個輸入都會有一個權重（由于神經網絡設計的靈活性，有時也可以在多個輸入之間共享權重），可以認為該權重表示相應輸入的重要程度。權重一般是實數，可以為正數也可以為負數。偏置每個神經元中，在對輸入加權平均之后，一般都會加入一個偏置，可以將其看作線性函數中的常數項。當然，偏置有時也可以省略。3.1神經元圖10-5經典神經元結構非線性激活函數在神經網絡中是必要的，因為如果只在神經元中使用加權平均計算，神經元的輸出是輸入的線性函數，而線性函數之間的嵌套仍然是線性函數。因此如果沒有非線性激活函數，不管一個神經網絡由多少個神經元組成，該神經網絡的輸出都是線性的，完全等價于一個神經元的效果，這就失去了使用多個神經元的意義。如圖10-6所示，線性神經網絡完全等價于線性神經元。3.2激活函數（a）（b）圖10-6線性神經網絡等價于線性神經元神經網絡的激活函數有Sigmoid型函數、ReLU函數、Swish函數、GELU函數、Maxout單元等，最常用的包括Sigmoid型函數和ReLU函數。Sigmoid型函數Logistic函數Tanh函數ReLU函數3.2激活函數圖10-7Logistic函數和Tanh函數圖像

3.3前饋神經網絡圖10-8多層前饋神經網絡策略二分類損失函數多分類損失函數回歸問題損失函數算法搭建網絡模型，初始化參數；根據訓練數據的輸入和驗證數據的輸入計算相應的輸出；根據輸出與真實值計算損失；將訓練數據的損失反向傳播，根據損失下降的方向，調整參數；重復第二步，直到驗證集數據的損失不再下降，或迭代次數達到設置的上限。3.3前饋神經網絡在訓練神經網絡時，當首次根據訓練數據的輸入得到網絡輸出時，需要將網絡輸出與真實值比較，得到損失值（本節用LOSS表示）。當損失值較大且不符合要求時，需要一種方法優化參數，使得損失減小。早期的調整方法是隨機調整參數，重新計算損失，該方法是比較低效的。如果損失減少，保留調整后的參數，如果沒有減少，則保留調整前的參數。目前通常采用梯度下降的方法調整參數。梯度下降（GradientDescent，GD）指通過求偏導數確定哪個調整參數的方向是“最能使損失減少的方向”，并將參數沿著該方向移動一小步。這個過程就像下山，沿著坡度最陡的方向下山可以最快到達山腳。3.4梯度下降

3.5反向傳播算法

3.5反向傳播算法

3.6梯度消失和梯度爆炸卷積卷積（Convolution）是分析數學中一種重要的運算，在信號處理中經常使用一維或二維卷積，圖像處理中使用的通常是二維或三維卷積。若將一幅圖像簡單地看成二維結構，一般使用二維卷積；當一張圖片有多個通道時（如用RGB表示一張彩色圖像），則通常使用三維卷積。4.1卷積與互相關為了對二維卷積和三維卷積的運算過程有更直觀的認識和理解，下面舉例說明。定義一個像素矩陣（如圖10-9（a）所示）和一個3*3的卷積核（如圖10-9（b）所示），該卷積核是一個對稱矩陣，因此省略了卷積計算中卷積翻轉的步驟。4.1卷積與互相關（a）(b)

圖10-9待計算的像素矩陣與卷積核圖10-10卷積運算圖10-11圖10-9（a）與圖10-9（b）卷積運算結果4.1卷積與互相關圖10-12三維卷積計算過程示意

4.1卷積與互相關

4.2池化（匯聚）

4.3外襯與步長卷積神經網絡模型概述全連接指每一層的每一個神經元都與前一層的每一個神經元有連接，且每個連接都有各自的權重。卷積神經網絡的本質就是用卷積代替全連接，卷積核相當于全連接中的權重。與全連接前饋神經網絡相似，在卷積操作之后也可以加入激活函數。由卷積的定義及其計算方法可以發現，每一個卷積核的每一次操作只與輸入數據中的一部分數據進行計算，且每一個卷積核在整個輸入數據集上是一樣的，這體現了卷積的兩個重要特征，即局部連接和權重共享。4.4卷積網絡的結構與運作圖10-13卷積神經網絡的經典結構

4.4卷積網絡的結構與運作本部分以手寫數字的識別為例（判斷圖像中的手寫數字是0-9中的哪一個），闡述基于卷積神經網絡模型對樣本進行預測的運作過程。在圖像處理中，卷積經常作為特征提取的有效方法，可用于識別圖像的紋理和形狀，而不同的卷積可用于識別不同的目標。因此，本例中會使用多個卷積核處理圖像。4.4卷積網絡的結構與運作圖10-14卷積神經網絡運作過程舉例

5.1循環神經網絡圖10-15循環神經網絡

5.2簡單的循環神經網絡圖10-16按時間展開的簡單循環神經網絡由于梯度消失和梯度爆炸問題，簡單循環網絡只能記憶較短時間內的歷史狀態，不能建立長時間間隔狀態之間的依賴關系（長程依賴問題）。為了解決這一問題，比較好的辦法是選取合適的參數、采用非飽和的激活函數的同時，引入門控機制。門控機制的作用是控制信息的積累速度（有選擇地記憶新的信息，且有選擇地遺忘舊的信息）。這類網絡叫作基于門控的循環神經網絡（Gat