Python數據挖掘與機器學習第9章神經網絡與深度學習第8章聚類本章內容神經網絡基礎BP神經網絡深度學習10十一月20242第

9章神經網絡與深度學習3神經網絡基礎神經網絡（NeuralNetwork）最早由心理學家和神經學家開創，旨在尋求開發和檢驗神經的計算模擬。它是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能模擬生物神經系統對真實世界物體所作出的交互反應。今天的“神經網絡”已是一個相當大的、多學科交叉的學科領域。神經網絡可以用于分類（預測給定元組的類標號）和數值預測（預測連續值輸出）等。人工神經元（簡稱神經元）是神經網絡的基本組成單元，它是對生物神經元的模擬、抽象和簡化。現代神經生物學的研究表明，生物神經元是由細胞體、樹突和軸突組成的。通常一個神經元包含一個細胞體和一條軸突，但有一個至多個樹突。

7.1.1神經元4生物神經元第9章神經網絡與深度學習5

1神經元模型神經網絡中最基本的成分是神經元（Neuron）模型。生物神經網絡中的每個神經元彼此互連，當它“興奮”時，就會向相連的神經元發送化學物質，從而改變這些神經元內的電位。如果某神經元的電位超過一個閾值，它就會被激活，即“興奮”起來，向其他神經元發送化學物質。1943年，美國心理學家麥卡洛克(McCulloch)和數學家皮特斯（Pitts）按照生物神經元的結構和工作原理建立了M-P模型。第9章神經網絡與深度學習61神經元模型在M-P模型中，為了使得建模更加簡單，以便于進行形式化表達，忽略時間整合作用、不應期等復雜因素，并把神經元的突觸時延和強度當成常數。

第9章神經網絡與深度學習7第9章神經網絡與深度學習8由于累加性，對全部輸入信號進行累加整合，相當于生物神經元中的膜電位，其值為：第9章神經網絡與深度學習9第9章神經網絡與深度學習2感知機與多層網絡感知器(Perceptron)由兩層神經元組成，如圖9-3所示。這個結構非常簡單，它其實就是輸入輸出兩層神經元之間的簡單連接。10十一月202410第9章神經網絡與深度學習10十一月202411感知機（Perceptron）1957年由Rosenblatt提出，是神經網絡與支持向量機的基礎；輸入為特征向量，輸出為實例的類別，取+1和-1；感知機對應于輸入空間中將實例劃分為正負兩類的超平面，屬于判別模型；導入基于誤分類的損失函數；利用梯度下降法對損失函數進行極小化；感知機學習算法具有簡單而易于實現的優點，分為原始形式和對偶形式。

7.1.1神經元12第9章神經網絡與深度學習

7.1.1神經元13步數操作123重復第2步，直到沒有誤分類點第9章神經網絡與深度學習用神經網絡來模擬邏輯代數中的異或運算7.1.2神經網絡14第9章神經網絡與深度學習用神經網絡來模擬邏輯代數中的異或運算代表異或運算的點是線性不可分的，因此無法用感知機模擬，此時可以將三個分布模擬與非、或和與運算的感知機連接在一起，共同完成異或運算。7.1.2神經網絡15第9章神經網絡與深度學習神經元模型在神經網絡中的畫法單個神經元只能劃分線性可分的二分類點。如果將神經元連接成神經網絡，則處理能力會大為增強，這也是神經網絡得到廣泛應用的原因。7.1.2神經網絡16第9章神經網絡與深度學習第9章神經網絡與深度學習要解決非線性可分問題需要使用多層感知器（多層網絡）來解決。多層感知機（MultilayerPerceptron，MLP）除了輸入輸出層，中間可以有多個隱層。最簡單的MLP只含一個隱層，即三層的結構。更一般的，常見的神經網絡是形如圖9.4所示的機構這樣的網絡結構通常稱為多層前饋神經網絡（Multi-layerFeedforwardNeuralNetworks）。10十一月202417第9章神經網絡與深度學習2BP神經網絡多層網絡的學習能力比單層感知機強很多，要訓練多層網絡，簡單的感知機學習規則顯然不夠，需要更強大的學習算法。誤差逆傳播（ErrorBackPropagation）算法就是學習算法中的杰出代表。現實任務中使用神經網絡時，大多是使用BP算法進行訓練。需要注意的是，BP算法不僅可以用于多層前饋神經網絡，還可以用于其他類型的神經網絡。通常說BP網絡時，常指利用BP算法訓練的多層前饋神經網絡。神經網絡可以用于分類（預測給定元組的類標號）和數值預測（預測連續值輸出）等。10十一月202418第9章神經網絡與深度學習多層前饋神經網絡由一個輸入層、一個或多個隱層和一個輸出層組成，如圖9-5所示。它利用后向傳播算法迭代地學習用于元組類標號預測的一組權重。10十一月202419第9章神經網絡與深度學習后向傳播算法后向傳播通過迭代地處理訓練元組數據集，把每個元組的網絡預測與實際已知的目標值相比較進行學習。對于每個訓練樣本，修改權重使得網絡預測和實際目標值之間的均方誤差最小。這種修改“后向”進行，即由輸出層，經由每個隱層到第一個隱藏層。BP算法的主要思想是把訓練過程分為兩個階段：1.第一階段（正向傳播過程）10十一月202420第9章神經網絡與深度學習2.第二階段（反向傳播過程）若在輸出層不能得到期望的輸出值，那么逐層遞歸地計算實際輸出與期望輸出的差值，以便根據差值調節權值。BP算法基于梯度下降（GradientDescent）策略，以目標的負梯度方向對參數進行調整。10十一月202421第9章神經網絡與深度學習10十一月202422第9章神經網絡與深度學習10十一月202423第9章神經網絡與深度學習10十一月202424第9章神經網絡與深度學習10十一月202425第9章神經網絡與深度學習【例9-1】利用后向傳播算法學習的樣本計算。圖9.6給出了一個多層前饋神經網絡，令學習率為0.9，第一個訓練元組為X={1,0,1}，類標號Y=1。計算每個單元的凈輸入和輸出。10十一月202426第9章神經網絡與深度學習（1）隨機初始化參數值如表9.1中的數值。（2）根據BP算法中的前饋過程，計算凈輸入和輸出的值，結果如表9.2所示。（3）計算每個結點的誤差，結果見表9.3。（4）更新權重和偏倚，結果見表9.4。10十一月202427第9章神經網絡與深度學習10十一月202428BP神經網絡具有簡單易行、計算量小和并行性強的有點，但也存在學習效率低、收斂速度慢等問題。BP神經網絡具體有點和缺點如表9-2所示。表9-2BP神經網絡的優缺點優點缺點（1）BP算法根據預設參數的更新規則不斷調整網絡中的參數，能夠自適應自主學習；（2）BP神經網絡具有很強的非線性映射能力；（3）誤差的反向傳播所采用的鏈式法則具有嚴謹的推導過程；（4）BP算法具有很強的泛化能力。（1）BP神經網絡參數眾多，每次迭代要更新眾多數量的參數，故收斂速度較慢；（2）網絡中隱層節點數目設定沒有明確的準則，只能通過實驗根據網絡誤差確定最終隱含層節點個數；（3）BP算法是一種快速的梯度下降算法，但對初始參數敏感且容易陷入局部極小值。3深度學習理論上來說，參數越多的模型復雜度越高、容量越大，這意味著它能完成更復雜的學習任務。但一般情形下，復雜模型的訓練效率低，易陷入過擬合。隨著云計算、大數據時代的到來，計算能力的大幅提高可以緩解訓練的低效性，訓練數據的大幅增加可以降低過擬合風險。因此，以深度學習（DeepLearning，DL）為代表的復雜模型受到了關注。10十一月2024293深度學習深度學習是機器學習領域中一個新的研究方向。它使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。深度學習是一類模式分析方法的統稱，就具體研究內容而言，主要涉及三類方法：（1）基于卷積運算的神經網絡系統，即卷積神經網絡（ConvolutionalNeuralNetwork，CNN）。（2）基于多層神經元的自編碼神經網絡，包括自編碼（AutoEncoder）以及近年來受到廣泛關注的稀疏編碼兩類（SparseCoding）。（3）以多層自編碼神經網絡的方式進行預訓練，進而結合鑒別信息進一步優化神經網絡權值的深度置信網絡（DBN）。10十一月2024303深度學習常用的深度學習算法常見的深度學習算法主要包括卷積神經網絡、循環神經網絡和生成對抗神經網絡（GenerativeAdversarialNetwork，GAN）等。這些算法是深度學習的基礎算法，在各種深度學習相關系統中均有不同程度的應用。10十一月2024313深度學習1.卷積神經網絡卷積神經網絡（ConvolutionalNeuralNetwork，CNN）是第一個被成功訓練的多層神經網絡結構，具有較強的容錯、自學習及并行處理能力。CNN最初是為識別二維圖像形狀而設計的多層感知器，局部聯結和權值共享網絡結構類似于生物神經網絡，降低神經網絡模型的復雜度，減少權值數量，使網絡對于輸入具備一定的不變性。經典的LeNet-5卷積神經網絡結構圖如圖9-7所示。10十一月2024323深度學習經典的LeNet-5卷積神經網絡包括了輸入層、卷積層、池化層、全連接層和輸出層。（1）輸入層（2）卷積層（3）池化層（4）全連接層（5）輸出層10十一月2024333深度學習循環神經網絡循環神經網絡（RecurrentNeuralNetwork,RNN）是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有結點（循環單元）按鏈式連接的遞歸神經網絡（RecursiveNeuralNetwork）。之所以是“循環”，是因為其中隱含層結點的輸出不僅取決于當前輸入值，還與上一次的輸入相關，即結點的輸出可以指向自身，進行循環遞歸運算，在處理時間序列相關的場景時效果明顯，在分析語音、視頻、天氣預報、股票走勢預測等方面具有突出優勢。10十一月2024343深度學習生成對抗網絡生成式對抗網絡（GenerativeAdversarialNetworks，GAN）是一種深度學習模型，是近年來復雜分布上無監督學習最具前景的方法之一。它解決的問題是從現有樣本中學習并創建出新的樣本，按照人類對事物的學習過程，逐漸總結規律，而并非使用大量數據訓練，所以在新的任務處理中，只需要少量的標記樣本就可以訓練出高效的分類器。GAN網絡模型通過生成模型（GenerativeModel）和判別模型（DiscriminativeModel）的互相博弈學習產生相當好的輸出。10十一月202435本章小結神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能模擬生物神經系統會真實世界物體所作出的交互反應

。在機器學習中談論神經網絡時一般指的是“神經網絡學習”。感知機感知器的概念類似于大腦基本處理單元神經元的工作原理。感知器具有許多輸入（通常稱為特征），這些輸入被饋送到產生一個二元輸出的線性單元中。因此，感知器可用于解決二元分類問題，其中樣本將被識別為屬于預定義的兩個類之一。BP算法基于梯度下降策略，以目標的負梯度方向對網絡參數進行調整。現實任務中使用神經網絡時，大多是使用BP算法進行訓練。BP算法不僅可以用于多層前饋神經網絡，還可以用于其他類型的神經網絡。通常所說的BP網絡指利用BP算法訓練的多層前饋神經網絡。10十一月202436深度學習的概念源于人工神經網絡的研究，含多個隱藏層的