第三章

卷積網絡第一節卷積層從全連接到卷積全連接網絡適合處理表格數據，其中行對應樣本，列對應特征表格數據更適合建模特征之間的交互當數據中有先驗結構時，全連接網絡可能不適合示例：圖像數據由二維像素網格組成，將圖像數據展平成一維向量，再將數據送入一個全連接網絡忽略了每個圖像的空間結構信息，即左右相鄰像素之間的相關性卷積網絡是一種專門用來處理具有類似網格結構的數據的神經網絡能夠更好地處理數據中的空間結構示例：圖像卷積神經網絡的核心思想是利用卷積操作來提取輸入數據的特征，它由多個卷積層、池化層和全連接層組成3.1卷積層卷積運算示例輸入數據為4×4大小的矩陣，卷積核為2×2大小的矩陣，輸出為2×2大小的矩陣。一般使用（寬度，高度）表示輸入數據、卷積核和輸出數據的大小。在本示例中，輸入特征圖大小為(4,4)，卷積核和輸出特征圖大小為(2,2)。3.1.1

卷積運算下圖為步幅等于1的卷積運算結果，其中卷積核大小為2×2，輸入特征圖大小為5×5，輸出特征圖大小為4×4，輸出特征圖左上角元素0為輸入特征圖左上角2×2區域的四個元素(0，0，0，0)與卷積核的卷積運算結果；將窗口向右移動一個元素，得到由元素(0，0，0，1)構成的2×2區域，與卷積核做卷積運算，即0×0+0×1+0×2+1×3，得到輸出特征圖第一行第二列的元素為3，以此類推，可以得到輸出特征圖的其它元素。步幅大小影響輸出特征圖的大小，一般而言，步幅越大，輸出特征圖越小。3.1.1

卷積運算步幅=1的卷積計算過程

3.1.1

卷積運算3.1.1

卷積網絡：PyTorch實現importtorchimporttorch.nnasnnm=nn.Conv2d(16,33,3,stride=2)m=nn.Conv2d(16,33,(3,5),stride=(2,1),padding=(4,2))m=nn.Conv2d(16,33,(3,5),stride=(2,1),padding=(4,2),dilation=(3,1))input=torch.randn(20,16,50,100)output=m(input)in_channels：輸入通道數；out_channels：輸出通道數；kernel_size：卷積核大小，例如kernel_size=3表示3×3大小的卷積核，kernel_size=(3,5)表示3×5大小的卷積核；

stride：步幅，默認為1；padding：填充，填充位置包括圖像的上下左右，例如padding=1使得32×32大小的圖像填充為34×34，即上下各填充一行，左右各填充一列。默認設置為0，表示不填充；

dilation：卷積核中一個元素到相鄰元素需要走過的距離，默認為1，大于1時表示使用空洞卷積，空洞卷積將在第3.2.2節介紹；groups：分組卷積中的組數，將在第3.2.3節介紹；bias：偏置，默認設置下使用偏置；padding_mode、device、dtype：使用默認設置即可。torch.nn.Conv2d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,

groups=1,bias=True,padding_mode='zeros',device=None,dtype=None)卷積的三個重要思想局部連接權重共享平移不變性3.1.2

卷積的特點每個輸出神經元只與輸入數據的一個小區域相關，而不是與整個輸入數據相關，即每個輸出神經元只與部分輸入神經元相連接，我們稱該特性為局部連接。當卷積核遠小于輸入時，輸出和輸入之間的連接是稀疏的與全連接網絡的全連接層相比，局部連接可以大幅減少網絡的參數量，從而降低模型的訓練難度，提高模型的泛化能力全連接

卷積3.1.2

卷積的特點-局部連接直觀解釋：當處理圖像時，輸入的圖像可能有百萬個像素點，但我們可以通過很小的卷積核來探測一些小的有意義的局部特征人臉識別，眼睛、鼻子、嘴巴等局部特征例如識別一張圖像中是否包含一只鳥，我們往往會尋找圖像中是否包含鳥嘴、鳥爪等顯著特征，即重點關注圖像的局部區域。卷積網絡中，輸出與輸入之間的卷積映射對所有輸出共享相同的參數，即每一層只使用一個卷積核以識別圖像中的鳥為例，可以將卷積核看作是過濾器，使用該過濾器掃描圖像的每個區域，檢測是否有鳥嘴、鳥爪等顯著特征。過濾器的參數不隨掃描區域的變化而變化權重共享減少網絡的參數量降低網絡的訓練難度降低模型復雜度，防止過擬合，提高模型泛化能力3.1.2

卷積的特點-權重共享平移不變性是指當輸入數據發生移動時，卷積操作的輸出也會相應地移動等變表示：先卷積，再移動=先移動，再卷積當圖像發生平移變換，卷積后的特征圖也發生對應的平移變換以識別圖像中的鳥為例，鳥嘴可能位于圖像的不同位置，但不管位于什么位置，我們都希望卷積核可以對其正確識別3.1.2

卷積的特點-平移不變性在數學中，兩個函數之間的“卷積”被定義為一種積分變換卷積運算通常用星號表示在卷積神經網絡的術語中，第一個參數（在這個例子中，函數f）叫做輸入，第二個參數（函數w）叫做卷積核，輸出有時被稱作特征映射表示函數f和g的“疊加”程度在深度學習中，我們通常使用離散卷積而不是連續卷積作為一種強大的數學工具，卷積在深度學習領域具有廣泛應用，它可以幫助我們從數據中提取有用的特征，并減少計算量3.1.2卷積的數學性《深度學習》張敬林南開大學

人工智能學院第三章

卷積網絡第二節其它卷積類型上一節主要介紹了基本卷積運算，除此之外，針對不同任務會有其它類型的卷積相匹配。本小節將介紹幾種典型的卷積：轉置卷積空洞卷積分組卷積可分離卷積3.2其他卷積類型定義：轉置卷積，又稱反卷積或上采樣卷積，通常用于將特征圖恢復到原始輸入大小，或者將特征圖從低分辨率映射到高分辨率，后者稱為上采樣。轉置卷積運算示意圖轉置卷積工作原理：與標準卷積類似，但在進行卷積操作之前需要對輸入數據進行填充。如圖所示,原始輸入特征圖大小為2×2，填充之后，將特征圖擴大到6×6，然后與3×3大小的卷積核進行卷積運算，其中步幅設置為1，得到4×4大小的輸出特征圖。因此，轉置卷積將2×2大小的輸入特征圖轉化為4×4大小的輸出特征圖，從而完成上采樣。在與卷積核進行卷積運算時，轉置卷積首先需要對卷積核進行轉置，即翻轉180度，轉置卷積中的卷積核一般是上一層中進行標準卷積運算的卷積核。轉置卷積應用場景：圖像處理任務：對特征圖進行上采樣，如圖像分割、圖像生成圖像分割任務：實現像素級的分類或高精度的分割任務圖像生成任務：將低分辨率的特征圖上采樣至高分辨率的特征圖，以幫助生成更加真實且富含細節的圖像上采樣圖像分割轉置卷積：PyTorch實現定義：空洞卷積通過在卷積核中插入空洞或在輸入特征圖中加入跳躍的采樣間隔來擴展卷積操作的感受野，而無需增加額外的參數量。感受野可以理解為卷積核能夠覆蓋的區域范圍。常規感受野示例空洞卷積示例3.2.1空洞卷積空洞卷積的優缺點空洞卷積的優勢：擴大感受野，在不顯著增加參數量和計算負擔的前提下，使得卷積核可以覆蓋更大的輸入區域。卷積核大小為3，空洞率為2的空洞卷積感受野示例空洞卷積的缺陷：1、空洞卷積通過在卷積核中插入空洞來擴大感受野范圍，但這會導致卷積運算時跳過一些輸入特征圖的像素。這種跳躍可能丟失細節信息。2、可能導致網格效應，即由于跳過輸入像素從而在輸出特征圖上形成網格狀的偽影，這種效應會影響特征圖的平滑性和一致性，進而影響模型的性能?？斩淳矸e：PyTorch實現定義：分組卷積是指將輸入特征圖按通道分成若干個組，每一組執行常規的卷積操作，最后將各組的結果合并，形成最終的輸出特征圖。如果輸入特征圖的通道數為C，分成G組，那么每一組含有C/G個通道。分組卷積示例，G=23.2.3分組卷積分組卷積的特點分組卷積減少模型參數量，一般來說，當分為G個組時，模型參數量可以減少到不分組時的1/G。節省計算資源，加快模型訓練速度。分組卷積的應用場景廣泛應用于各種輕量化模型：如手機等移動設備中的深度模型，用于在資源受限的情況下減少運算量和參數量。提取多種不同特征表示：每個小組內的卷積操作可以學習到不同的特征，從而增加網絡的表征能力和對不同特征的感知能力。分組卷積：PyTorch實現定義：空間可分離卷積在寬度和高度兩個維度對卷積運算進行簡化。具體來說，該方法將二維卷積分解成兩個一維卷積操作，分別在水平方向和垂直方向進行卷積運算。3.2.4可分離卷積(a)標準卷積(b)空間可分離卷積

3.2.4可分離卷積(a)分組卷積(b)1×1卷積可分離卷積：PyTorch實現《深度學習》張敬林南開大學

人工智能學院第三章

卷積網絡第三節池化層池化（pooling）層（也叫匯聚層）：使用某一位置的相鄰元素的總體統計特征來作為該位置的輸出最大池化（maxpooling）：輸出相鄰矩形區域內的最大值平均池化（averagepooling）：輸出相鄰矩形區域內的平均值與卷積層類似，池化層也是作用于輸入的局部區域（局部連接）與卷積層不同的是，池化層不包含參數，不需要學習3.3池化層示例：池化窗口為(2,2)，步幅為(2,2)默認情況下，池化層的步幅與池化窗口的大小相同。因此，如果使用大小為(2,2)的池化窗口，那么默認情況下，我們得到的步幅為(2,2)，保證相鄰的池化窗口沒有交集，每個輸入元素只作用一次池化操作最大池化

平均池化

3.3池化層定義：平均池化對池化區域內的元素值計算平均值。大小為2×2的池化核，將池化核以長度為2的步幅在輸入特征圖上滑動，滑動過程中覆蓋到的輸入區域即為池化區域，對每個池化區域內的元素值計算平均作為該區域的輸出。3.3.1平均池化平均池化特點：減少模型參數量池化操作會縮小特征圖的大小，從而減少后續卷積層的參數量和計算量，提高模型的效率和運行速度。提取平均特征平均池化操作提取了每個區域的平均特征值，有助于保留圖像的整體結構信息，同時減小噪聲的影響。降低過擬合風險平均池化操作可以減少模型的參數量，降低模型的復雜度，因此能夠降低過擬合的風險。定義：將平均池化操作中對池化區域內的元素值計算最大值。大小為2×2的池化核，將池化核以長度為2的步幅在輸入特征圖上滑動，滑動過程中覆蓋到的輸入區域即為池化區域，對每個池化區域內的元素值計算最大值作為該區域的輸出。3.3.2

最大池化最大池化特點：減少模型參數量與平均池化類似，最大池化也可以減少模型的參數量和計算量。提取顯著特征最大池化操作通過計算最大值提取了每個池化區域內的最顯著特征，利用這些特征對圖像分類、使目標檢測等任務具有重要意義。平移不變性最大池化中的計算最大值操作對輸入的平移等變換具備一定的不變性。降低過擬合風險最大池化應用場景特點特征突出性要求高平移不變性要求高輕量級模型設計平均池化應用場景特點特征平滑性要求高

輕量級模型設計3.3.3最大池化和平均池化的區別平均池化和最大池化：PyTorch實現《深度學習》張敬林南開大學

人工智能學院第三章

卷積網絡第四節卷積層與全連接層比較連接密集度：全連接層構成一個密集連接結構，卷積層構成稀疏連接結構參數共享情況：全連接層中的每條邊都有自己的連接權重，而卷積層的卷積核處理不同輸入區域時使用相同的權重。模型復雜度：卷積層的參數量遠小于全連接層，從而使得卷積層的復雜度更低。特征提取能力：卷積操作能夠更好地提取輸入數據中的空間信息、局部特征以及不同層次的特征。而全連接層側重于提取全局特征。輸出形狀：卷積層的輸出通常是一個或者多個特征圖，而全連接層的輸出是一個一維向量。3.4卷積層與全連接層比較《深度學習》張敬林南開大學

人工智能學院第三章

卷積網絡第五節經典網絡結構LeNet：最早發布的卷積神經網絡之一，由YannLeCun提出，目的是識別圖像中的手寫數字兩個卷積塊和三個全連接層每個卷積塊包含一個卷積層，一個sigmoid激活函數（ReLU在那時還沒出現），和一個平均池化層每一層的高度和寬度在減小，通道數在增加6個通道28*28輸入5*5卷積核上下左右每側填充228*28輸出6個通道28*28輸入2*2平均池化2*2步幅14*14輸出16個通道14*14輸入5*5卷積核無填充10*10輸出16個通道10*10輸入2*2平均池化2*2步幅5*5輸出將5*5*16維張量拉成400維向量120*8484*103.5.1經典卷積網絡結構：LeNetLeNet特點卷積和池化結構

LeNet首次將卷積和池化操作應用于圖像識別任務中，這種結構有助于提取圖像的局部特征，從而降低網絡的參數數量激活函數

LeNet使用Sigmoid作為激活函數。Sigmoid是當時流行的激活函數，但相較于現在常用的ReLU激活函數，Sigmoid激活函數會導致梯度消失，使得模型訓練緩慢全連接LeNet也包含全連接層，用于將卷積層提取的特征信息映射到類別空間，實現分類3.5.1經典卷積網絡結構：LeNetAlexNet由AlexKrizhevsky、IlyaSutskever和圖靈獎得主GeoffreyHinton于2012年提出在ImageNet挑戰賽上以巨大優勢獲得冠軍，標志著深度學習時代的來臨AlexNet由5個卷積層、3個池化層和3個全連接層組成3.5.2經典卷積網絡結構：AlexNetAlexNet特點更深的網絡結構ReLU激活函數局部響應歸一化Dropout數據增強使用GPUVGG由英國牛津大學的計算機視覺幾何組提出，在2014年的大型視覺識別挑戰賽中取得了優異的成績VGG網絡中的每個卷積層都使用了3×3的小卷積核，步幅為1，填充為1，從而使得輸入特征圖和輸出特征圖的大小保持一致。在卷積層之后使用窗口大小為2×2、步幅為2的最大池化層，以縮小特征圖大小。最后，使用全連接層將前面各層提取的特征信息映射到類別空間，進行分類。3.5.3經典卷積網絡結構：VGGVGG網絡結構VGG網絡結構特點：更深的網絡結構：VGG網絡非常深，VGG16有16層，VGG19有19層，更深的網絡結構有助于提取更加豐富和復雜的特征。小尺寸的卷積核：VGG網絡采用了3×3小尺寸卷積核，網絡結構非常規整，并且可以通過多層卷積來模擬更大范圍的感受野，提高網絡的表征能力。重復堆疊：VGG網絡使用了大量的重復結構，每個重復的VGG塊都由連續的幾個卷積層和一個池化層組成，這種設計簡單而有效，易于理解和復現。3.5.3經典卷積網絡結構：VGGGoogleNet，也叫作InceptionV1網絡，由GoogleResearch團隊于2014