任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)使用Vgg塊結(jié)構(gòu)構(gòu)建模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)搭建網(wǎng)絡(luò)模型，編寫(xiě)訓(xùn)練網(wǎng)絡(luò)函數(shù)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)知識(shí)點(diǎn)—讀取imagenet數(shù)據(jù)集人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)使用混合精度訓(xùn)練模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)構(gòu)建ResNet網(wǎng)路模型基本結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)知識(shí)點(diǎn)—構(gòu)建ResNet網(wǎng)絡(luò)塊結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)構(gòu)建ResNet網(wǎng)絡(luò)模型-全部層人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)構(gòu)建ResNet網(wǎng)絡(luò)模型-輸入層人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)知識(shí)點(diǎn)——構(gòu)建Vgg模型塊結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)VGG深度神經(jīng)網(wǎng)絡(luò)人工智能學(xué)院—任務(wù)導(dǎo)入01任務(wù)目標(biāo)02任務(wù)導(dǎo)學(xué)03任務(wù)知識(shí)點(diǎn)04任務(wù)總結(jié)05任務(wù)導(dǎo)入/01前面介紹了卷積神經(jīng)網(wǎng)絡(luò)，在此基礎(chǔ)上出現(xiàn)了很多經(jīng)典的現(xiàn)代深度卷積神經(jīng)網(wǎng)絡(luò)，例如VGG、GoogLeNet、ResNet、SSD、YOLO等，雖然深度神經(jīng)網(wǎng)絡(luò)的概念非常簡(jiǎn)單，將神經(jīng)網(wǎng)絡(luò)堆疊在一起。但由于不同的網(wǎng)絡(luò)架構(gòu)和超參數(shù)選擇，這些神經(jīng)網(wǎng)絡(luò)的性能會(huì)發(fā)生很大變化，本任務(wù)搭建深度數(shù)據(jù)網(wǎng)絡(luò)Resnet101，使用imageNet數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，最終完成圖片的分類(lèi)。任務(wù)導(dǎo)入任務(wù)目標(biāo)/02了解深度神經(jīng)網(wǎng)絡(luò)的基本原理了解VGG、ResNet網(wǎng)絡(luò)的結(jié)構(gòu)掌握殘差結(jié)構(gòu)的基本管理掌握殘差網(wǎng)絡(luò)的基本架構(gòu)掌握使用模型預(yù)訓(xùn)練模型的基本原理知識(shí)目標(biāo)能根據(jù)具體的要求搭建VGG、ResNet網(wǎng)絡(luò)模型理解混合精度訓(xùn)練、動(dòng)態(tài)分配GPU內(nèi)存訓(xùn)練的方法拓展能力能調(diào)用VGG、ResNet等深度神經(jīng)網(wǎng)絡(luò)模型能使用殘差模塊構(gòu)建殘差網(wǎng)絡(luò)能使用預(yù)訓(xùn)練模型訓(xùn)練深度殘差網(wǎng)絡(luò)能力目標(biāo)任務(wù)導(dǎo)學(xué)/032012年AlexNet使用了8層卷積神經(jīng)網(wǎng)絡(luò)，模型將特征提出分為三個(gè)部分，最底層的提取圖像顏色、紋理等基本特征，中層的提取類(lèi)似眼睛、鼻子、草葉等信息，更高層可以檢測(cè)整個(gè)物體。底層特征主要提取圖像的邊緣、顏色、線條等基本特征。?這些特征是圖像的基本屬性，?不涉及圖像的語(yǔ)義信息。?中層特征的提取則更加關(guān)注于圖像的局部和全局特征包括形狀、紋理等，?這些特征能夠反映圖像中的對(duì)象或場(chǎng)景的某些屬性?。高層特征則涉及到圖像的語(yǔ)義信息，?這些特征能夠反映圖像中是否存在某類(lèi)對(duì)象或場(chǎng)景。?任務(wù)導(dǎo)學(xué)深度卷積神經(jīng)網(wǎng)絡(luò)任務(wù)知識(shí)點(diǎn)/042014年VGG網(wǎng)絡(luò)誕生，采用更小的卷積核，網(wǎng)絡(luò)的層數(shù)達(dá)到19層，同時(shí)使用可復(fù)用的卷積塊構(gòu)造網(wǎng)絡(luò)，導(dǎo)致網(wǎng)絡(luò)定義的非常簡(jiǎn)潔。隨著AlexNet、VGG等網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)模型測(cè)層數(shù)越來(lái)越深理論上模型層數(shù)越多效果越好，但是在實(shí)際應(yīng)用中，隨著層數(shù)的增加，會(huì)產(chǎn)生梯度彌散和模型退化的問(wèn)題，這時(shí)誕生了深度殘差網(wǎng)絡(luò)RestNet，使用這種網(wǎng)絡(luò)可以訓(xùn)練出1202層的超深層次網(wǎng)絡(luò)。任務(wù)知識(shí)點(diǎn)VGG模型簡(jiǎn)介模VGG模型是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，在ILSVRC-2014挑戰(zhàn)賽ImageNet分類(lèi)任務(wù)中獲得亞軍，它的最大意義在于將神經(jīng)網(wǎng)絡(luò)的層數(shù)推向更深，常用的VGG網(wǎng)絡(luò)包含VGG11、VGG13、VGG16、VGG19等系列網(wǎng)絡(luò)。VGG都包含5組卷積操作，每組卷積包含一定數(shù)量的卷積層，所以這可以看作一個(gè)五階段的卷積特征提取。每組卷積后都進(jìn)行一個(gè)2×2的最大值池化，最后是三個(gè)全連接層。盡管A～E網(wǎng)絡(luò)的結(jié)構(gòu)在逐步加深，但是參數(shù)個(gè)數(shù)并沒(méi)有顯著增加，這是因?yàn)樽詈?個(gè)全連接層的參數(shù)占據(jù)了絕大多數(shù)。任務(wù)知識(shí)點(diǎn)VGG模型簡(jiǎn)介VGG網(wǎng)絡(luò)可以分為兩個(gè)部分，第一部分主要由卷積層和匯聚層組成，用于進(jìn)行特征提取。第二部分由全連接層組成，用于進(jìn)行分類(lèi)識(shí)別。同時(shí)出了VGG塊的概念，每個(gè)塊由1個(gè)或者多個(gè)3*3卷積層（填充為1），和2*2的池化層（步幅為2的）組成，這樣可以快速的使用塊構(gòu)建深層次的網(wǎng)絡(luò)，VGG塊結(jié)構(gòu)如圖所示。任務(wù)知識(shí)點(diǎn)VGG塊結(jié)構(gòu)常用的VGG模型有VGG11、VGG16、VGG19三種，其中11、16、19表示神經(jīng)網(wǎng)絡(luò)的層次。VGG系列包含了A、A-LRN、B、C、D、E6組，其中A、A-LRN有11層屬于VGG11，B有13層屬于VGG13，C和D有16層屬于VGG16，E有19層屬于VGG19。VGG系列都有5個(gè)VGG塊，和3個(gè)全連接層，最后使用一個(gè)softmax進(jìn)行分類(lèi)。VGG11和VGG13中VGG塊使卷積層卷積核的大小為3*3，步長(zhǎng)為1，VGG16和VGG19中增加了卷積核為1*1，步長(zhǎng)為1的卷積層。每個(gè)塊之間使用了最大池化層，池化窗口大小為2*2，步長(zhǎng)為2。和AlexNet相比，VGG采用了更小的卷積核和步長(zhǎng)，增加了模型的深度。任務(wù)知識(shí)點(diǎn)VGG系列模型模型VGG模型塊中有兩種基礎(chǔ)模塊，一種是卷積核為3*3的卷積層，一種是卷積核為1*1的卷積層，同時(shí)每個(gè)塊中的層數(shù)也不相同，定義VGG塊代碼如下。代碼中設(shè)置了三個(gè)參數(shù)，第一參數(shù)num_convs卷積層的數(shù)量，第二個(gè)參數(shù)，卷積核的數(shù)量，第三個(gè)參數(shù)卷積核的大小。任務(wù)知識(shí)點(diǎn)VGG基礎(chǔ)模塊使用循環(huán)結(jié)構(gòu)可以構(gòu)建多個(gè)卷積層，最后加入池化層。例如要建立一個(gè)包含兩個(gè)卷積層（64個(gè)卷積核，kernel_size=3*3）的塊結(jié)構(gòu)需要傳入?yún)?shù)【2，64，（3，3）】。如果需要建立一個(gè)包含三卷積層（第1、2層：256個(gè)卷積核，kernel_size=3*3；第3層：256個(gè)卷積核，kernel_size=1*1），這時(shí)需要傳入【3，256，（3，3，1）】。任務(wù)知識(shí)點(diǎn)VGG基礎(chǔ)模塊定義了塊結(jié)構(gòu)，然后在塊結(jié)構(gòu)后加上全連接層和softmax層，就可以完成模型的結(jié)構(gòu)搭建了樣本數(shù)。這時(shí)可以根據(jù)需要建立VGG11、VGG16、VGG19模型。然后可以在train文件中調(diào)用類(lèi)文件中的創(chuàng)建模型方法，測(cè)試模型是否搭建成功。任務(wù)知識(shí)點(diǎn)構(gòu)建VGG模型任務(wù)知識(shí)點(diǎn)構(gòu)建VGG模型模型輸入224*224*3，經(jīng)過(guò)5個(gè)VGG塊，在每個(gè)塊的高度和寬度減半，最終高度和寬度都為7，最后再展平表示，送入全連接層處理，代碼運(yùn)行后輸出如圖：任務(wù)知識(shí)點(diǎn)構(gòu)建VGG模型隨著AlexNet、VGG等網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)模型測(cè)層數(shù)越來(lái)越深理論上模型層數(shù)越多效果越好。但是在實(shí)際應(yīng)用中，隨著層數(shù)的增加，會(huì)產(chǎn)生梯度彌散和模型退化的問(wèn)題。這時(shí)誕生了深度殘差網(wǎng)絡(luò)RestNet，使用這種網(wǎng)絡(luò)可以訓(xùn)練出1202層的超深層次網(wǎng)絡(luò)。任務(wù)知識(shí)點(diǎn)VGG模型存在的問(wèn)題了解深度卷積神經(jīng)網(wǎng)絡(luò)01了解VGG網(wǎng)絡(luò)的基本結(jié)構(gòu)02能編寫(xiě)代碼完成VGG模塊03能構(gòu)建VGG模型代碼04任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類(lèi)ResNet深度神經(jīng)網(wǎng)絡(luò)人工智能學(xué)院—ResNet殘差塊01ResNet模型結(jié)構(gòu)02ResNet101模型結(jié)構(gòu)實(shí)現(xiàn)03ResNet101模型訓(xùn)練04VGG等模型的出現(xiàn)使得神經(jīng)網(wǎng)絡(luò)模型的深度達(dá)到了二十層，模型訓(xùn)練時(shí)反向傳播過(guò)程中梯度會(huì)逐層傳遞。梯度可能會(huì)在傳遞過(guò)程中逐漸消失（梯度消失）或快速增長(zhǎng)（梯度爆炸）。梯度消失會(huì)導(dǎo)致網(wǎng)絡(luò)的權(quán)重更新非常緩慢，難以有效訓(xùn)練。梯度爆炸則會(huì)導(dǎo)致權(quán)重更新幅度過(guò)大，使得訓(xùn)練過(guò)程不穩(wěn)定。深層神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題任務(wù)導(dǎo)入同時(shí)當(dāng)網(wǎng)絡(luò)變得非常深時(shí)，模型的訓(xùn)練誤差反而會(huì)變得更高。理論上，更深的網(wǎng)絡(luò)應(yīng)該具有更強(qiáng)的表達(dá)能力。但在實(shí)踐中，隨著層數(shù)的增加，訓(xùn)練誤差會(huì)先減少然后增加。這種現(xiàn)象就是網(wǎng)絡(luò)退化現(xiàn)象，深度網(wǎng)絡(luò)的退化問(wèn)題在很大程度上限制了深度學(xué)習(xí)模型的性能提升。深層神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題任務(wù)導(dǎo)入ResNet殘差塊/01在傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)需要直接學(xué)習(xí)輸入x到輸出y的復(fù)雜映射H(x)。這種直接學(xué)習(xí)的過(guò)程在深層網(wǎng)絡(luò)中容易導(dǎo)致梯度消失或梯度爆炸問(wèn)題，影響訓(xùn)練效果。ResNet通過(guò)引入殘差塊，將原始的映射H(x)轉(zhuǎn)換為殘差映射F(x)=H(x)?x。這樣網(wǎng)絡(luò)只需學(xué)習(xí)輸入和輸出之間的殘差F(x)，而不是復(fù)雜的直接映射。如果最優(yōu)的映射是恒等映射（即H(x)=x），那么網(wǎng)絡(luò)只需學(xué)習(xí)F(x)=0，這大大簡(jiǎn)化了學(xué)習(xí)任務(wù)。ResNet殘差塊殘差的概念如圖所示，虛線框中的部分需要直接擬合出該映射H(x)，而右圖虛線框中的部分則需要擬合出殘差映射F(x)=H(x)-x。殘差映射在現(xiàn)實(shí)中往往更容易優(yōu)化。恒等映射是希望學(xué)出的理想映射H(x)，只需將右圖虛線框內(nèi)上方的加權(quán)運(yùn)算（如仿射）的權(quán)重和偏置參數(shù)設(shè)成0，那么H(x)即為恒等映射。ResNet殘差塊殘差的概念實(shí)際中，當(dāng)理想映射H(x)極接近于恒等映射時(shí)，殘差映射也易于捕捉恒等映射的細(xì)微波動(dòng)。右圖是ResNet的基礎(chǔ)架構(gòu)–殘差塊(residualblock)在殘差塊中，輸入可通過(guò)跨層數(shù)據(jù)線路更快地向前傳播。ResNet殘差塊殘差的概念ResNet模型結(jié)構(gòu)/02捷徑連接也稱(chēng)為跳躍連接（skipconnections），它直接將輸入傳遞到輸出，與通過(guò)卷積層得到的殘差相加。其基本形式如上右圖所示，模型的主路輸出為殘差函數(shù)F(x)，模型的之路就是捷徑連接，X表示恒等映射，就是直接將輸入的特征矩陣X跳過(guò)殘差層，傳遞到輸出。將主路和之路相加得到H(x)=F(x)+x。最后經(jīng)過(guò)relu激活函數(shù)，得到殘差塊的輸出y=ReLu(F(Wi,x)+x)，其中Wi表示主路卷積層的參數(shù)。因?yàn)橹肥呛愕扔成洌圆辉黾訁?shù)，同時(shí)在模型訓(xùn)練的反向傳播中，需要更新的是F(x)的參數(shù)，也就殘差的的參數(shù)。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-捷徑連接瓶頸殘差塊是ResNet中一種更復(fù)雜、更有效的殘差塊設(shè)計(jì)，專(zhuān)門(mén)用于非常深的網(wǎng)絡(luò)，如ResNet-50、ResNet-101和ResNet-152。其主要目的是通過(guò)引入1x1卷積層來(lái)減少計(jì)算復(fù)雜度，同時(shí)保持模型的表達(dá)能力。瓶頸殘差塊基本結(jié)構(gòu)包括三個(gè)卷積層，分別是1x1卷積層（用于降維）、3x3卷積層（用于特征提取）和1x1卷積層（用于升維）。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-瓶頸殘差塊圖是瓶頸殘差塊的詳細(xì)結(jié)構(gòu)，假如輸入X的shape為56*56*256，經(jīng)過(guò)第1個(gè)[1*1,64]的卷積層運(yùn)算后，輸出的shape為56*56*64。再使用第2個(gè)[3*3,64]的卷積層運(yùn)算后，輸出的shape為56*56*64。這時(shí)按照殘差塊的運(yùn)算需要和X進(jìn)行相加，但是X的shape為56*56*256，所以需要使用第3個(gè)[1*1,256]的卷積層對(duì)第2層卷積結(jié)果進(jìn)行上采樣，輸出shape為56*56*256。在整個(gè)過(guò)程中，矩陣的大小為56*56保持不變，但是通道數(shù)變化過(guò)程為256->64->64->256,呈現(xiàn)出一種中間大買(mǎi)兩頭小的形狀，像一個(gè)瓶子頸部一樣，所以起名為瓶頸殘差塊，它的實(shí)際作用就是提取特征，并對(duì)數(shù)據(jù)進(jìn)行上下采樣。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-瓶頸殘差塊ResNet中的殘差模塊有2種，第1種是如圖的殘差模塊，使用了兩個(gè)步長(zhǎng)為1的卷積核，特征的輸出和支路的輸出shape相同，可以直接進(jìn)行相加運(yùn)算。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-下采樣殘差模塊第2種是右圖所示，輸入X為[56,56,64]經(jīng)過(guò)步長(zhǎng)為1和2的卷積核運(yùn)算，輸出特征為[56,56,128]，這是為了和支路的輸出進(jìn)行相加運(yùn)算，必須要在支路中增加一個(gè)步長(zhǎng)為2卷積核大小為(1*1*128)的卷積層，經(jīng)過(guò)這個(gè)卷積層運(yùn)算，支路的輸出shape為[56,56,128]，這是支路輸出就可以和特征的輸出進(jìn)行相加運(yùn)算了，兩種殘差模塊的支路分別用實(shí)線和虛線表示。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-下采樣殘差模塊ResNet網(wǎng)絡(luò)模型包括ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，這些模型可以分為淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)兩大類(lèi)，其中ResNet18和ResNet34屬于前者，而ResNet50、ResNet101和ResNet152則屬于后者。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-ResNet模型結(jié)構(gòu)ResNet的網(wǎng)絡(luò)結(jié)構(gòu)主要包括：conv1：輸入層的卷積。conv2_x、conv3_x、conv4_x和conv5_x，這些部分分別對(duì)應(yīng)于ResNet中的不同層級(jí)，其中數(shù)字表示該層級(jí)的重復(fù)次數(shù)或block數(shù)量。fc（全連接層）：用于分類(lèi)的最后一層。以ResNet101為例，其結(jié)構(gòu)包含7x7x64的初始卷積層，隨后是3個(gè)buildingblocks（每個(gè)block包含3層卷積）在conv2_x，4個(gè)blocks在conv3_x，23個(gè)blocks在conv4_x，以及最后的3個(gè)blocks在conv5_x。加上初始的卷積層和最后的全連接層，總共是101層。這里的層數(shù)計(jì)算不包括激活層或Pooling層。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-ResNet模型結(jié)構(gòu)ResNet101模型結(jié)構(gòu)實(shí)現(xiàn)/03ResNet101殘差結(jié)構(gòu)由2個(gè)1*1的卷積層和1個(gè)3*3的卷積層組成，一種是輸入直接和殘差塊的輸出進(jìn)行相加運(yùn)算，如圖所示，另外一種輸入需要使用1*1的卷積層進(jìn)行提升維度的操作后再和輸出進(jìn)行相加，如圖所示。ResNet101模型結(jié)構(gòu)實(shí)現(xiàn)ResNet101模型殘差結(jié)構(gòu)輸入層大小為input