使用VGG19遷移學習實現(xiàn)圖像風格遷移深度學習應(yīng)用技術(shù)基于VGG19構(gòu)建遷移學習模型職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型了解VGG19基本結(jié)構(gòu)原理及優(yōu)缺點了解利用VGG19實現(xiàn)遷移學習的模型構(gòu)建思路；熟悉圖像噪聲來源及常見噪聲能夠理解遷移學習的原理；能夠掌握遷移學習方法；能夠掌握風格遷移模型構(gòu)建方法。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型學習使用VGG19模型，基于VGG19模型構(gòu)筑自己的遷移學習模型。任務(wù)描述任務(wù)要求學習并了解了遷移學習的原理；學習并使用遷移學習方法改造VGG19模型；掌握基于VGG19模型構(gòu)建自己的風格遷移模型;實現(xiàn)風格遷移模型輸入所需要的噪聲圖片。任務(wù)描述與要求02職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型任務(wù)分析你知道VGG19模型的結(jié)構(gòu)是怎樣的？想一想基于VGG19實現(xiàn)遷移學習的模型構(gòu)建思路？任務(wù)分析與計劃03任務(wù)計劃表通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實施計劃吧！任務(wù)分析與計劃03項目名稱使用VGG19遷移學習實現(xiàn)圖像風格遷移任務(wù)名稱基于VGG19構(gòu)建遷移學習模型計劃方式自主設(shè)計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計劃1

2

3

4

5

6

7

8職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型VGG19實現(xiàn)遷移學習的模型構(gòu)建思路204知識儲備VGG19基本知識1圖片噪聲3VGG19基本知識04

VGG主要工作是證明了增加網(wǎng)絡(luò)的深度能夠在一定程度上影響網(wǎng)絡(luò)最終的性能。VGG有兩種結(jié)構(gòu)，分別是VGG16和VGG19，兩者并沒有本質(zhì)上的區(qū)別，只是網(wǎng)絡(luò)深度不一樣。以VGG19舉例，VGG19包含了19個隱藏層（16個卷積層和3個全連接層）VGG19基本知識04

conv表示卷積層 FC表示全連接層 depth表示深度 3x3conv表示卷積層使用3x3的卷積核 maxpool表示最大池化 softmax用于將多分類的輸出數(shù)值轉(zhuǎn)化為相對概率VGG19基本知識041采用堆積的小卷積核優(yōu)于采用大的卷積核。因為多層非線性層可以增加網(wǎng)絡(luò)深度來保證學習更復(fù)雜的模式，而且代價還比較小；2相同感知野的條件下，提升了網(wǎng)絡(luò)的深度，在一定程度上提升了神經(jīng)網(wǎng)絡(luò)的效果；33個3x3連續(xù)卷積相當于一個7x7卷積，其參數(shù)總量為3x(9xC^2)，若使用7x7卷積核，其參數(shù)總量為49xC^2；27xC2小于49xC2，即減少了參數(shù)。VGG19性能提升的原理VGG19模型優(yōu)點04AVGGNet的結(jié)構(gòu)非常簡潔，整個網(wǎng)絡(luò)都使用了同樣大小的卷積核尺寸（3x3）和最大池化尺寸（2x2）；C驗證了通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)可以提升性能B幾個小濾波器（3x3）卷積層的組合比一個大濾波器（5x5或7x7）卷積層好；04VGG19模型缺點

3個全連接層使用了更多的參數(shù)，導(dǎo)致VGG耗費更多計算資源與更多的內(nèi)存占用。VGG19實現(xiàn)遷移學習的模型構(gòu)建思路204知識儲備VGG19基本知識1圖片噪聲304VGG19實現(xiàn)遷移學習的模型構(gòu)建思路

VGG19通過卷積操作，每一層神經(jīng)網(wǎng)絡(luò)都會利用上一層的輸出來進一步提取更加復(fù)雜的特征，直到復(fù)雜到能被用來識別物體為止，每一層都可以被看作很多個局部特征的提取器。04VGG19實現(xiàn)遷移學習的模型構(gòu)建思路

由于圖像傳遞信息的底層機制是相通的，已經(jīng)訓(xùn)練好的VGG19顯然具備了圖像信息提取的能力。利用VGG19已經(jīng)訓(xùn)練好的模型作為特征提取器，風格遷移模型的構(gòu)建只需要稍微做一些修改。VGG19實現(xiàn)遷移學習的模型構(gòu)建思路04預(yù)訓(xùn)練模型構(gòu)建模型輸入層VGG19全連接層全連接層負責的是進行分類工作，與風格遷移任務(wù)無關(guān)獲取卷積層部分的參數(shù)構(gòu)建模型輸入層的參數(shù)就是生成的圖片舍棄掉根據(jù)噪聲圖片與內(nèi)容、風格差異調(diào)整差異VGG19實現(xiàn)遷移學習的模型構(gòu)建思路204知識儲備VGG19基本知識1圖片噪聲304

圖像噪聲是指存在于圖像數(shù)據(jù)中的不必要的或多余的干擾信息。噪聲的存在嚴重影響了遙感圖像的質(zhì)量，因此在圖像增強處理和分類處理之前，必須予以糾正。

圖像中各種妨礙人們對其信息接受的因素即可稱為圖像噪聲。如果把圖像看作信號，那么噪聲就是干擾信號。圖像噪聲04圖像噪聲來源圖像獲取過程中圖像信號傳輸中兩種常用類型的圖像傳感器CCD和CMOS采集圖像過程中，由于受傳感器材料屬性、工作環(huán)境、電子元器件和電路結(jié)構(gòu)等影響，會引入各種噪聲，如電阻引起的熱噪聲、場效應(yīng)管的溝道熱噪聲、光子噪聲、暗電流噪聲、光響應(yīng)非均勻性噪聲。由于傳輸介質(zhì)和記錄設(shè)備等的不完善，數(shù)字圖像在其傳輸記錄過程中往往會受到多種噪聲的污染。另外，在圖像處理的某些環(huán)節(jié)當輸入的對象并不如預(yù)想時也會在結(jié)果圖像中引入噪聲。04常見噪聲--椒鹽噪聲圖像添加椒鹽噪聲，就要把圖像的像素點的強度值改為黑點或者白點，黑點的強度值是0，白點的強度值是255。原始圖像的強度值區(qū)間是[0,255]，那么噪聲函數(shù)中相應(yīng)點是255或者是-255，加起來就可以達到是0或255的效果。需要注意，椒鹽噪聲是隨機的改變圖像中像素點的值為黑點或白點，并不是對每個像素點都進行操作。04常見噪聲--高斯噪聲高斯噪聲是指噪聲分布的概率密度函數(shù)服從高斯分布（正態(tài)分布）的一類噪聲。如果一個噪聲，它的幅度分布服從高斯分布，而它的功率譜密度又是均勻分布的，則稱它為高斯白噪聲。高斯白噪聲的二階矩不相關(guān)，一階矩為常數(shù)，是指先后信號在時間上的相關(guān)性。高斯白噪聲包括熱噪聲和散粒噪聲。在通信信道測試和建模中，高斯噪聲被用作加性白噪聲以產(chǎn)生加性白高斯噪聲。職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型模型構(gòu)建04任務(wù)實施依賴庫的安裝與導(dǎo)入1圖片處理與保存構(gòu)建噪聲圖片1234依賴庫的安裝與導(dǎo)入05模型構(gòu)建之間，進行環(huán)境安裝：1、安裝依賴Python3.7tensorflow2.1.0tqdm4.54.1依賴庫的安裝與導(dǎo)入052、導(dǎo)入依賴庫os：對文件夾進行一系列的操作；tensorflow：一個基于數(shù)據(jù)流編程的符號數(shù)學系統(tǒng)，被廣泛應(yīng)用于各類機器學習算法的編程實現(xiàn)；numpy：支持大量的維度數(shù)組與矩陣運算，此外也針對數(shù)組運算提供大量的數(shù)學函數(shù)庫；tqdm：顯示進度條工具，可以在Python長循環(huán)中添加一個進度提示信息，用戶只需要封裝任意的迭代器tqdm(iterator)；matplotlib.pyplot：一個繪圖庫，最常用的可視化工具之一，非常方便創(chuàng)建2D、3D圖表，常用于顯示圖片；matplotlib.image：用于讀取圖片；依賴庫的安裝與導(dǎo)入052、導(dǎo)入依賴庫typing：Python標準庫，用于提供類型提示支持，作用為：（1）類型檢查，防止運行時出現(xiàn)參數(shù)和返回值類型不符合；（2）作為開發(fā)文檔附加說明，方便使用者調(diào)用時傳入和返回參數(shù)類型；（3）該模塊加入后并不會影響程序的運行，不會報正式的錯誤，只有提醒。依賴庫的安裝與導(dǎo)入05設(shè)置超參數(shù)的目的是為了便于對模型訓(xùn)練中的可變功能進行管理。超參數(shù)使用大寫英文參數(shù)表示，以便于與一般參數(shù)進行區(qū)分3、超參數(shù)設(shè)置依賴庫的安裝與導(dǎo)入05CONTENT_IMAGE_PATH：內(nèi)容圖片路徑；STYLE_IMAGE_PATH：風格圖片路徑；OUTPUT_DIR：生成圖片的保存目錄；WIDTH：圖片特征矩陣的寬度，固定設(shè)置為450；HEIGHT：圖片特征矩陣的高度，固定設(shè)置為300；CONTENT_LAYERS：此參數(shù)用于保存自定義的內(nèi)容特征層及l(fā)oss加權(quán)系數(shù)，默認使用[‘conv4_2’,‘conv5_2’]表示內(nèi)容特征；STYLE_LAYERS：此參數(shù)用于保存自定義的風格特征層及l(fā)oss加權(quán)系數(shù)，默認使用[‘conv1_1’,‘conv2_1’,‘conv3_1’,‘conv4_1’]表示風格特征。超參數(shù)設(shè)置，如下：模型構(gòu)建04任務(wù)實施依賴庫的安裝與導(dǎo)入1圖片處理與保存構(gòu)建噪聲圖片1234模型構(gòu)建05該get_vgg19_model函數(shù)通過傳入層名稱來提取所需要的層。目的在于獲取VGG19的卷積層，舍棄全連接層1、VGG19模型獲取與處理模型構(gòu)建05tf.keras.applications(include_top,weights)提供了帶有預(yù)訓(xùn)練權(quán)值的深度學習模型，這些模型可以用來進行預(yù)測、特征提取和微調(diào)（fine-tuning）。這里直接使用tf.keras.applications模塊加載預(yù)訓(xùn)練的vgg19網(wǎng)絡(luò)。相關(guān)參數(shù)有：

（1）include_top:是否包括頂層的全連接層；

（2）weights:None代表隨機初始化，imagenet代表加載在ImageNet上預(yù)訓(xùn)練的權(quán)值；tf.keras.Model()：模型實例化方法，共兩種，這里使用傳入輸入層（input），輸出層（output）來實例化，即tf.keras.Model(inputs=inputs,outputs=outputs)。model.trainable：用于控制權(quán)重是否被訓(xùn)練，設(shè)置為False即凍結(jié)所有權(quán)重。模型構(gòu)建052、構(gòu)建風格遷移模型

tf.keras.Model：通過繼承Model類，該方法需要在__init__函數(shù)里定義的層；（1）定義輸入層：此部分通過加載超參數(shù)中定義的內(nèi)容特征層和風格特征層作為輸入層，格式為{層名:加權(quán)系數(shù)}的字典形式。（2）定義輸出層：該部分基于去除全連接層的VGG19網(wǎng)絡(luò)。并且需要在call函數(shù)里實現(xiàn)模型的前向傳播。

此部分實現(xiàn)將內(nèi)容特征層和風格特征層的輸出分離，用于后續(xù)損失計算。

模型構(gòu)建052、構(gòu)建風格遷移模型CONTENT_LAYERS：內(nèi)容特征層及l(fā)oss加權(quán)系數(shù)，已默認在超參數(shù)部分定義，后期可根據(jù)需要增加、減少層數(shù)或調(diào)整加權(quán)系數(shù)；STYLE_LAYERS：風格特征層及l(fā)oss加權(quán)系數(shù)，已默認在超參數(shù)部分定義，后期可根據(jù)需要增加、減少層數(shù)或調(diào)整加權(quán)系數(shù)。

模型構(gòu)建04任務(wù)實施依賴庫的安裝與導(dǎo)入1圖片處理與保存構(gòu)建噪聲圖片1234圖片處理與保存05對于深度學習，歸一化主要是為了加快訓(xùn)練網(wǎng)絡(luò)的收斂性，避免數(shù)據(jù)尺度差異造成的負面影響。1、圖片歸一化圖片歸一化的原因05

當不進行數(shù)據(jù)歸一化處理，反向傳播時尺度大的特征值計算得到的梯度也比較大，尺度小的特征值則相對較小，但梯度更新時的學習率是一樣的，如果學習率小，梯度小的就更新慢，如果學習率大，梯度大的方向不穩(wěn)定，不易收斂。通常需要使用最小的學習率遷就大尺度的維度才能保證損失函數(shù)有效下降。

通過歸一化，把不同維度的特征值范圍調(diào)整到相近的范圍內(nèi)，就能統(tǒng)一使用較大的學習率加速學習。圖片歸一化的方法05

圖片像素值的范圍都在0~255，最簡單的圖片歸一化方法將像素值簡單地除以255。

這里歸一化使用的是Z-score標準化方法。這種方法給予原始數(shù)據(jù)的均值和標準差進行數(shù)據(jù)的標準化。即將每個像素值減去均值的結(jié)果除以標準差，經(jīng)過處理的數(shù)據(jù)符合標準正態(tài)分布。圖片處理與保存05加載并處理圖片函數(shù)：包含圖片加載，圖片解碼，修改圖片大小，歸一化（調(diào)用normalization函數(shù)）等操作2、圖片加載與處理圖片處理與保存052、圖片加載與處理image_path：該變量記錄讀取圖片的路徑；width：該變量為修改圖片的寬度；height：該變量為修改圖片的高度。verbose：模式選擇，0為靜音模式，1為正常模式，有處理進度條。

圖片處理與保存05該文件夾生成位置將依據(jù)超參數(shù)OUTPUT_DIR設(shè)定的路徑。保存圖片結(jié)果函數(shù)：該函數(shù)將被歸一化后的圖片還原并保存到指定路徑。3、保存圖片結(jié)果圖片處理與保存053、保存圖片結(jié)果image：傳入被歸一化后的圖片；filename：傳入還原后圖片保存的路徑；tf.cast()：執(zhí)行tensorflow中張量數(shù)據(jù)類型轉(zhuǎn)換，比如讀入的圖片是int8，要在訓(xùn)練前把格式轉(zhuǎn)換為float32。tf.clip_by_value()：可將張量中的數(shù)值限制在一個范圍內(nèi)，避免運算錯誤。傳入?yún)?shù)分別為待限制張量、限制范圍最低值、限制范圍最高值。這里將還原后的值限定在0到255之間，符合像素點取值范圍；tf.image.encode_jpeg()：對圖像進行JPEG編碼；tf.io.write_file()：傳入地址與變量實現(xiàn)便捷的文件存儲。

模型構(gòu)建04任務(wù)實施依賴庫的安裝與導(dǎo)入1圖片處理與保存構(gòu)建噪聲圖片1234構(gòu)建噪聲圖片05調(diào)用先前定義好的圖片加載函數(shù)，分別傳入超參數(shù)中定義的內(nèi)容圖片和風格圖的地址，生成歸一化后的標準化數(shù)據(jù)。1、圖片加載構(gòu)建噪聲圖片05tf.Variable(initializer)：變量構(gòu)造函數(shù)，用于創(chuàng)建一個對象類型是tensor的變量2、噪聲圖片生成initializer：初始化參數(shù)，決定了創(chuàng)建的變量初始值和形狀；構(gòu)建噪聲圖片05np.random.uniform(low,high,size)：從一個均勻分布[low,high)中隨機采樣，注意定義域是左閉右開，通過該函數(shù)實現(xiàn)噪聲的生成。2、噪聲圖片生成low：采樣區(qū)間的下限，float類型，默認值為0；high：采樣區(qū)間的上限，float類型，默認值為1；size：輸出樣本數(shù)目，為int或元組(tuple)類型，例如，size=(m,n,k),則輸出mnk個樣本，默認為輸出1個值職業(yè)能力目標01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于VGG19構(gòu)建遷移學習模型任務(wù)檢查與評價061、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務(wù)實施經(jīng)驗。項目名稱使用VGG19遷移學習實現(xiàn)圖像風格遷移任務(wù)名稱基于VGG19構(gòu)建遷移學習模型評價方式可采用自評、互評、老師評價等方式說

明主要評價學生在項目學習過程中的操作技能、理論知識、學習態(tài)度、課堂表現(xiàn)、學習能力等

評價內(nèi)容與評價標準序號評價內(nèi)容評價標準分值得分1理論知識（20%）了解VGG19結(jié)構(gòu)、原理及優(yōu)缺點，并利用VGG19實現(xiàn)遷移學習的模型構(gòu)建思路，了解圖像噪聲的產(chǎn)生及常見噪聲類型。（20分）20分

2專業(yè)技能（40%）依賴庫的安裝及導(dǎo)入（10%）正確的安裝和導(dǎo)入依賴庫（