使用VGG19遷移學習實現圖像風格遷移深度學習應用技術基于VGG19構建遷移學習模型職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型了解VGG19基本結構原理及優缺點了解利用VGG19實現遷移學習的模型構建思路；熟悉圖像噪聲來源及常見噪聲能夠理解遷移學習的原理；能夠掌握遷移學習方法；能夠掌握風格遷移模型構建方法。職業能力目標01知識目標技能目標職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型學習使用VGG19模型，基于VGG19模型構筑自己的遷移學習模型。任務描述任務要求學習并了解了遷移學習的原理；學習并使用遷移學習方法改造VGG19模型；掌握基于VGG19模型構建自己的風格遷移模型;實現風格遷移模型輸入所需要的噪聲圖片。任務描述與要求02職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型任務分析你知道VGG19模型的結構是怎樣的？想一想基于VGG19實現遷移學習的模型構建思路？任務分析與計劃03任務計劃表通過上面的思考，你是否對本任務要完成的工作有所了解？讓我們一起來制訂完成本次任務的實施計劃吧！任務分析與計劃03項目名稱使用VGG19遷移學習實現圖像風格遷移任務名稱基于VGG19構建遷移學習模型計劃方式自主設計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務序號任務計劃1

2

3

4

5

6

7

8職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型VGG19實現遷移學習的模型構建思路204知識儲備VGG19基本知識1圖片噪聲3VGG19基本知識04

VGG主要工作是證明了增加網絡的深度能夠在一定程度上影響網絡最終的性能。VGG有兩種結構，分別是VGG16和VGG19，兩者并沒有本質上的區別，只是網絡深度不一樣。以VGG19舉例，VGG19包含了19個隱藏層（16個卷積層和3個全連接層）VGG19基本知識04

conv表示卷積層 FC表示全連接層 depth表示深度 3x3conv表示卷積層使用3x3的卷積核 maxpool表示最大池化 softmax用于將多分類的輸出數值轉化為相對概率VGG19基本知識041采用堆積的小卷積核優于采用大的卷積核。因為多層非線性層可以增加網絡深度來保證學習更復雜的模式，而且代價還比較小；2相同感知野的條件下，提升了網絡的深度，在一定程度上提升了神經網絡的效果；33個3x3連續卷積相當于一個7x7卷積，其參數總量為3x(9xC^2)，若使用7x7卷積核，其參數總量為49xC^2；27xC2小于49xC2，即減少了參數。VGG19性能提升的原理VGG19模型優點04AVGGNet的結構非常簡潔，整個網絡都使用了同樣大小的卷積核尺寸（3x3）和最大池化尺寸（2x2）；C驗證了通過不斷加深網絡結構可以提升性能B幾個小濾波器（3x3）卷積層的組合比一個大濾波器（5x5或7x7）卷積層好；04VGG19模型缺點

3個全連接層使用了更多的參數，導致VGG耗費更多計算資源與更多的內存占用。VGG19實現遷移學習的模型構建思路204知識儲備VGG19基本知識1圖片噪聲304VGG19實現遷移學習的模型構建思路

VGG19通過卷積操作，每一層神經網絡都會利用上一層的輸出來進一步提取更加復雜的特征，直到復雜到能被用來識別物體為止，每一層都可以被看作很多個局部特征的提取器。04VGG19實現遷移學習的模型構建思路

由于圖像傳遞信息的底層機制是相通的，已經訓練好的VGG19顯然具備了圖像信息提取的能力。利用VGG19已經訓練好的模型作為特征提取器，風格遷移模型的構建只需要稍微做一些修改。VGG19實現遷移學習的模型構建思路04預訓練模型構建模型輸入層VGG19全連接層全連接層負責的是進行分類工作，與風格遷移任務無關獲取卷積層部分的參數構建模型輸入層的參數就是生成的圖片舍棄掉根據噪聲圖片與內容、風格差異調整差異VGG19實現遷移學習的模型構建思路204知識儲備VGG19基本知識1圖片噪聲304

圖像噪聲是指存在于圖像數據中的不必要的或多余的干擾信息。噪聲的存在嚴重影響了遙感圖像的質量，因此在圖像增強處理和分類處理之前，必須予以糾正。

圖像中各種妨礙人們對其信息接受的因素即可稱為圖像噪聲。如果把圖像看作信號，那么噪聲就是干擾信號。圖像噪聲04圖像噪聲來源圖像獲取過程中圖像信號傳輸中兩種常用類型的圖像傳感器CCD和CMOS采集圖像過程中，由于受傳感器材料屬性、工作環境、電子元器件和電路結構等影響，會引入各種噪聲，如電阻引起的熱噪聲、場效應管的溝道熱噪聲、光子噪聲、暗電流噪聲、光響應非均勻性噪聲。由于傳輸介質和記錄設備等的不完善，數字圖像在其傳輸記錄過程中往往會受到多種噪聲的污染。另外，在圖像處理的某些環節當輸入的對象并不如預想時也會在結果圖像中引入噪聲。04常見噪聲--椒鹽噪聲圖像添加椒鹽噪聲，就要把圖像的像素點的強度值改為黑點或者白點，黑點的強度值是0，白點的強度值是255。原始圖像的強度值區間是[0,255]，那么噪聲函數中相應點是255或者是-255，加起來就可以達到是0或255的效果。需要注意，椒鹽噪聲是隨機的改變圖像中像素點的值為黑點或白點，并不是對每個像素點都進行操作。04常見噪聲--高斯噪聲高斯噪聲是指噪聲分布的概率密度函數服從高斯分布（正態分布）的一類噪聲。如果一個噪聲，它的幅度分布服從高斯分布，而它的功率譜密度又是均勻分布的，則稱它為高斯白噪聲。高斯白噪聲的二階矩不相關，一階矩為常數，是指先后信號在時間上的相關性。高斯白噪聲包括熱噪聲和散粒噪聲。在通信信道測試和建模中，高斯噪聲被用作加性白噪聲以產生加性白高斯噪聲。職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型模型構建04任務實施依賴庫的安裝與導入1圖片處理與保存構建噪聲圖片1234依賴庫的安裝與導入05模型構建之間，進行環境安裝：1、安裝依賴Python3.7tensorflow2.1.0tqdm4.54.1依賴庫的安裝與導入052、導入依賴庫os：對文件夾進行一系列的操作；tensorflow：一個基于數據流編程的符號數學系統，被廣泛應用于各類機器學習算法的編程實現；numpy：支持大量的維度數組與矩陣運算，此外也針對數組運算提供大量的數學函數庫；tqdm：顯示進度條工具，可以在Python長循環中添加一個進度提示信息，用戶只需要封裝任意的迭代器tqdm(iterator)；matplotlib.pyplot：一個繪圖庫，最常用的可視化工具之一，非常方便創建2D、3D圖表，常用于顯示圖片；matplotlib.image：用于讀取圖片；依賴庫的安裝與導入052、導入依賴庫typing：Python標準庫，用于提供類型提示支持，作用為：（1）類型檢查，防止運行時出現參數和返回值類型不符合；（2）作為開發文檔附加說明，方便使用者調用時傳入和返回參數類型；（3）該模塊加入后并不會影響程序的運行，不會報正式的錯誤，只有提醒。依賴庫的安裝與導入05設置超參數的目的是為了便于對模型訓練中的可變功能進行管理。超參數使用大寫英文參數表示，以便于與一般參數進行區分3、超參數設置依賴庫的安裝與導入05CONTENT_IMAGE_PATH：內容圖片路徑；STYLE_IMAGE_PATH：風格圖片路徑；OUTPUT_DIR：生成圖片的保存目錄；WIDTH：圖片特征矩陣的寬度，固定設置為450；HEIGHT：圖片特征矩陣的高度，固定設置為300；CONTENT_LAYERS：此參數用于保存自定義的內容特征層及loss加權系數，默認使用[‘conv4_2’,‘conv5_2’]表示內容特征；STYLE_LAYERS：此參數用于保存自定義的風格特征層及loss加權系數，默認使用[‘conv1_1’,‘conv2_1’,‘conv3_1’,‘conv4_1’]表示風格特征。超參數設置，如下：模型構建04任務實施依賴庫的安裝與導入1圖片處理與保存構建噪聲圖片1234模型構建05該get_vgg19_model函數通過傳入層名稱來提取所需要的層。目的在于獲取VGG19的卷積層，舍棄全連接層1、VGG19模型獲取與處理模型構建05tf.keras.applications(include_top,weights)提供了帶有預訓練權值的深度學習模型，這些模型可以用來進行預測、特征提取和微調（fine-tuning）。這里直接使用tf.keras.applications模塊加載預訓練的vgg19網絡。相關參數有：

（1）include_top:是否包括頂層的全連接層；

（2）weights:None代表隨機初始化，imagenet代表加載在ImageNet上預訓練的權值；tf.keras.Model()：模型實例化方法，共兩種，這里使用傳入輸入層（input），輸出層（output）來實例化，即tf.keras.Model(inputs=inputs,outputs=outputs)。model.trainable：用于控制權重是否被訓練，設置為False即凍結所有權重。模型構建052、構建風格遷移模型

tf.keras.Model：通過繼承Model類，該方法需要在__init__函數里定義的層；（1）定義輸入層：此部分通過加載超參數中定義的內容特征層和風格特征層作為輸入層，格式為{層名:加權系數}的字典形式。（2）定義輸出層：該部分基于去除全連接層的VGG19網絡。并且需要在call函數里實現模型的前向傳播。

此部分實現將內容特征層和風格特征層的輸出分離，用于后續損失計算。

模型構建052、構建風格遷移模型CONTENT_LAYERS：內容特征層及loss加權系數，已默認在超參數部分定義，后期可根據需要增加、減少層數或調整加權系數；STYLE_LAYERS：風格特征層及loss加權系數，已默認在超參數部分定義，后期可根據需要增加、減少層數或調整加權系數。

模型構建04任務實施依賴庫的安裝與導入1圖片處理與保存構建噪聲圖片1234圖片處理與保存05對于深度學習，歸一化主要是為了加快訓練網絡的收斂性，避免數據尺度差異造成的負面影響。1、圖片歸一化圖片歸一化的原因05

當不進行數據歸一化處理，反向傳播時尺度大的特征值計算得到的梯度也比較大，尺度小的特征值則相對較小，但梯度更新時的學習率是一樣的，如果學習率小，梯度小的就更新慢，如果學習率大，梯度大的方向不穩定，不易收斂。通常需要使用最小的學習率遷就大尺度的維度才能保證損失函數有效下降。

通過歸一化，把不同維度的特征值范圍調整到相近的范圍內，就能統一使用較大的學習率加速學習。圖片歸一化的方法05

圖片像素值的范圍都在0~255，最簡單的圖片歸一化方法將像素值簡單地除以255。

這里歸一化使用的是Z-score標準化方法。這種方法給予原始數據的均值和標準差進行數據的標準化。即將每個像素值減去均值的結果除以標準差，經過處理的數據符合標準正態分布。圖片處理與保存05加載并處理圖片函數：包含圖片加載，圖片解碼，修改圖片大小，歸一化（調用normalization函數）等操作2、圖片加載與處理圖片處理與保存052、圖片加載與處理image_path：該變量記錄讀取圖片的路徑；width：該變量為修改圖片的寬度；height：該變量為修改圖片的高度。verbose：模式選擇，0為靜音模式，1為正常模式，有處理進度條。

圖片處理與保存05該文件夾生成位置將依據超參數OUTPUT_DIR設定的路徑。保存圖片結果函數：該函數將被歸一化后的圖片還原并保存到指定路徑。3、保存圖片結果圖片處理與保存053、保存圖片結果image：傳入被歸一化后的圖片；filename：傳入還原后圖片保存的路徑；tf.cast()：執行tensorflow中張量數據類型轉換，比如讀入的圖片是int8，要在訓練前把格式轉換為float32。tf.clip_by_value()：可將張量中的數值限制在一個范圍內，避免運算錯誤。傳入參數分別為待限制張量、限制范圍最低值、限制范圍最高值。這里將還原后的值限定在0到255之間，符合像素點取值范圍；tf.image.encode_jpeg()：對圖像進行JPEG編碼；tf.io.write_file()：傳入地址與變量實現便捷的文件存儲。

模型構建04任務實施依賴庫的安裝與導入1圖片處理與保存構建噪聲圖片1234構建噪聲圖片05調用先前定義好的圖片加載函數，分別傳入超參數中定義的內容圖片和風格圖的地址，生成歸一化后的標準化數據。1、圖片加載構建噪聲圖片05tf.Variable(initializer)：變量構造函數，用于創建一個對象類型是tensor的變量2、噪聲圖片生成initializer：初始化參數，決定了創建的變量初始值和形狀；構建噪聲圖片05np.random.uniform(low,high,size)：從一個均勻分布[low,high)中隨機采樣，注意定義域是左閉右開，通過該函數實現噪聲的生成。2、噪聲圖片生成low：采樣區間的下限，float類型，默認值為0；high：采樣區間的上限，float類型，默認值為1；size：輸出樣本數目，為int或元組(tuple)類型，例如，size=(m,n,k),則輸出mnk個樣本，默認為輸出1個值職業能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08基于VGG19構建遷移學習模型任務檢查與評價061、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務實施經驗。項目名稱使用VGG19遷移學習實現圖像風格遷移任務名稱基于VGG19構建遷移學習模型評價方式可采用自評、互評、老師評價等方式說

明主要評價學生在項目學習過程中的操作技能、理論知識、學習態度、課堂表現、學習能力等

評價內容與評價標準序號評價內容評價標準分值得分1理論知識（20%）了解VGG19結構、原理及優缺點，并利用VGG19實現遷移學習的模型構建思路，了解圖像噪聲的產生及常見噪聲類型。（20分）20分

2專業技能（40%）依賴庫的安裝及導入（10%）正確的安裝和導入依賴庫（