使用VGG19遷移學習實現(xiàn)圖像風格遷移深度學習應用技術項目引導案例

深度學習目前在圖像處理領域有眾多有價值的應用。本實驗將帶來圖像處理領域里頗具藝術價值的一個分支——圖像風格遷移。

由于深度學習的發(fā)展，利用卷積網(wǎng)絡的深層結構提取的信息，來替代早期人工提取的各種濾鏡，能夠高效地以自動化方式完成風格遷移任務，即把一張圖片的內(nèi)容和另一個圖片的風格合成為一張新的圖片，比如給出一個貓的圖片和一個梵高的自畫像，就可以生成一只梵高的貓。項目引導案例初識圖像風格遷移01基于VGG19構建遷移學習模型02基于VGG19構建遷移學習模型02訓練模型實現(xiàn)圖像風格遷移03思考一下

你知道在使用深度學習之前是怎么實現(xiàn)風格遷移的嗎？項目引導案例初識圖像風格遷移職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移了解圖像風格遷移的發(fā)展過程理解圖像風格遷移的原理與方法理解特征提取與遷移學習的相關概念能夠搭建風格遷移案例所需使用的環(huán)境能夠使用代碼對圖片進行壓縮、上傳等操作能夠編寫代碼生成風格遷移圖片。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移了解圖像風格遷移的相關知識及原理，通過調(diào)用接口嘗試使用風格遷移生成圖片。任務描述任務要求學習并了解了圖像風格遷移的發(fā)展過程；學習了圖像風格遷移的原理；掌握云端接口的調(diào)用方法；體驗風格遷移的實際應用。任務描述與要求02職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移任務分析你知道圖片風格遷移的方法有哪些嗎？想一想如何調(diào)用接口使用風格遷移生成圖片？任務分析與計劃03任務計劃表通過上面的思考，你是否對本任務要完成的工作有所了解？讓我們一起來制訂完成本次任務的實施計劃吧！任務分析與計劃03項目名稱使用VGG19遷移學習實現(xiàn)圖像風格遷移任務名稱初識圖像風格遷移計劃方式自主設計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務序號任務計劃1

2

3

4

5

6

7

8職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移圖片風格與紋理204知識儲備圖像風格遷移1圖片風格遷移的方法3特征提取與遷移學習4圖像風格遷移的概念04

圖像風格遷移，即給定內(nèi)容圖片A，風格圖片B，能夠生成一張具有A圖片內(nèi)容和B圖片風格的圖片C。

但如何實現(xiàn)圖片C的生成？其實要實現(xiàn)的東西很清晰，首先需要的就是內(nèi)容上是相近的，然后風格上是相似的。圖像風格遷移的概念04舉個例子

比如你為了取悅女朋友，可以把你女朋友的大頭照(A)，加上畢加索的藝術作品(B)，就會換成一個畢加索的后現(xiàn)代藝術作品（C）。

04

在神經(jīng)網(wǎng)絡之前，早期的圖像風格遷移的處理方式多是分析某一種風格的圖像。但這種方法有一個明顯的缺點，即一個程序基本只能做某一種風格或者某一個場景，因此基于傳統(tǒng)風格遷移研究的實際應用非常有限。

2015年，Gatysetal.在兩篇論文中提出基于神經(jīng)網(wǎng)絡的圖像風格遷移改變了這種現(xiàn)狀。使用神經(jīng)網(wǎng)絡進行風格遷移生成圖片效果如右圖所示。圖像風格遷移的概念

04圖像風格遷移的簡史圖像風格遷移的發(fā)展如右圖所示：圖片風格與紋理204知識儲備圖像風格遷移1圖片風格遷移的方法3特征提取與遷移學習41204圖片風格與紋理要理解對于計算機來說圖片的風格是什么，需要追溯到2000年以及之前的圖片紋理生成的研究上。在2015年前所有的關于圖像紋理的論文都是手動建模，其中最重要的一個思想是：紋理可以用圖像局部特征的統(tǒng)計模型來描述。04圖片風格與紋理

這個圖片可以被稱作栗子的紋理，這紋理有個特征，就是所有的栗子都有個開口。如果使用簡單的數(shù)學模型表示開口的話，可以認為是某個弧度的弧線相交，而統(tǒng)計學上來說就是這種紋理有兩條這個弧度的弧線相交的概率比較大，這種可以被稱為統(tǒng)計特征。04圖片風格與紋理

有了這個前提或者思想之后，研究者成功的用復雜的數(shù)學模型和公式來歸納和生成了一些紋理，但畢竟手工建模耗時耗力。同時，受限于計算機的能力，早期紋理生成的結果并不理想。圖片風格與紋理04知識儲備圖像風格遷移1圖片風格遷移的方法特征提取與遷移學習412304傳統(tǒng)的圖像風格遷移

傳統(tǒng)的圖像風格遷移可以從兩個角度來說：計算機圖形學領域計算機視覺領域04

（1）計算機圖形學ComputerGraphics，簡稱CG。輸入的是對虛擬場景的描述，通常為多邊形數(shù)組，而每個多邊形由三個頂點組成，每個頂點包括三維坐標、貼圖坐標、rgb顏色等。輸出的是圖像，即二維像素數(shù)組。

傳統(tǒng)的圖像風格遷移傳統(tǒng)的圖像風格遷移04筆觸渲染的方法基于圖像濾波基于圖像類比的方法圖形風格轉(zhuǎn)移在計算機圖形學領域可以分為三種方法

但是這些方法都沒有大規(guī)模落地然而采集成對的數(shù)據(jù)集在現(xiàn)實場景下幾乎是不可能的需要確定某一風格不能簡單的擴展到其他風格的遷移但是濾波器的值是算法工程師不斷調(diào)整出來的，十分的耗時耗力，而且模擬出來的風格種類也是有限的需要成對的數(shù)據(jù)集圖像濾波的方式速度快，效果穩(wěn)定04（2）計算機視覺ComputerVision

簡稱CV，輸入的是圖像或圖像序列，通常來自相機、攝像頭或視頻文件。輸出的是對于圖像序列對應的真實世界的理解，比如檢測人臉、識別車牌。

在計算機視覺領域，風格遷移被視為紋理合成的擴展問題，假如在合成紋理圖的時候刻意的保留一些語義信息（即輸入圖的內(nèi)容信息），那就得到了風格遷移的結果。傳統(tǒng)的圖像風格遷移04基于神經(jīng)網(wǎng)絡的圖像風格遷移的方法紋理建模方法圖像重建方法基于神經(jīng)網(wǎng)絡的圖像風格遷移基于神經(jīng)網(wǎng)絡的圖像風格遷移04基于統(tǒng)計分布的參數(shù)化紋理建模方法基于MRF的非參數(shù)化紋理建模方法（1）紋理建模的方法主要將紋理建模為N階統(tǒng)計量用patch相似度匹配進行逐點合成基于神經(jīng)網(wǎng)絡的圖像風格遷移04基于在線圖像優(yōu)化的慢速圖像重建方法基于離線模型優(yōu)化的快速圖像重建方法在圖像像素空間做梯度下降來最小化目標函數(shù)設計一個前向網(wǎng)絡，用數(shù)據(jù)驅(qū)動的方式，喂給它很多訓練數(shù)據(jù)去提前訓練它，這個訓練好的網(wǎng)絡只需要一次前向就能輸出一張重建結果圖像（2）圖像重建方法：將風格和內(nèi)容混合然后還原成一個相應的風格化結果。04基于對抗生成的圖像風格遷移

基于GAN的風格遷移其實是屬于基于神經(jīng)網(wǎng)絡的風格遷移范圍之內(nèi)的，因為GAN網(wǎng)絡本質(zhì)上就是神經(jīng)網(wǎng)絡。Gatys模型和Gan網(wǎng)絡的輸入都是噪聲圖像，輸出也是一張圖像，經(jīng)過的網(wǎng)絡都是神經(jīng)網(wǎng)絡。不同之處則在于loss的設計方面。基于對抗生成的圖像風格遷移04

Gatys模型的loss函數(shù)是使用VGG網(wǎng)絡去提取風格圖片和目標圖片的特征做label；提取輸出圖片的特征做結果，并比較兩者的差異作為loss。基于對抗生成的圖像風格遷移04

Gan網(wǎng)絡由生成器和判別器兩個網(wǎng)絡組成，生成器負責對輸入圖片進行重建；其重建結果與真實數(shù)據(jù)集一起送入判別網(wǎng)絡進行判斷，判別網(wǎng)絡負責分辨生成器的輸出結果到底是來自真實數(shù)據(jù)集的真實圖片還是來自其本身的生成圖片。圖片風格與紋理04知識儲備圖像風格遷移1圖片風格遷移的方法特征提取與遷移學習1234特征提取04

人們發(fā)現(xiàn)深度學習可以用來訓練物體識別的模型。由于出色的識別效果，VGG19（VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition）成為當時最出名的物體識別網(wǎng)絡。特征提取04在Gatys論文（Gatysetal.,2015a）中，提出了一種用深度學習來給紋理建模的方法。Gatys

在VGG19強大且眾多的局部特征提取器的基礎上嵌套格拉姆矩陣（Gramianmatrix）去計算不同局部特征的相關性，把它變成了一個統(tǒng)計模型，于是就有了一個不用手工建模就能生成紋理的方法。遷移學習04

一個用分類任務訓練好的CNN，通常已經(jīng)具有了對世界大多數(shù)圖像提取信息的能力，因為圖像傳遞信息的底層機制是相通的，利用VGG19已經(jīng)訓練好的模型作為特征提取器，風格遷移模型可以直接利用這些提取的特征。把已訓練好的模型（預訓練模型）參數(shù)遷移到新的模型來幫助新模型訓練，這就是遷移學習。為什么這里要用一個已經(jīng)訓練好的CNN模型呢？04遷移學習

右圖清晰地表示了整個方法的過程。一張圖片是風格圖，一張是內(nèi)容圖，各自作為輸入，經(jīng)過VGG19網(wǎng)絡，得到各層卷積層的特征圖。從圖上你可以看到什么？職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移生成風格遷移圖片204任務實施風格遷移體驗案例21風格遷移體驗案例05在JupyterLab中使用感嘆號“!”表示執(zhí)行來自操作系統(tǒng)的命令。安裝命令的參數(shù)說明如下：1、安裝依賴-i是指向下載源，默認是國外源，但由于國外源下載速度慢，因此這里指向國內(nèi)源，以便于提高下載速度。數(shù)據(jù)增強05要實現(xiàn)風格遷移首先需要選定哪張圖片作為內(nèi)容圖片，哪張圖片作為風格圖片。2、選擇圖片VGG模型搭建05由于存儲與圖片大小限制，上傳的圖片分辨率需要限定在1200*1200以下，大小不超過3M。通過編寫compress_image()壓縮函數(shù)實現(xiàn)對上傳圖片進行壓縮。3、圖片壓縮compress_image()：用于壓縮圖片，當圖片大小超過限定要求時會將圖片壓縮Image.open()：PIL圖像處理中常見的模塊，用于打開圖片文件。接圖片路徑，用來直接讀取該路徑指向的圖片os.path.getsize()：獲得文件的大小（字節(jié)）VGG模型搭建05將本地圖片上傳至云端，用于接口調(diào)用。4、圖片上傳oss2：云服務相關模塊，用來上傳以及管理云上文件endpoint：用于存儲訪問的云服務的終端地址content_url：根據(jù)設定的Bucket名稱、訪問終端地址與文件存放的云端地址，可以確定云端內(nèi)容圖片的URL地址style_url：根據(jù)設定的Bucket名稱、訪問終端地址與文件存放的云端地址，可以確定云端風格圖片的URL地址生成風格遷移圖片204任務實施風格遷移體驗案例21VGG模型搭建05該模塊提供對解釋器使用或維護的一些變量的訪問，以及與解釋器強烈交互的函數(shù)。sysargv[0]是腳本名稱（依賴于操作系統(tǒng)，無論這是否是完整路徑名）alibabacloud_imageenhan20190930:用于調(diào)用的圖像風格遷移SDKalibabacloud_tea_openapi:用于配置與管理秘鑰Image.open()：PIL圖像處理中常見的模塊，用于打開圖片文件。接圖片路徑，用來直接讀取該路徑指向的圖片os.path.getsize()：獲得文件的大小（字節(jié)）這里用到的是sys.argv，可以看作一個從程序外部獲取參數(shù)的橋梁，得到的結果為傳遞給Python腳本的命令行參數(shù)列表。職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08初識圖像風格遷移任務檢查與評價061、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務實施經(jīng)驗。項目名稱使用VGG19遷移學習實現(xiàn)圖像風格遷移任務名稱初識圖像風格遷移評價方式可采用自評、互評、老師評價等方式說

明主要評價學生在項目學習過程中的操作技能、理論知識、學習態(tài)度、課堂表現(xiàn)、學習能力等

評價內(nèi)容與評價標準序號評價內(nèi)容評價標準分值得分1理論知識（20%）了解圖像風格遷移概念、簡史、原理與方法，理解特征提取與遷移學習的相關概念。（20分）20分

2專業(yè)技能（40%）風格遷移體驗案例（25%）正確的安裝依賴庫（2分）25分

3正確的選擇圖片（3分）正確的壓縮