人工智能應用基礎(chǔ)授課人：周老師

技術(shù)篇項目6?生成式人工智能01項目描述05項目拓展02項目分析06項目小結(jié)03相關(guān)知識07項目練習04項目實施目錄項目描述01小明在網(wǎng)上商城購物，如果看中了自己喜歡的衣服，可以隨時在商城一個叫做在線試衣間的頁面給自己的虛擬人物換衣服，這樣他就可以更方便的找到適合自己的衣服了。他還發(fā)現(xiàn)自己手機里很多智能軟件可以生成自己不同風格的照片。這背后一定又是人工智能在發(fā)揮作用。但同時他也發(fā)現(xiàn)，給虛擬人物更換衣服，或者給自己的照片更換不同的風格好像跟以前學到的圖像識別、目標檢測都不一樣，自己在學習人工智能的道路上似乎又遇到了瓶頸，小明現(xiàn)在急許解開這些謎團。6.1項目描述02項目分析人臉識別、車牌識別屬于利用深度學習能完成的最基本的事情，這些任務(wù)要求人工智能識別出某些事物，包括圖像、聲音、文本等，然后給他們進行分類，判斷這些事情分別是什么。但還有一類任務(wù)，他們不再是做簡單的分類，而可以自己生成一些你沒見過的事物，小明看到的在線試衣間就屬于此類。了解在線試衣間的相關(guān)技術(shù)，需要學習以下內(nèi)容：1.

生成式模型2.

圖像生成3.圖像描述6.2項目分析03相關(guān)知識生成式模型生成式人工智能利用某個數(shù)據(jù)集中的樣本來訓練機器學習模型。然后，由用戶輸入某些提示，讓模型為我們成生與訓練數(shù)據(jù)類似的輸出。6.3相關(guān)知識自動編碼器自動編碼器是一種生成模型，由編碼器和解碼器組成，它們通常情況下是結(jié)構(gòu)相同的兩個神經(jīng)網(wǎng)絡(luò)，可以由全連接層組成，也可以是由卷積層組成的。編碼器的任務(wù)將輸入數(shù)據(jù)轉(zhuǎn)換為一個特征向量，解碼器將該特征向量進行解碼重建，轉(zhuǎn)換為輸入數(shù)據(jù)的樣子，從而使其具備了生成數(shù)據(jù)的能力。6.3相關(guān)知識自動編碼器進行圖像降噪對于一個訓練好的自動編碼器模型，只要隨機采樣一些像素值輸入到模型進行編碼、解碼之后，可以得到與訓練集圖像類似的新圖像，這可以幫我們創(chuàng)建一些新的數(shù)字圖片。6.3相關(guān)知識自動編碼器生成新圖像也可以隨機的改變特征向量中部分值，解碼器部分就可以用來從修改過的特征向量創(chuàng)建新的圖像，得到與訓練集圖像類似但不同于訓練集中任何一張圖像的新圖像。6.3相關(guān)知識生成對抗模型專業(yè)工廠與普通工廠之間生產(chǎn)零件的對抗6.3相關(guān)知識生成對抗模型用生成對抗模型訓練圖像生成器6.3相關(guān)知識生成對抗模型核心部件：生成器與對抗器生成器和判別器采取交替訓練先訓練生成器，然后訓練判別器，不斷往復，使生成器和判別器的對抗關(guān)系形成了一種動態(tài)平衡。生成器試圖最大化判別器犯錯的概率判別器則努力減小這種誤判。這種對抗訓練機制使得生成器能夠生成越來越高質(zhì)量的數(shù)據(jù)，同時也提高了判別器的鑒別能力。6.3相關(guān)知識生成對抗模型生成圖片樣例6.3相關(guān)知識生成對抗模型生成出手寫數(shù)字圖片6.3相關(guān)知識生成對抗模型面對多種手寫體時的缺陷，生成器只會生成其一種或幾種，就足以通過鑒別器的鑒別6.3相關(guān)知識生成對抗模型解決方法：多個生成器組成的生成對抗模型6.3相關(guān)知識風格遷移用自動編碼器實現(xiàn)6.3相關(guān)知識風格遷移用生成對抗模型實現(xiàn)。根據(jù)輸入的隨機噪聲來生成數(shù)據(jù)的，輸入不同的噪聲就會生成不一樣的圖像，新圖像跟訓練數(shù)據(jù)集相似。6.3相關(guān)知識但無法去控制這種隨機性。不能控制生成器具體的輸出內(nèi)容，僅僅能保證新生成的圖像是逼近訓練數(shù)據(jù)集中出現(xiàn)過的帶條件的生成對抗模型將某種條件，如圖像、文本或?qū)傩詷撕炛堤砑拥诫S機噪聲圖像中一起輸入到生成器里，通常條件與噪聲圖像直接拼接在一起即可。生成器的輸出就不僅依賴于隨機噪聲，還要加上條件，而這個條件是我們可以控制的。6.3相關(guān)知識帶條件的生成對抗模型風格遷移：將一些風格圖像作為條件與隨機噪聲拼接在一起輸入到生成器，用來控制生成器輸出的圖像風格。6.3相關(guān)知識帶條件的生成對抗模型訓練一個手繪風格遷移的模型，在訓練生成器生成貓的圖片時，將手繪的草圖作為條件與噪聲一起輸入，來控制生成圖像的輪廓6.3相關(guān)知識文本描述生成圖像基于文本描述來生成圖像內(nèi)容6.3相關(guān)知識文本描述生成圖像將文字作與噪聲圖像一起作為條件輸入生成對抗模型進行訓練。訓練生成器的圖像數(shù)據(jù)集需要很大，盡可能多的包含文字可能描述的內(nèi)容。如果文字中提到眼鏡，但圖像數(shù)據(jù)集中沒有眼鏡的圖像，那說明生成器從來沒有接受過眼鏡圖像的訓練，自然無法生成。6.3相關(guān)知識圖像描述將圖像概括成文本，通過一段文字來描述，從而實現(xiàn)輔助理解一些常人難以理解的圖像，又稱圖像字幕生成。6.3相關(guān)知識圖像描述常用的流程包括：圖像特征提取和將圖像翻譯為文字。1、使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的特征向，特征包括圖像中的對象、場景和它們之間的關(guān)系。2、將提取的圖像特征看作一種文本，輸入到某種翻譯模型中，根據(jù)圖像特征中的信息生成符合語法和語義的文本描述，整個過程類似于將圖像翻譯為文字。6.3相關(guān)知識圖像描述圖像描述任務(wù)所需要的數(shù)據(jù)集是很大的，并且每張圖像都有對應人工標記，這些標記內(nèi)容就是圖像的描述文本。標記的內(nèi)容決定了在遇到類似圖片時，會優(yōu)先生成與標記風格類似的文本。6.3相關(guān)知識圖像描述樣例圖像描述基于單詞的圖像描述方法：先從圖像中提取單詞，然后由單詞組成多個候選句子，最后對這些候選句子進行篩選或合并，形成最終的描述文本。需要一個目標檢測模型來提取一副圖像中所包含的可識別物體，該物體的類別即可對應要生成的單詞，而單詞之間的關(guān)系可通過物體邊界框的位置來確定6.3相關(guān)知識04項目實施1、打開EasyDL平臺進入頁面：/product/face/merge，在該頁面中點擊“本地上傳”按鈕來指定目標圖和模版圖，目標圖將與模板圖進行融合，輸出一張融合后的人臉。——“人臉融合”6.4項目實施2、上傳圖片自己上傳兩張圖片，分別作為模板圖和目標圖，并查看最終效果。05項目拓展如果我們要把自己的樣子變成喜歡的動漫人物，也可以用條件生成對抗模型來完成。類比風格遷移的話，動漫人物就是一種風格，我們要做的是把動漫中的人物風格遷移到自己的照片中。這種模型要怎么訓練你能說出來嗎？6.5項目拓展06項目小結(jié)自動編碼器網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)，這兩個模型都屬于自監(jiān)督學習，在訓練時不需要給數(shù)據(jù)做上標記，而是以數(shù)據(jù)本身作為學習的目標，這可以節(jié)省大量的工作。利用生成式模型，我們可以創(chuàng)造一些原來沒有的數(shù)據(jù)，生成一些意想不到的圖像或是文本，比如圖像去噪、風格遷移、利用文本生成對應的圖像和用文本描述圖像內(nèi)容等。但是為了完成這些任務(wù)，模型需要有大量的訓練數(shù)據(jù)，才能保證結(jié)果能接受。6.6項目小結(jié)07項目練習一、選擇題

1.?生成式人工智能的目標是什么？（

）

A.?提高訓練速度B.?提高計算效率C.?模擬人類的創(chuàng)造力D.?實現(xiàn)自動化生產(chǎn)2.?生成式模型能夠生成哪些類型的數(shù)據(jù)？（

）A.?文本

B.?圖像C.?音頻D.?文本、圖像、音頻和視頻等多種類型的數(shù)據(jù)3.?生成對抗網(wǎng)絡(luò)的作用是什么？（

）A.?生成逼真的圖像、文字、視頻等B.?優(yōu)化數(shù)據(jù)存儲C.?圖像識別D.?目標檢測6.7項目練習一、選擇題

4.?生成式人工智能在文本生成方面的應用不包括以下哪一項？（

）

A.?創(chuàng)作新聞文章B.?生成詩歌C.?編寫程序代碼D.?實現(xiàn)語音識別5.?以下哪項不是生成式人工智能的關(guān)鍵技術(shù)？（

）A.?深度學習B.?樣本標簽C.?神經(jīng)網(wǎng)絡(luò)D.?生成對抗模型6