第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第一節(jié)生成對(duì)抗網(wǎng)絡(luò)6.1.1什么是生成對(duì)抗網(wǎng)絡(luò)？生成對(duì)抗網(wǎng)絡(luò)（GAN）實(shí)質(zhì)上就是一種深度學(xué)習(xí)模型，由IanGoodfellow等人于2014年提出。它由兩個(gè)主要組件組成：生成器（Generator）和判別器（Discriminator）。生成器：通常是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，它接受一個(gè)隨機(jī)噪聲作為輸入，并嘗試將其轉(zhuǎn)換成看起來(lái)像真實(shí)數(shù)據(jù)的輸出。這個(gè)過(guò)程涉及到從一個(gè)潛在空間中采樣，然后通過(guò)生成模型將這些樣本轉(zhuǎn)換成高維數(shù)據(jù)樣本。判別器：也是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，它的任務(wù)是判斷輸入的數(shù)據(jù)樣本是否來(lái)自真實(shí)數(shù)據(jù)集，或者是由生成器生成的假數(shù)據(jù)。這兩個(gè)組件通過(guò)對(duì)抗學(xué)習(xí)的方式相互競(jìng)爭(zhēng)，以達(dá)到訓(xùn)練數(shù)據(jù)分布的模擬或生成新數(shù)據(jù)樣本。無(wú)監(jiān)督學(xué)習(xí)：GAN是一種無(wú)監(jiān)督學(xué)習(xí)方法，它不需要標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。生成新數(shù)據(jù)：GAN能夠?qū)W習(xí)訓(xùn)練數(shù)據(jù)的分布，并利用學(xué)到的分布生成與訓(xùn)練數(shù)據(jù)相似的新數(shù)據(jù)樣本。多樣性和逼真性：生成器通過(guò)學(xué)習(xí)數(shù)據(jù)的分布，可以生成多樣化和逼真的數(shù)據(jù)樣本。GAN的生成器通常能夠生成具有高分辨率和逼真度的圖像，使得生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)難以區(qū)分。對(duì)抗訓(xùn)練機(jī)制：GAN利用生成器和判別器之間的對(duì)抗訓(xùn)練機(jī)制，通過(guò)交替訓(xùn)練兩個(gè)網(wǎng)絡(luò)來(lái)提高生成器和判別器的性能。這種對(duì)抗訓(xùn)練機(jī)制能夠推動(dòng)模型不斷提高，使得生成器產(chǎn)生更逼真的數(shù)據(jù)樣本，同時(shí)使判別器更加準(zhǔn)確地區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)。6.1.1什么是生成對(duì)抗網(wǎng)絡(luò)？生成對(duì)抗網(wǎng)絡(luò)的特點(diǎn)優(yōu)點(diǎn)作為一種無(wú)監(jiān)督學(xué)習(xí)方法，生成對(duì)抗網(wǎng)絡(luò)（GAN）不需要標(biāo)記的數(shù)據(jù)即可訓(xùn)練。生成器能夠生成多樣化的數(shù)據(jù)樣本，使得生成結(jié)果具有創(chuàng)造性，能夠產(chǎn)生多個(gè)不同風(fēng)格和內(nèi)容的數(shù)據(jù)。缺點(diǎn)與挑戰(zhàn)訓(xùn)練不穩(wěn)定：GAN的訓(xùn)練過(guò)程通常比較不穩(wěn)定，容易出現(xiàn)模式崩潰或模式震蕩等問(wèn)題，需要仔細(xì)調(diào)整超參數(shù)和網(wǎng)絡(luò)架構(gòu)。模式震蕩：GAN訓(xùn)練過(guò)程中可能出現(xiàn)模式震蕩，即生成器和判別器在學(xué)習(xí)過(guò)程中不斷輪換，但最終無(wú)法收斂到穩(wěn)定的狀態(tài)。模型評(píng)估困難：由于生成的數(shù)據(jù)樣本是由模型生成的，因此很難確定生成結(jié)果的質(zhì)量和逼真度，評(píng)估生成對(duì)抗網(wǎng)絡(luò)的性能是一個(gè)挑戰(zhàn)。6.1.1什么是生成對(duì)抗網(wǎng)絡(luò)？生成對(duì)抗網(wǎng)絡(luò)（GAN）的優(yōu)點(diǎn)與缺點(diǎn)圖像領(lǐng)域生成對(duì)抗網(wǎng)絡(luò)在圖像領(lǐng)域的應(yīng)用范圍非常廣泛，涵蓋了圖像生成、修復(fù)、轉(zhuǎn)換、超分辨率等多個(gè)方面，為圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域催生了新的發(fā)展方向風(fēng)格遷移圖像增強(qiáng)超分辨率圖像生成6.1.2生成對(duì)抗網(wǎng)絡(luò)（GAN）的應(yīng)用范圍類似于在圖像方面，GAN在音頻領(lǐng)域和視頻領(lǐng)域也有十分廣泛的應(yīng)用音頻領(lǐng)域語(yǔ)音合成音樂(lè)生成音頻增強(qiáng)和去噪語(yǔ)音轉(zhuǎn)換圖像領(lǐng)域圖像生成圖像修復(fù)和增強(qiáng)圖像風(fēng)格遷移圖像超分辨率視頻領(lǐng)域視頻生成與編輯應(yīng)用視頻修復(fù)和增強(qiáng)視頻風(fēng)格遷移視頻分析和理解6.1.2生成對(duì)抗網(wǎng)絡(luò)（GAN）的應(yīng)用范圍《深度學(xué)習(xí)》張敬林南開(kāi)大學(xué)

人工智能學(xué)院第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第二節(jié)生成對(duì)抗網(wǎng)絡(luò)的原理GAN的基本原理很簡(jiǎn)單，其由兩個(gè)網(wǎng)絡(luò)組成，一個(gè)是生成器G，另外一個(gè)是判別器D。在最理想的狀態(tài)下，G可以生成足以“以假亂真”的圖片G(z)。在概率統(tǒng)計(jì)理論中，運(yùn)用生成模型的目的主要是隨機(jī)生成觀測(cè)數(shù)據(jù)。在機(jī)器學(xué)習(xí)中，生成模型既可以用來(lái)直接對(duì)數(shù)據(jù)建模，也可以用來(lái)建立變量間的條件概率分布。生成模型可以依照貝葉斯定理形成條件概率分布。簡(jiǎn)單而言，利用生成模型，可以在原來(lái)訓(xùn)練數(shù)據(jù)樣本的基礎(chǔ)上生成新的數(shù)據(jù)樣本。6.2.1生成模型功能生成模型的目標(biāo)是能夠?qū)W習(xí)到真實(shí)數(shù)據(jù)分布的潛在結(jié)構(gòu)，并通過(guò)分析和模擬這種結(jié)構(gòu)生成逼近于真實(shí)數(shù)據(jù)的模擬樣本。在生成過(guò)程中，生成器會(huì)盡量縮小生成樣本與真實(shí)樣本之間的分布差異，即最小化損失函數(shù)。其損失函數(shù)通常表示為生成樣本被判別為真實(shí)樣本的概率的負(fù)對(duì)數(shù)似然：6.2.1生成模型生成模型數(shù)學(xué)原理PyTorch實(shí)現(xiàn)了對(duì)生成器模型的封裝，使用者可以直接調(diào)用classGenerator定義。超參數(shù)描述與使用示例如下所示。下邊是生成器模型的Python代碼：這段代碼定義了一個(gè)簡(jiǎn)單的生成器模型，它包含三個(gè)全連接層，并且在激活函數(shù)上使用了ReLU。最后一層使用Tanh激活函數(shù)將輸出限制在[-1,1]之間，以便與圖像數(shù)據(jù)的范圍相匹配。生成模型代碼展示6.2.1生成模型判別模型可以把一副圖像的內(nèi)容分成是否有貓或者狗或者其他，像下圖中我們訓(xùn)練一個(gè)判別模型去辨別是否是梵高的畫(huà)，這個(gè)判別模型會(huì)對(duì)數(shù)據(jù)集中的畫(huà)的特征進(jìn)行提起和分類，從而區(qū)分出哪個(gè)是梵高所作。6.2.2判別模型功能判別模型的目標(biāo)是區(qū)分生成的樣本和真實(shí)樣本。判別器嘗試最大化正確分類的概率，即最大化對(duì)真實(shí)樣本和生成樣本的預(yù)測(cè)準(zhǔn)確性。判別模型的損失函數(shù)通常表示為判別器正確分類真實(shí)樣本和生成樣本的概率的負(fù)對(duì)數(shù)似然：判別模型數(shù)學(xué)原理6.2.2判別模型這段代碼定義了一個(gè)簡(jiǎn)單的判別器模型，它包含三個(gè)全連接層，并在激活函數(shù)上使用了LeakyReLU。最后一層使用Sigmoid激活函數(shù)將輸出限制在[0,1]之間，表示判別樣本為真實(shí)樣本的概率。判別模型代碼展示6.2.2判別模型生成對(duì)抗網(wǎng)絡(luò)的整體訓(xùn)練過(guò)程可以用一個(gè)聯(lián)合優(yōu)化問(wèn)題來(lái)描述，該問(wèn)題包括生成器損失函數(shù)的最大化和判別器損失函數(shù)的最小化。整體訓(xùn)練過(guò)程的數(shù)學(xué)公式如下：6.2.3訓(xùn)練過(guò)程損失函數(shù)《深度學(xué)習(xí)》張敬林南開(kāi)大學(xué)

人工智能學(xué)院第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第三節(jié)GAN的可視化與實(shí)踐6.3.1生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練過(guò)程可視化GAN的訓(xùn)練可視化理解：IanGoodfellow在他的論文中提供了一個(gè)GAN的可視化實(shí)現(xiàn)示例，下圖中的虛線代表真實(shí)數(shù)據(jù)分布，而實(shí)線代表生成器生成的數(shù)據(jù)分布。在這個(gè)例子中，生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)是讓實(shí)線（生成數(shù)據(jù)的分布）逐漸逼近虛線（真實(shí)數(shù)據(jù)分布）。DCGAN：DCGAN（DeepConvolutionalGenerationAdversarialNetwork，深度卷積生成對(duì)抗網(wǎng)絡(luò)）是一種生成對(duì)抗網(wǎng)絡(luò)的變體，它是利用CNN來(lái)構(gòu)建自己的生成器和判別器的。InfoGAN：InfoGAN（InformationMaximizingGenerativeAdversarialNetworks，信息最大化生成對(duì)抗網(wǎng)絡(luò)）是在原始GAN基礎(chǔ)上發(fā)展而來(lái)的變體，它引入了一種無(wú)監(jiān)督學(xué)習(xí)方法，旨在從隨機(jī)噪聲中提取有意義的特征。CycleGAN：CycleGAN（CycleGenerativeAdversarialNetwork，循環(huán)對(duì)抗生成網(wǎng)絡(luò)）是一種適用于無(wú)監(jiān)督圖像轉(zhuǎn)換的生成對(duì)抗網(wǎng)絡(luò)。它能夠?qū)崿F(xiàn)在不同領(lǐng)域之間的轉(zhuǎn)換，例如將馬轉(zhuǎn)變?yōu)榘唏R，或?qū)⑾奶斓膱?chǎng)景轉(zhuǎn)換為冬天。6.3.2生成對(duì)抗網(wǎng)絡(luò)的衍生結(jié)構(gòu)《深度學(xué)習(xí)》張敬林南開(kāi)大學(xué)

人工智能學(xué)院第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第四節(jié)擴(kuò)散模型6.4.1什么是擴(kuò)散模型擴(kuò)散模型是一種用于描述和模擬自然界中物質(zhì)傳播和擴(kuò)散過(guò)程的數(shù)學(xué)模型。它基于偏微分方程，通常是擴(kuò)散方程，描述了物質(zhì)在空間中隨時(shí)間傳播的行為。擴(kuò)散模型的特點(diǎn)是一種基于偏微分方程的數(shù)學(xué)模型，描述了物質(zhì)在空間中隨時(shí)間傳播的行為，具有良好的數(shù)學(xué)基礎(chǔ)和理論支持。擴(kuò)散模型考慮了物質(zhì)的濃度梯度，假設(shè)物質(zhì)會(huì)沿著濃度梯度從高濃度區(qū)域向低濃度區(qū)域擴(kuò)散，因此可以描述物質(zhì)的傳播規(guī)律。擴(kuò)散模型可以適用于多種物質(zhì)和不同尺度的擴(kuò)散過(guò)程，包括分子擴(kuò)散、熱傳導(dǎo)、人口遷移、信息傳播等現(xiàn)象，具有廣泛的適用性。擴(kuò)散模型在實(shí)際應(yīng)用中具有重要意義，可以用于環(huán)境保護(hù)、醫(yī)學(xué)診斷、城市規(guī)劃等領(lǐng)域，為問(wèn)題的分析、預(yù)測(cè)和決策提供了有力工具。擴(kuò)散模型的定義6.4.2擴(kuò)散模型的使用范圍圖像領(lǐng)域圖像去噪圖像分割圖像平滑處理圖像弱邊緣視頻領(lǐng)域視頻去噪視頻平滑邊緣保留雖然擴(kuò)散模型在圖像分割領(lǐng)域的使用范圍較窄，但仍然可以將其作為圖像分割任務(wù)中的一個(gè)輔助工具或者預(yù)處理方法來(lái)使用《深度學(xué)習(xí)》張敬林南開(kāi)大學(xué)

人工智能學(xué)院第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第五節(jié)擴(kuò)散模型的原理6.5.1擴(kuò)散模型基礎(chǔ)生成式建模的一個(gè)核心挑戰(zhàn)是在模型的靈活性和可計(jì)算性之間尋找平衡。擴(kuò)散模型提出了一種基本思想，即通過(guò)正向擴(kuò)散過(guò)程有序地?cái)_動(dòng)數(shù)據(jù)分布，然后通過(guò)學(xué)習(xí)反向擴(kuò)散過(guò)程來(lái)恢復(fù)數(shù)據(jù)的分布，從而創(chuàng)建一個(gè)高度靈活且易于計(jì)算的生成模型。下面是兩種擴(kuò)散模型實(shí)例：DenoisingDiffusionProbabilisticModels（DDPM）Score-BasedGenerativeModels（SGM）DenoisingDiffusionProbabilisticModels（DDPM）：一個(gè)雙向隱式生成模型（DDPM）由兩個(gè)參數(shù)化馬爾可夫鏈（分為正向鏈和反向鏈）組成，利用變分推斷技術(shù)，在有限時(shí)間內(nèi)生成與原始數(shù)據(jù)分布一致的樣本。正向鏈的作用是擾動(dòng)數(shù)據(jù)，它按照預(yù)先設(shè)計(jì)的噪聲進(jìn)度逐漸向數(shù)據(jù)添加高斯噪聲，直到數(shù)據(jù)的分布趨向于先驗(yàn)分布，即標(biāo)準(zhǔn)高斯分布。反向鏈從給定的先驗(yàn)分布開(kāi)始，使用參數(shù)化的高斯轉(zhuǎn)換核，逐步學(xué)習(xí)恢復(fù)原始數(shù)據(jù)分布。去噪擴(kuò)散概率模型6.5.1擴(kuò)散模型基礎(chǔ)若用表示原始數(shù)據(jù)及其分布，那么正向鏈的分布可由下式表示：這表明正向鏈?zhǔn)邱R爾可夫過(guò)程，xt是經(jīng)過(guò)t步噪聲擾動(dòng)后的樣本，βt是預(yù)先設(shè)定的控制噪聲進(jìn)度的參數(shù)。當(dāng)t趨于1時(shí)，可近似認(rèn)為其服從標(biāo)準(zhǔn)高斯分布。當(dāng)βt很小時(shí)，逆向過(guò)程的轉(zhuǎn)移核也可近似認(rèn)為是高斯的，公式如下所示：去噪擴(kuò)散概率模型6.5.1擴(kuò)散模型基礎(chǔ)Score-BasedGenerativeModels（SGM）：SGM構(gòu)建了一個(gè)隨機(jī)微分方程（SDE），以平滑地?cái)_動(dòng)數(shù)據(jù)分布，將原始數(shù)據(jù)分布映射到已知的先驗(yàn)分布。其公式如下：可以將先驗(yàn)分布轉(zhuǎn)換回原始數(shù)據(jù)分布，其公式如下：因此，為了逆轉(zhuǎn)擴(kuò)散過(guò)程并生成數(shù)據(jù)，我們唯一需要的信息是每個(gè)時(shí)間點(diǎn)的得分函數(shù)。通過(guò)利用得分匹配技巧，我們可以通過(guò)以下?lián)p失函數(shù)來(lái)學(xué)習(xí)得分函數(shù)：基于分?jǐn)?shù)的生成模型6.5.1擴(kuò)散模型基礎(chǔ)6.5.2擴(kuò)散模型核心思想擴(kuò)散模型作為生成模型的一種，其核心思想是通過(guò)從隨機(jī)噪聲開(kāi)始，逐步生成逼真的圖像。在生成過(guò)程中，模型通過(guò)多個(gè)步驟逐漸細(xì)化，直到產(chǎn)生最終的輸出圖像。在每個(gè)步驟中，模型都會(huì)估計(jì)如何從當(dāng)前輸入（通常是噪聲圖像）變?yōu)楦咏鎸?shí)圖像的版本，即去噪的圖像。值得注意的是，在每個(gè)步驟中，模型只會(huì)進(jìn)行很小的更改，以逐漸逼近真實(shí)圖像的細(xì)節(jié)和特征。早期階段的估計(jì)中可能存在一些錯(cuò)誤，但隨著模型的不斷迭代更新，這些錯(cuò)誤會(huì)被逐漸糾正，直到最終生成的圖像質(zhì)量達(dá)到所需的水平。因此，擴(kuò)散模型的核心思想是從噪聲圖像開(kāi)始，利用迭代過(guò)程逐步生成逼真的圖像，并通過(guò)不斷地更新來(lái)提高生成圖像的質(zhì)量。擴(kuò)散模型直觀的核心思想6.5.2擴(kuò)散模型核心思想如下圖，假設(shè)第一行是清晰的圖像，第二行是加了噪聲的圖像。我們采用一個(gè)簡(jiǎn)單的編碼-解碼器模型，直接對(duì)帶噪聲的圖像進(jìn)行去噪處理，以生成清晰的圖像，結(jié)果顯示在第三行。可以觀察到，在噪聲相對(duì)較小的情況下，這樣的模型能夠有效地去除噪聲。然而，當(dāng)噪聲較大時(shí)（右側(cè)圖像），這種方法往往難以恢復(fù)出清晰的圖像。理解擴(kuò)散模型的核心思想6.5.3擴(kuò)散模型的數(shù)學(xué)原理前向過(guò)程：該部分將對(duì)擴(kuò)散模型的前向過(guò)程進(jìn)行數(shù)學(xué)原理的可視化直觀解釋。擴(kuò)散模型首先定義了一個(gè)前向擴(kuò)散過(guò)程，共包含T個(gè)時(shí)間步，如下圖所示：左側(cè)的綠色圓圈x0表示真實(shí)的自然圖像，對(duì)應(yīng)下方的小狗圖片。右側(cè)的綠色圓圈xt表示純高斯噪聲，對(duì)應(yīng)下方的噪聲圖片。中間的綠色圓圈xt表示加了噪聲的x0，對(duì)應(yīng)下方加了噪聲的小狗圖片。箭頭下方的q（xt|xt-1）表示一個(gè)以前一個(gè)狀態(tài)

為均值的高斯分布，xt從這個(gè)高斯分布中采樣得到。前向過(guò)程前向擴(kuò)散過(guò)程可被理解為一個(gè)馬爾可夫鏈，它逐步地對(duì)一張真實(shí)圖片添加高斯噪聲，直到最終變成純高斯噪聲圖片。其數(shù)學(xué)表達(dá)式如下：換言之，每個(gè)時(shí)間步xt是從一個(gè)以（1-βt)?為均值，βt為方差的高斯分布中采樣得到的。其中βt，t∈[1,T]是一系列固定的值，由一個(gè)公式生成。前向擴(kuò)散過(guò)程具有一個(gè)特性，即可以直接從x0采樣得到中間任意一個(gè)時(shí)間步的噪聲圖片xt，其公式如下：6.5.3擴(kuò)散模型的數(shù)學(xué)原理前向過(guò)程反向過(guò)程：這一部分將通過(guò)數(shù)學(xué)原理的可視化直觀解釋，對(duì)擴(kuò)散模型的反向過(guò)程進(jìn)行說(shuō)明。反向擴(kuò)散過(guò)程q(xt-1|xt,x0)(見(jiàn)綠色箭頭）是前向擴(kuò)散過(guò)程q(xt|xt-1)的后驗(yàn)概率分布。與前向過(guò)程相反，是從最右邊的純高斯噪聲圖開(kāi)始，逐步采樣得到真實(shí)圖像x0

，過(guò)程如下圖所示：6.5.3擴(kuò)散模型的數(shù)學(xué)原理前向過(guò)程后驗(yàn)概率q(xt-1|xt,x0)可以根據(jù)貝葉斯公式進(jìn)行推到得到以下公式：然而，現(xiàn)在出現(xiàn)了一個(gè)問(wèn)題。在通過(guò)反向過(guò)程生成圖像時(shí)，我們并不知道均值中的x0，因?yàn)檫@是待生成的目標(biāo)圖像。那么我們可以構(gòu)建一個(gè)高斯分布q(xt-1|xt)，使其方差與后驗(yàn)分布q(xt-1|xt,x0)一致。從公式上看，方差是一個(gè)常量，可以提前計(jì)算得到所有時(shí)間步的方差值公式如下：其均值計(jì)算公式如下：6.5.3擴(kuò)散模型的數(shù)學(xué)原理前向過(guò)程《深度學(xué)習(xí)》張敬林南開(kāi)大學(xué)

人工智能學(xué)院第六章

生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型

第六節(jié)生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型的結(jié)合6.6.1結(jié)合的優(yōu)勢(shì)提升數(shù)據(jù)生成的質(zhì)量。盡管GAN在圖像生成領(lǐng)域表現(xiàn)出色，但有時(shí)生成的數(shù)據(jù)可能缺乏多樣性和真實(shí)感。通過(guò)將擴(kuò)散模型與GAN相結(jié)合，可以引入物質(zhì)傳輸?shù)奶匦裕瑥亩股傻臄?shù)據(jù)更加自然。生成對(duì)抗網(wǎng)絡(luò)通常難以對(duì)生成過(guò)程進(jìn)行精細(xì)控制。然而，在某些應(yīng)用場(chǎng)景下，我們可能期望生成的數(shù)據(jù)具有特定的時(shí)間或空間演化模式。引入擴(kuò)散模型可以讓我們更精細(xì)地控制生成過(guò)程。結(jié)合擴(kuò)散模型和GAN技術(shù)，可有效用于圖像恢復(fù)和去噪。這種結(jié)合能夠?qū)崿F(xiàn)更高水準(zhǔn)的圖像恢復(fù)和去噪效果。生成器通過(guò)處理含噪聲的圖像，能夠還原出更清晰的圖像，同時(shí)保持圖像的細(xì)節(jié)和特征，使得結(jié)果更加逼真和可靠。提升數(shù)據(jù)生成的質(zhì)量完成精細(xì)化控制數(shù)據(jù)恢復(fù)和去噪盡管GAN能夠生成逼真的圖像，但有時(shí)生成的圖像仍然可能存在一些模糊、失真或偽影等問(wèn)題。改進(jìn)生成器的架構(gòu)，可以引入多個(gè)判別器、修改損失函數(shù)或采用其他正則化技術(shù)，以鼓勵(lì)生成器生成更多樣化的圖像。此外，調(diào)整損失函數(shù)、引入更多的先驗(yàn)信息等方法，可以提高生成圖像的質(zhì)量。當(dāng)GAN用于條件合成時(shí)，通常會(huì)利用大量類別標(biāo)簽，因此可以借助分類器來(lái)增強(qiáng)擴(kuò)散模型的效果。無(wú)需對(duì)擴(kuò)散模型進(jìn)行額外訓(xùn)練，可以直接在已訓(xùn)練好的擴(kuò)散模型基礎(chǔ)上，通過(guò)外部分類器引導(dǎo)生成期望的圖像。通過(guò)將分類器與擴(kuò)散模型進(jìn)行有效集成來(lái)提高效率。在訓(xùn)練過(guò)程中，可以設(shè)計(jì)輕量級(jí)的分類器結(jié)構(gòu)，以減少額外的計(jì)算成本。此外，可以將分類器與生成器進(jìn)行參數(shù)共享，