深度生成模型

DeepGenerativeModels《神經網絡與深度學習》2025參考《神經網絡與深度學習》-深度生成模型一些例子來自于李宏毅《IntroductionofGenerativeAdversarialNetwork(GAN)》生成模型

GenerativeModels機器學習的兩種范式生成模型：一系列用于隨機生成可觀測數據的模型生成模型包含兩個步驟：密度估計采樣生成數據的另一種思路深度生成模型深度生成模型就是利用神經網絡構建生成模型。變分自編碼器（VariationalAutoencoder，VAE）[KingmaandWelling,2013,Rezendeetal.,2014]生成對抗網絡（GenerativeAdversarialNetwork，GAN）[Goodfellowetal.,2014]變分自編碼器

VariationalAutoencoder，VAE含隱變量的概率圖模型生成數據x的過程可以分為兩步進行：根據隱變量的先驗分布p(z;θ)采樣得到樣本z；根據條件分布p(x|z;θ)采樣得到x。概率生成模型EM算法回顧給定一個樣本x，其對數邊際似然logp(x|θ)可以分解為EstepMstep變分自編碼器的模型結構可以分為兩個部分：尋找后驗分布p(z|x;θ)的變分近似q(z|x;??)；變分推斷：用簡單的分布q去近似復雜的分p(z|x;θ)在已知q(z|x;??)的情況下，估計更好的分布p(x|z;θ)。變分自編碼器(VAE)用神經網絡來替代變分自編碼器推斷網絡推斷網絡目標生成網絡先驗分布p(z|θ)一般假設隱變量z的先驗分布為各向同性的標準高斯分布N(z|0,I)條件概率分布p(x|z,θ)假設p(x|z,θ)服從對角化協方差的高斯分布目標模型匯總再參數化再參數化分布q(z|x,?)依賴于參數?再參數化（reparameterization）是實現通過隨機變量實現反向傳播的一種重要手段

變分自編碼器的訓練過程變分自編碼器學習到的隱變量流形生成對抗網絡

GenerativeAdversarialNetwork（GAN）顯式密度模型和隱式密度模型顯式密度模型顯示地構建出樣本的密度函數p(x|θ)，并通過最大似然估計來求解參數；變分自編碼器、深度信念網絡隱式密度模型不顯示地估計出數據分布的密度函數但能生成符合數據分布pdata(x)的樣本無法用最大似然估計生成網絡生成網絡從隱空間（latentspace）中隨機采樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。如何學習生成網絡？生成網絡示例生成網絡

生成網絡

生成網絡

生成網絡

Eachdimensionofinputvectorrepresentssomecharacteristics.LongerhairbluehairOpenmouth判別網絡判別網絡的輸入則為真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。判別網絡判別網絡判別網絡判別網絡1.01.00.1?MinMaxGame對抗訓練生成網絡要盡可能地欺騙判別網絡。判別網絡將生成網絡生成的樣本與真實樣本中盡可能區分出來。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。生成網絡v3生成網絡v2對抗過程生成網絡(student)判別網絡(teacher)生成網絡v1判別網絡v1判別網絡v2NoeyesNomouthMinMaxGame判別網絡生成網絡MinimaxGame訓練過程AnimeFaceGeneration100updates1000updatesAnimeFaceGeneration2000updates5000updatesAnimeFaceGeneration10,000updates50,000updates一個具體的模型：DCGANs判別網絡是一個傳統的深度卷積網絡，但使用了帶步長的卷積來實現下采樣操作，不用最大匯聚（pooling）操作。生成網絡使用一個特殊的深度卷積網絡來實現使用微步卷積來生成64×63大小的圖像。DCGANs模型分析數據分布

Intheend……realgenerated模型分析

不穩定性：生成網絡的梯度消失

使用JS散度來訓練生成對抗網絡的一個問題是當兩個分布沒有重疊時，它們之間的JS散度恒等于常數log2。對生成網絡來說，目標函數關于參數的梯度為0。模型坍塌：生成網絡的“錯誤”目標生成網絡的目標函數其中后兩項和生成網絡無關，因此前向和逆向KL散度

前向KL散度逆向KL散度前向和逆向KL散度改進弱化判別器使用更好的損失函數realgeneratedstrongweakLeastSquareGAN(LSGAN)Replacesigmoidwithlinear(replaceclassificationwithregression)1(Real)0(Fake)判別網絡scalar判別網絡scalarTheydon’tmove.01realgeneratedf-GAN

f-GAN目標函數f-divergencesWassersteinGANWasserstein距離

Wasserstein距離

Kantorovich-

Rubinstein對偶定理Lipschitz連續函數WassersteinGAN梯度問題DCGANWGANbatchnormalizationconstantnumberoffiltersateverylayerDCGANG:CNN,D:CNNG:CNN(nonormalization),D:CNN(nonormalization)LSGANOriginalWGANImprovedWGANG:CNN(tanh),D:CNN(tanh)DCGANLSGANOriginalWGANImprovedWGANG:MLP,D:CNNG:CNN(badstructure),D:CNNG:101layer,D:101layerGAN的擴展條件生成根據條件針對性的生成數據生成網絡“Girlwithredhairandredeyes”“Girlwithyellowribbon”生成網絡

Inaspecificrange條件生成Givencondition:CaptionGenerationChat-botGivencondition:“Hello”“Ayounggirlisdancing.”“Hello.Nicetoseeyou.”ConditionalGANInfoGAN判別網絡分類器scalarGenerator=zZ'cxcPredictthecodecthatgeneratesx“Auto-encoder”Parametersharing(onlythelastlayerisdifferent)encoderdecoder/abs/1606.03657/abs/1606.03657AC-GANBiGANEncoderDecoderDiscriminatorImagexcodezImagexcodezImagexcodezfromencoderordecoder?(real)(generated)(frompriordistribution)JeffDonahue,

PhilippKr?henbühl,

TrevorDarrell,“AdversarialFeatureLearning”,

ICLR