GenerativeAdversarialNetwork(GAN)

生成對抗式網絡非監督學習及GAN非監督學習：訓練集沒有標注，學習的結果是數據的隱含規律，表現形式可以使數據按相似性分組、數據的分布、數據分量間的關聯規則，最主要的是探討非監督學習中的聚類問題。GAN是IanGoodfellow在2014年的經典之作，在許多地方作為非監督深度學習的代表作給予推廣。

GAN解決了非監督學習中的著名問題：給定一批樣本，訓練一個系統，能夠生成(generate)類似的新樣本。GAN之前的非監督學習直白的想法是，根據訓練集估計樣本分布p(x)。之后對p(x)進行采樣，可以生成“和訓練集類似”的新樣本。對于低維樣本，可以使用簡單的，只有少量參數的概率模型（例如高斯）擬合p(x)，但高維樣本（例如圖像）就不好辦了。RBM(RestrictedBoltzmannMachine)：構造一個無向圖，圖的能量和節點取值的概率有指數關系。利用訓練集設定圖中節點和邊的系數，用來表述樣本中單個元素和相連元素的關系。DBN(DeepBeliefNetworks)：用單個RBM和若干有向層構成網絡。計算復雜GAN對抗網絡：使用兩個網絡互相競爭，稱之為對抗式(adversarial)結構隨機向量隨機取樣生成器G：通過一個參數化概率生成模型(通常用深度神經網絡進行參數化)進行概率分布的逆變換采樣，得到一個生成的概率分布。判別器D：給定樣本，判斷(通常也是深度卷積神經網絡)這個樣本來自真實數據還是偽造數據。GAN損失函數這個Loss其實就是交叉熵。對于判別器D，它的任務是最小化-L(G,D)，即如果采用零和博弈，生成器G的目標是最小化L(G,D)，而實際操作發現零和博弈訓練效果并不好，G的目標一般采用最小化

或一般來說，更新D是，G是固定的；更新G時，D是固定的。GAN缺點在原始GAN的（近似）最優判別器下，第一種生成器loss面臨梯度消失問題，第二種生成器loss面臨優化目標荒謬、梯度不穩定、對多樣性與準確性懲罰不平衡導致缺乏多樣性的問題。原始GAN問題的根源可以歸結為兩點，一是等價優化的距離衡量（JS散度、KL散度）不合理，二是生成器隨機初始化后的生成分布很難與真實分布有不可忽略的重疊。衡量兩個分部的相似程度衡量兩個分部的相似程度應用：DCGAN2015年的DCGAN把類似的理念應用到人臉圖像上。通過對編碼（輸入的隨機向量）進行代數運算，控制生成人臉圖像的屬性。FacebookAIResearchTSFacebookAIResearchWasserstein距離Wasserstein距離又叫Earth-Mover（EM）距離，定義如下：Ⅱ(Pr,Pg)是Pr和Pg組合起來的所有可能的聯合分布的集合，反過來說，Ⅱ(Pr,Pg)中每一個分布的邊緣分布都是Pr和Pg。對于每一個可能的聯合分布γ而言，可以從中采樣得到一個真實樣本x和一個生成樣本y，并算出這對樣本的距離||x-y||，所以可以計算該聯合分布γ下樣本對距離的期望值。在所有可能的聯合分布中能夠對這個期望值取到的下界，就定義為Wasserstein距離。直觀上可以把理解為在γ這個“路徑規劃”下把Pr這堆“沙土”挪到Pg“位置”所需的“消耗”，而W(Pr,Pg)就是“最優路徑規劃”下的“最小消耗”，所以才叫Earth-Mover（推土機）距離。Wasserstein距離相比KL散度、JS散度的優越性在于，即便兩個分布沒有重疊，Wasserstein距離仍然能夠反映它們的遠近。EM距離—>WGANWasserstein距離定義中的沒法直接求解，用了一個已有的定理把它變換為如下形式：Lipschitz連續：對于連續函數f，存在常數K大于等于0，使得：對于定義域內任意x1，x2滿足：把f用一個帶參數w的神經網絡來表示，并對w進行限制，此時所有偏導數也不會超過某個范圍使得f

Lipschitz連續。EM距離—>WGAN構造一個含參數w、最后一層不是非線性激活層的判別器網絡，在限制w不超過某個范圍的條件下，使得盡可能取到最大，此時L就會近似真實分布與生成分布之間的Wasserstein距離（忽略常數倍數K）原始GAN的判別器做的是真假二分類任務，所以最后一層是sigmoid，但是現在WGAN中的判別器做的是近似擬合Wasserstein距離，屬于回歸任務，所以要把最后一層的sigmoid拿掉WassersteinGAN（WGAN）生成器要近似地最小化Wasserstein距離，可以最小化L，由于Wasserstein距離的優良性質，我們不需要擔心生成器梯度消失的