1、深度學習框架下的神經網絡2018-02-17左右互搏：生成式對抗網絡|深度學習框架下的神經網絡 | 左右互搏：生成式對抗網絡朗讀人：1231 | 5.74M2016 執10 月，谷歌大腦的研究者們做個有趣的實驗：使用三個并復雜的神經網絡通信的任務，兩個合法通信方共享的只有的密鑰，而沒有商定的加算法，第三個神經網絡則作為者出現。這種配置顯然學的：無論是公鑰體制還是私鑰體制，加的算法都是已知的。如果合法通信雙方能統加的方法，實現通信就是“巧婦難為無米之炊”。可谷歌偏偏信這，他們就是要讓神經網絡實現雙盲的加密與。實驗的結果同樣令人驚訝：經過斷的試錯與調整，接收方可以精確恢復出發送方的明文，而者的錯誤

2、率穩定在 50% 左右，意味著破譯只是隨機的猜測。這個實驗的意義在于展示出神經網絡的潛能：它們僅能夠在欠缺先驗規則的條件下，通過對大數據的無監督學習完成目標，甚至還能夠在學習過程中根據實際條件的變化對完成目標的方式進動態調整。這個實驗的環境，就是在最近兩名聲大噪的生成式對抗網絡。生成式對抗網絡（generativeadversarial network）由深度學習的第作者伊安古提出，這是類在無監督學習中使用的人工智能算法，由兩個在零和框架下相互競爭的神經網絡實現。“零和”（zero-sum game）這個術語來自于博弈論，意思是博弈雙方的益之和為零。由于方的收益必然意味著另方的損失，因而雙方可

3、能實現合作，屬于非合作博弈。生成式對抗網絡的兩個玩家個叫生成（generator）， 個叫判別（discriminator），均可以采用深度神經網絡實現，這兩者之間的對抗就是網絡訓練的主旋。生成像是白骨精，想方設法從隨機噪聲中模擬真實數據樣本的潛在分布，以生成以假亂真的數據樣本；判別則是，憑雙火眼睛來判斷輸入到底是人畜無害的真實數據還是生成假扮的者。零和博弈中的競爭促使雙方斷進化，直到“假作真時真亦假”，真真假假可區分為止。兩個玩家費這么大勁對抗的目的是么呢？就是建立數據的生成模型，使生成盡可能精確估測出數據樣本的分布。從學習方式上看，對抗性學習固然屬于無監督學習，但對抗的引入使學習可以用來自

4、判別的反饋信息，因而又蘊含著某些監督學習的影子。由于生成和判別處于零和博弈之中，因而對網絡的訓練就可以等效成對以下目標函數的極大 - 極小問題argmingmaxD12xpdata(x)log(D(x)+pg(x)log(1D(x)dxarg mingmaxD12xpdata(x)log(D(x)+pg(x)log(1D(x)dx其中“極大”是讓判別區分真實數據和數據的準確率最大化，“極小”則是讓生成生成的數據被判別發現的概率最小化。對整體極大 - 極小問題的優化可以通過交替迭代訓練的方式實現。交替迭代訓練通常從判別開始，也就是在給定生成的條件下來求解最優的判別。由于生成式對抗網絡使用的是基于

5、對數幾率函數的二分類判別，因而使用交叉熵作為損失函數是合的選擇。由于判別要將來自真實分布的真樣本標注為 1，因而對數幾率函數的輸出需要越大越好；反過來，對來自生成的假樣本要標注為 0，此時的輸出就越小越好，也就是輸出的相反數越大越好。這樣 來，對判別的優化就轉化為求解以下目標函數的最小值f(x)=12xpdata(x)log(D(x)+pg(x)log(1D(x)dxf(x)=12xpdata(x)log(D(x)+pg(x)log(1D(x)dx式中的 pdata(x)pdata(x) 表示數據的真實分布，pg(x)pg(x) 表示生成的數據分布，D(x)D(x)則表示判別對數據 xx 的概

6、率輸出。在給定生成的條件下可以求出，使以上函數取得最小值的最優解是D G(x)=pdata(x)pdata(x)+pg(x) DG (x)=pdata(x)pdata(x)+pg(x)這表明生成式對抗網絡估計的實際是兩個概率分布密度的比值。優化完判別，就該輪到生成。對生成的優化意味著希望判別對假樣本的輸出越大越好，因而需要優化 pg(x)pg(x) ，以使前文目標函數中的第二項最小。當且僅當 pdata(x)=pg(x)pdata(x)=pg(x) 時，整個網絡的目標函數可以取得全局最優解。這表明在算法收斂時，生成學到的分布和數據的真實分布完全 致，而判別對每個樣本的輸出都等于 0.5。在生成

7、式對抗網絡的實際訓練時， 般采用先新多次判別的參數，再對生成的參數執 次新的方法。既然都是學習數據的分布，那生成式對抗網絡和其他生成模型又區別呢？首先，傳統的生成模型是定義模型的分布，進而去求解參數。比如說在已知數據滿足正態分布的前提下，生成模型會通過最大似然估計等方法根據樣本來求解正態的均值和方差。可要是生成人臉呢？沒人知道人臉滿足么樣的先驗分布，只能通過斷嘗試來逐漸 近，這時傳統的生成模型就無能為。生成式對抗網絡好就好在擺脫對模型分布的依賴，也限制生成的維度，因而大大寬生成數據樣本的范圍。其次，生成式對抗網絡能夠整合同的損失函數，增加設計的自由度。生成式對抗網絡是沒有顯式的損失函數的，之所

8、以這么說是因為它訓練的目標是生成，判別只是訓練過程中的副產品。對于生成來說，因為判別被用來度生成分布和真實分布之間的偏差，所以判別其實就是它的損失函數。而作為損失函數的判別又會隨著真實分布的變化而變化。從這個角度看，生成式對抗網絡可以自動學習潛在的損失函數，這是傳統的生成模型沒法做到的。除優點之外，生成式對抗網絡也有它。最主要的個問題就是缺乏論基礎。回到文首那個學的子：只是知道合法通信方能夠達成關于算法的共識，但這個共識的達成過程還是個黑箱。關于生成為么能夠從隨機樣本出發學習到真實的數據分布也缺乏清晰的論解釋。凡此種種都讓生成式對抗網絡看起來像是沙上之塔。沒有堅實的論基礎，對算法的推廣自然存在

9、。除在圖像生成等少數領域表現突出，生成式對抗網絡在大多數任務上還是乏善可陳。在算法的原尚清楚時，想要實現優化自然是空中樓閣。生成式對抗網絡面臨的另個主要問題就是訓練的難度。對抗網絡的訓練目標是在連續分布的高維度參數下達到均衡，也就是讓生成和判別的損失函數同時取得最小值。但由于待優化可能是個非凸，直接追求均衡可能會讓算法難以收斂，從而模型的欠擬合，導致表示能足。生成式對抗網絡的提出者古針對訓練難也提出系改進措施，并應用在半監督學習問題上，取得錯的效果。雖然優缺點都很明顯，但生成式對抗網絡的提出依然可以看成是深度學習的次突破。給定只貓的圖片，過往的神經網絡算法只能區分出它到底是是貓，還定分得準確。

10、可生 成式神經網絡卻能模仿現有的圖片畫出只類似的貓。管這是簡單的數據擬合，還是加高級的抽象特征重組，它都是由機自己完成的再創作，這種為方式無疑加接近于真實的人類。關于生成式對抗網絡還有個有趣的事實。自 2014 誕生以來，各種各樣的對抗網絡變體層出窮，其中有名有姓的就超過 200 種，給這些變體命名讓拉丁字母都夠用。可這些改進到底有多少效果呢？谷歌公司近期的項研究表明：沒有表明哪種變體能夠帶來實質上的改進。換話說，改來改去的結果是王小二過， 如。出現這種問題的原因就在于論基礎的缺失。沒有論基礎就沒有明確的改進方向，因而只能像沒頭樣，從應用問題出發盲目地摸索優化技巧。運氣好的話，通過優化架構或是損失函數可以在特定任務上獲得性能的，但表現的適用范圍往往狹窄，換個場合就好用。這其實只是生成式對抗網絡，是整個深度學習所深陷的“煉術”尷尬處境的體現。今天我和你生成式對抗網絡的原與機制。其要點如下：生成式對抗網絡是類運在零和博弈框架下的無監督學習算法，由生成和判別；生成的目的是精確模擬真實數據的分布，判別的目的是精確區分真實數據和生成數據；生成式對抗網絡的主要優點是據的特點生成新的數據； 生成式對抗網絡