生成對抗網絡及自動駕駛應用第九章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第2頁9.4實踐項目9.1生成式對抗網絡概述9.3生成對抗網絡應用9.2生成式對抗網絡基本理論目錄ContentDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第3頁9.1生成式對抗網絡概述什么是對抗？在射雕英雄傳中，老頑童周伯通被困在桃花島，閑的無聊，自創了左右手互搏術，左手打右手，右手打左手，雙手的武功不斷精進。這就是對抗在現實世界里沒有左右手互搏術，但在人工智能的世界里卻有，這就是GAN，中文名字：生成對抗網絡。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第4頁9.1生成式對抗網絡概述生成對抗網絡能干啥？2018年10月，一幅肖像畫在紐約佳士得以43萬美元的高價被成功拍賣作者為GANDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第5頁9.1生成式對抗網絡概述生成對抗網絡能干啥？如果將GAN比作一個人的話，書法、作畫、譜曲，樣樣都可以做到精通，就像他的名字“生成對抗網絡”一樣，他的誕生就是為了生成、為了創作。GAN有哪些應用？DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第6頁9.1生成式對抗網絡概述深度學習中常見生成式模型自編碼（AE）其隱變量z是一個單值映射：z=f(x)變分自編碼（VAE）其隱變量z是一個正態分布的采樣生成式對抗網絡（GAN）條件生成式對抗網絡（CGAN）在生成器和判別器中添加某一標簽信息深度卷積生成式對抗網絡（DCGAN）判別器和生成器都使用了卷積神經網絡（CNN）來替代GAN

中的多層感知機DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第7頁9.1生成式對抗網絡概述GAN起源GAN(GenerativeAdversarialNetworks)，中文翻譯為生成式對抗網絡，是IanGoodfellow等在2014年提出的一種生成式模型。GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構成,通過對抗學習的方式來訓練.目的是估測數據樣本的潛在分布并生成新的數據樣本。2001年，TonyJebara在畢業論文中以最大熵形式將判別模型與生成模型結合起來聯合學習2007年，ZhuowenTu提出將基于boosting分類器的判別模型與基于采樣的生成模型相結合，來產生出服從真實分布的樣本。2012年，JunZhu將最大間隔機制與貝葉斯模型相結合進行產生式模型的學習。2014年，IanGoodfellow等人提出生成式對抗網絡，迎合了大數據需求和深度學習熱潮，給出了一個大的理論框架及理論收斂性分析。起源發展DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第8頁9.1生成式對抗網絡概述

GAN的核心思想來源于博弈論的納什均衡它設定參與游戲雙方分別為一個生成器(Generator)和一個判別器(Discriminator)，生成器的目的是盡量去學習真實的數據分布，而判別器的目的是盡量正確判別輸入數據是來自真實數據還是來自生成器；為了取得游戲勝利，這兩個游戲參與者需要不斷優化，各自提高自己的生成能力和判別能力，這個學習優化過程就是尋找二者之間的一個納什均衡。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第9頁9.1生成式對抗網絡概述DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第10頁9.4實踐項目9.1生成式對抗網絡概述9.3生成對抗網絡應用9.2生成式對抗網絡基本理論目錄ContentDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第11頁9.2生成式對抗網絡基本理論生成對抗模型的特性——博弈生成器的目標：接收隨機向量，生成與真實樣本盡可能相似的樣本。判別器的目標：接收生成器生成的樣本和真實樣本，盡可能地判斷兩者之間的真假。納什均衡：生成器和判別器都能得到最多的好處DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第12頁9.2生成式對抗網絡基本理論GAN應用的一般框架隨機變量+真實數據+生成器+判別器

一般為二分類網絡網絡結構根據生成內容定義DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第13頁9.2生成式對抗網絡基本理論訓練過程訓練過程中，固定一方，更新另一方的網絡權重，交替迭代。那么先訓練誰呢？生成器學生：負責產出內容判別器老師：負責評判分數先訓練判別器。1、樣本直接輸入到判別器之中。2、只有判別器具有一定的判斷能力后，生成器的訓練才有意義。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第14頁9.2生成式對抗網絡基本理論使用步驟建立模型生成器和判別器網絡訓練過程損失函數參數學習DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第15頁9.2生成式對抗網絡基本理論常用：交叉熵損失函數判別器目標函數:對于真實樣本，其標簽值為1，那么其單個樣本損失函數就是同理可得生成器輸出樣本的總體損失函數，判別器的目標函數定義如下其中，D(x)表示判別器輸出的真實圖像的概率分布,D(G(z))表示判別器輸出的生成器生成圖像的概率分布。

真實樣本的總體損失函數是

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第16頁9.2生成式對抗網絡基本理論模型總目標函數對于判別器，我們盡可能地希望其分類正確，但是對于生成器而言，我們又希望D(G(z))越接近1越好，所以GAN網絡的目標函數如下所示

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第17頁9.2生成式對抗網絡基本理論使用步驟GAN的主要分支-CGANCGAN--條件生成對抗網絡，為了防止訓練崩塌將前置條件加入輸入數據。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第18頁9.2生成式對抗網絡基本理論使用步驟DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第19頁9.2生成式對抗網絡基本理論使用步驟GAN的主要分支-DCGANDCGAN--深度卷積生成對抗網絡，提出了能穩定訓練的網絡結構，更易于工程實現。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第20頁9.2生成式對抗網絡基本理論使用步驟GAN的主要分支-CGANCGAN--條件生成對抗網絡，為了防止訓練崩塌將前置條件加入輸入數據。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第21頁9.2生成式對抗網絡基本理論使用步驟DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第22頁9.4實踐項目9.1生成式對抗網絡概述9.3生成對抗網絡應用9.2生成式對抗網絡基本理論目錄ContentDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第23頁9.3生成對抗網絡應用GAN的應用

圖像和視覺領域語音和語言領域其他領域作為一個具有“無限”生成能力的模型,GAN的直接應用就是建模,生成與真實數據分布一致的數據樣本，GAN可以用于解決標注數據不足時的學習問題。其可以應用于：DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第24頁9.3生成對抗網絡應用圖像和視覺領域GAN能夠生成與真實數據分布一致的圖像。一個典型應用是利用GAN來將一個低清模糊圖像變換為具有豐富細節的高清圖像。用VGG網絡作為判別器，用參數化的殘差網絡表示生成器，實驗結果如圖所示，可以看到GAN生成了細節豐富的圖像。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第25頁9.3生成對抗網絡應用語音和語言領域用GAN來表征對話之間的隱式關聯性，從而生成對話文本。用CNN作為判別器,判別器基于擬合LSTM的輸出，用矩匹配來解決優化問題；在訓練時，和傳統更新多次判別器參數再更新一次生成器不同,需要多次更新生成器再更新CNN判別器。SeqGAN基于策略梯度來訓練生成器。用GAN基于文本描述來生成圖像，文本編碼被作為生成器的條件輸入，同時為了利用文本編碼信息，也將其作為判別器特定層的額外信息輸入來改進判別器，判別是否滿足文本描述的準確率。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第26頁9.3生成對抗網絡應用其他領域除了將GAN應用于圖像和視覺、語音和語言等領域，GAN還可以與強化學習、模仿學習等相合。有人提出用MalGAN幫助檢測惡意代碼，用GAN生成具有對抗性的病毒代碼樣本，實驗結果表明基于GAN的方法可以比傳統基于黑盒檢測模型的方法性能更好。也有人提出了一個擴展GAN的生成器，用判別器來正則化生成器而不是用一個損失函數，用國際象棋實驗示例證明了所提方法的有效性。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第27頁9.3生成對抗網絡應用GAN的優點和意義GAN對于生成式模型的發展具有重要的意義。GAN作為一種生成式方法，有效解決了可建立自然性解釋的數據的生成難題。GAN的訓練過程創新性地將兩個神經網絡的對抗作為訓練準則并且可以使用反向傳播進行訓練，大大改善了生成式模型的訓練難度和訓練效率。GAN在生成樣本的實踐中，生成的樣本易于人類理解。GAN除了對生成式模型的貢獻，對于半監督學習也有啟發。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第28頁9.3生成對抗網絡應用GAN的缺陷GAN雖然解決了生成式模型的一些問題，并且對其他方法的發展具有一定的啟發意義，但是GAN并不完美，它在解決已有問題的同時也引入了一些新的問題。GAN優化過程存在不穩定性，很容易陷入到一個鞍點或局部極值點上，即“崩潰模式現象”。GAN作為以神經網絡為基礎的生成式模型，存在神經網絡類模型的一般性缺陷，即可解釋性差。GAN模型需要提高延展性，尤其在處理大規模數據的時候。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第29頁9.3生成對抗網絡應用GAN的發展前景GAN的研究進展表明它具有廣闊的發展前景,未來研究方向可以是：如何徹底解決崩潰模式并繼續優化訓練過程。關于GAN收斂性和均衡點存在性的理論推斷。如何將GAN與特征學習、模仿學習、強化學習等技術更好地融合,開發新的人工智能應用或者促進這些方法的發展。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第30頁9.3生成對抗網絡應用GAN的應用

圖像和視覺領域語音和語言領域其他領域作為一個具有“無限”生成能力的模型,GAN的直接應用就是建模,生成與真實數據分布一致的數據樣本，GAN可以用于解決標注數據不足時的學習問題。其可以應用于：DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第31頁9.4實踐項目9.1生成式對抗網絡概述9.3生成對抗網絡應用9.2生成式對抗網絡基本理論目錄ContentThanks!DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第32頁第九章生成對抗網絡謝謝！本章總結與答疑強化學習理論及自動駕駛應用實踐第十章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第34頁10.4策略梯度強化學習方法10.1強化學習概述10.3表格型強化學習方法10.2強化學習基礎理論10.5實踐項目目錄ContentDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第35頁10.1強化學習概述機器學習回顧無監督學習監督學習機器學習分類回歸……聚類……DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第36頁10.1強化學習概述機器學習與其他機器學習的關系DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第37頁10.1強化學習概述機器學習系統兩部分三要素環境智能體狀態/觀測值動作獎勵DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第38頁10.1強化學習概述MountainCar環境：整個游戲智能體：小車動作：向左施力、向右施力、不施力獎勵信號：是否到達右側山峰旗幟處狀態：小車的位置MountainCar兩部分三要素環境智能體狀態/觀測值動作獎勵DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第39頁10.1強化學習概述強化學習目標智能體唯一目標：最大化長期總收益策略價值函數價值函數環境建模（可選）DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第40頁10.1強化學習概述監督學習玩MountainCar神經網絡各方向施力的概率反向傳播在MountainCar中，無法定義正確動作的標簽。即使定義了標簽，數據之間的序貫性也使得模型難以訓練DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第41頁10.1強化學習概述強化學習玩MountainCar右施力右施力右施力不施力右施力不施力左施力左施力勝利右施力左施力左施力不施力右施力失敗左施力左施力不施力右施力右施力右施力失敗右施力右施力左施力右施力左施力不施力右施力勝利可能的序列：讓智能體嘗試游玩，對狀態、動作進行采樣，游戲結束后對每個動作進行獎懲DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第42頁10.1強化學習概述強化學習面臨的問題右施力右施力右施力不施力右施力不施力左施力左施力勝利右施力左施力左施力不施力右施力失敗左施力左施力不施力右施力右施力右施力失敗右施力右施力左施力右施力左施力不施力右施力勝利可能的序列：1.輸入的數據間具有強烈的序貫性2.訓練過程中存在獎勵延遲現象DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第43頁10.1強化學習概述強化學習學習方式探索與利用舊飯店吃好吃的探索新飯店優秀的探店博主應用層DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第44頁10.1強化學習概述按環境模型分類環境建模（可選）基于模型無模型1.動態規劃2.…1.Q-learning2.DQN3.…DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第45頁10.1強化學習概述按學習目標分類對智能體的訓練可以分為基于價值和基于策略策略價值函數價值函數DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第46頁10.1強化學習概述按學習目標分類確定性策略隨機性策略DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第47頁10.1強化學習概述強化學習分類強化學習有模型無模型基于價值基于策略動態規劃……Q-learning……策略梯度……DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第48頁10.2強化學習基礎理論馬爾可夫過程（MP）馬爾科夫性質：一個隨機過程在給定現在狀態和所有過去狀態的情況下，其未來狀態的條件概率分布僅依賴于當前狀態馬爾科夫過程：一個滿足馬爾科夫性質的隨機過程。其未來的轉移和過去是獨立的DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第49頁10.2強化學習基礎理論機器人回收問題回收機器人狀態高電平低電平動作搜索等待充電DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第50頁10.2強化學習基礎理論馬爾可夫決策過程（MDP）

p=1r=0a=充電高低a=搜索p=1-βr=-3p=βr=1a=等待p=1r=-1a=搜索p=αr=1p=1-αr=1a=等待p=1r=-1sas’P(s’|s,a)R(s,a,s’)高搜索高α1高搜索低1-α1低搜索高1-β-3低搜索低β1高等待高1-1高等待低0-1低等待高0-1低等待低1-1低充電高10低充電低00狀態轉移過程折扣累計回報

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第51頁10.2強化學習基礎理論值函數狀態值函數動作值函數s0(r1,s1)(r3,s3)s0(r2,s2)(r4,s4)

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第52頁10.2強化學習基礎理論有模型方法α與β均為已知參數，問題的全局信息已知。智能體無需與環境進行互動。此時問題為一動態規劃問題，可以很方便求解。通過策略迭代方法或值迭代方法求解狀態值函數V，從而獲得最優解。有模型強化學習策略評估策略改善動態規劃DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第53頁10.2強化學習基礎理論動態規劃障礙物R:-1終點R:1/people/karpathy/reinforcejs/gridworld_dp.htmlDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第54頁10.2強化學習基礎理論動態規劃策略評估策略更新DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第55頁10.2強化學習基礎理論動態規劃策略評估策略更新DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第56頁10.2強化學習基礎理論動態規劃算法收斂優點缺點1.難以處理連續動作與連續狀態問題2.需要環境模型完全已知，這在實踐中幾乎無法做到1.在數學上可以精確表達與分析2.處理小規模問題時，表現穩定且收斂速度較快DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第57頁10.3表格型強化學習方法無模型方法p=1r=0a=充電高低a=搜索p=1-βr=-3p=βr=1a=等待p=1r=-1a=搜索p=αr=1p=1-αr=1a=等待p=1r=-1α與β均為未知參數，這時需要智能體與環境進行交互，從而選擇合適的策略使得獎勵最大化無模型強化學習

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第58頁10.3表格型強化學習方法表格型思想搜索等待充電高000低000Q表格狀態值函數動作值函數DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第59頁10.3表格型強化學習方法蒙特卡洛思想

累計折扣收益累計折扣收益期望近似狀態值函數蒙特卡洛方法難以應用于無終止的問題，但其思想可以與其他方法結合DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第60頁10.3表格型強化學習方法時序差分（TD）蒙特卡洛方法

時序差分法TD(0)

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第61頁10.3表格型強化學習方法基于時序差分法的Sarsa算法時序差分法TD(0)

Sarsa算法

TDtargetSarsa算法需要用到s,a,r,s’,a’五個參數，故名SarsaTDerrorDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第62頁10.3表格型強化學習方法基于時序差分法的Q-learningQ-learningSarsa算法

異策略off-policy相較于Sarsa，Q-learing更具有試探性

同策略on-policyDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第63頁10.3表格型強化學習方法尋路問題

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第64頁10.3表格型強化學習方法尋路問題

【解】可將該網格游戲看成是一個馬爾科夫決策過程，其中狀態空間包括當前位置、陷阱位置、目標位置以及空位置，并將兩個陷阱位置設為同一個狀態，決策空間包括上下左右四個動作，分別用0,1,2,3表示，如下圖所示。

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第65頁10.3表格型強化學習方法尋路問題（Sarsa）

第1次迭代：設置初始位置的狀態動作值函數取值均為0，如下表所示：

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第66頁10.3表格型強化學習方法尋路問題（Sarsa）

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第67頁10.3表格型強化學習方法尋路問題（Sarsa）

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第68頁10.3表格型強化學習方法尋路問題（Sarsa）

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第69頁10.3表格型強化學習方法尋路問題算法結果DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第70頁10.3表格型強化學習方法值函數近似替代方法表格型Q函數線性Q函數非線性Q函數深度學習Q函數簡單復雜

TDerror損失函數最小化Sarsa算法

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第71頁10.3表格型強化學習方法DQN目標函數經驗回放機制網絡設計

預測網絡目標網絡

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第72頁10.3表格型強化學習方法DQNQ表格神經網絡DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第73頁10.3表格型強化學習方法DQNDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第74頁10.3表格型強化學習方法DDQN通過Q-eval選取最大Q值對應動作根據動作計算Q-target目標函數：Q-eval–Q-target

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第75頁10.3表格型強化學習方法DDQNDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第76頁10.3表格型強化學習方法DRQNReplayMemory經驗池存儲內存有限LSTM記憶DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第77頁10.3策略梯度強化學習方法基于策略的強化學習方法Q-learning

由價值函數產生策略基于策略

價值不同采取動作概率不同DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第78頁10.3策略梯度強化學習方法隨機性策略與確定性策略隨機性策略確定性策略輸出動作概率分布輸出確定動作DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第79頁10.3策略梯度強化學習方法隨機性策略方法梯度下降法蒙特卡洛思想目標函數

評價函數策略梯度定理

評價函數動作值函數

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第80頁10.3策略梯度強化學習方法Actor-Critic蒙特卡洛梯度下降法蒙特卡洛方法帶來較大的噪聲和誤差，無法相對準確地描述動作值函數

演員評論家算法

ActorCriticDeepLearningAndAutonomousDriving深度學習與自動駕駛