自然語言處理技術與應用語言模型和算法流程04知識導圖課程安排課程任務課程目標安排課時深度學習中的數據集了解深度學習中常用的各類數據集及其特點1掌握數據預處理方法了解數據收集方式、數據標注工具的使用方法，明確數據清洗與整理思路，熟練掌握常用數據增強方法3MNIST數據集是機器學習領域中非常經典的一個數據集，主要由一些手寫數字的圖片和相應的標簽組成，圖片一共有10類，分別對應從0～9共10個阿拉伯數字。由60000個訓練樣本和10000個測試樣本組成，每個樣本都是一張28*28像素的灰度手寫數字圖片一、通用數據集MINST常用的CIFAR-10數據集，包含了飛機、汽車、鳥等10個類別物體的32×32大小的彩色圖片，每個類別有6000張圖，計算可知，整個數據集一共有6000×10=60000張圖。數據集包含有訓練集和測試集兩個子集。訓練集一共50000張圖，包含了來自10個類別的1000張圖片。測試集一共10000張圖，也包含了隨機從每個類中抽取的1000張圖一、通用數據集CIFARVOC數據集是目標檢測經常用的一個數據集，自2005年起每年舉辦一次比賽，最開始只有4類，到2007年擴充為20個類，如圖4.4所示，共有兩個常用的版本：2007和2012。VOC數據集適用于目標檢測、語義分割和實例分割等多個圖像視覺任務一、通用數據集PASCALImageNet是一個計算機視覺系統(tǒng)識別項目，是目前世界上圖像識別最大的數據庫。ImageNet是美國斯坦福的計算機科學家，模擬人類的識別系統(tǒng)建立的。能夠從圖片識別物體。目前ImageNet中總共有14197122幅圖像，總共分為21841個類別。ImageNet是一項持續(xù)的研究工作，旨在為世界各地的研究人員提供易于訪問的圖像數據庫一、通用數據集ImageNetCOCO數據集是微軟團隊發(fā)布的數據集，該數據集收集了大量包含常見物體的日常場景圖片。依托這一數據集，每年舉辦一次比賽，現(xiàn)已涵蓋檢測、分割、關鍵點識別、注釋等機器視覺的中心任務，是繼ImageNetChanllenge以來最有影響力的競賽之一。COCO的檢測任務共含有80個類，在2014年發(fā)布的數據規(guī)模分train/val/test分別為80k/40k/40k一、通用數據集MSCOCO二、常見計算機視覺任務數據集人臉數據集LFWLFW（LabeledFacesintheWildHome）數據集是人臉識別項目常用的數據集，包含了來自1680的13000張人臉圖，數據是從網上搜集來的CelebACelebA數據集由香港中文大學湯曉鷗教授實驗室公布的大型人臉識別數據集。包含有200K張人臉圖片，人臉屬性有40多種，主要用于人臉屬性的識別PubFigPubFig（PublicFiguresFaceDatabase）數據集是哥倫比亞大學開放的公眾人物臉部數據集，包含有200個人的58k+人臉圖像，主要用于非限制場景下的人臉識別二、常見計算機視覺任務數據集自動駕駛數據集Kitti數據集KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯(lián)合創(chuàng)辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像，光流，視覺測距，3D物體檢測和3D跟蹤等計算機視覺技術在車載環(huán)境下的性能。KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷Apollo數據集Apollo開源自動駕駛數據集包括感知分類和路網數據等數十萬幀逐像素語義分割標注的高分辨率圖像數據，以及與其對應的逐像素語義標注，覆蓋了來自三個城市的三個站點的地域。主要包含三部分：仿真數據集、演示數據集、標注數據集二、常見計算機視覺任務數據集醫(yī)療影像數據集數字視網膜圖像數據集數字視網膜圖像數據集主要用于視網膜圖像中血管分割的比較研究，它由40張照片組成，其中7張顯示出輕度早期糖尿病性視網膜病變的跡象皮膚損傷數據集皮膚損傷數據集包含分類皮膚損傷的23k圖像。含有惡性和良性的例子。每個示例均包含病變的圖像，可進行有關病變的圖像分類和圖像分割任務的應用型研究三、數據預處理方法預處理流程數據收集數據標注數據增強數據清洗與整理通常有自行制作數據集、尋找已有的公開數據集和數據爬蟲等方式，但是通過這些方式獲取的數據集常常存在一定的局限性，普遍存在數據集不規(guī)范、數據集缺失、數據樣本不均衡等問題數據標注是數據收集后的一個重要步驟，數據標注就是對未處理的初級數據，轉換為屬性標簽以訓練數據集分類標注：對圖片進行分類檢測標注：對圖片中出現(xiàn)的物體檢測其位置分割標注：對圖片進行切割數據在采集完之后，往往包含著噪聲、缺失數據、不規(guī)則數據等各種問題，因此需要對其進行清洗和整理工作數據規(guī)范化管理數據整理分類歸一化數據去噪數據去重數據增強的意思是通過對訓練集進行各種變換方法得到新的訓練數據集，這個新的訓練集具有更多數量、更多特征和更多干擾，用數據增強過的訓練集可以得到泛化能力更強的模型有監(jiān)督的數據增強無監(jiān)督的數據增強三、數據預處理方法數據增強——有監(jiān)督數據增強有監(jiān)督數據增強幾何變換：旋轉，翻轉，裁剪，變形，縮放等各類操作顏色變換：噪聲、模糊、顏色變換、擦除、填充SMOTE:SMOTE方法是基于插值的方法，它可以為小樣本類合成新的樣本SampleParing:從訓練集中隨機抽取兩張圖片分別經過幾何或者顏色變換操作處理后經像素以取平均值的形式疊加合成一個新的樣本，標簽為原樣本標簽中的一種Mixup:隨機抽取兩個樣本進行簡答的隨機加權求和，同樣樣本標簽也應加權求和Cotout:隨機的將樣本中的部分區(qū)域去掉，并且填充0像素值，分類的結果不變CutMix:將一部分區(qū)域cut掉但不填充0像素而是隨機填充訓練集中的其他數據的區(qū)域像素值，分類結果按一定的比例分配Mosaic:數據增強則利用了四張圖片，對四張圖片進行拼接，每一張圖片都有其對應的框框，將四張圖片拼接之后就獲得一張新的圖片

無監(jiān)督的數據增強方法包括兩類：（1）通過生成模型學習數據的分布，隨機生成與訓練集分布一直的圖片，代表方法為生成對抗網絡（2）通過模型學習出適合當前任務的數據增強方法，代表方法AutoAugment等三、數據預處理方法無監(jiān)督數據增強三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強亮度調整尺寸調整裁剪圖片填充圖片水平翻轉色調調整飽和度調整三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強水平翻轉三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強尺寸調整三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強裁剪圖片三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強填充圖片三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強亮度調整三、數據預處理方法單元任務：實現(xiàn)簡單的數據增強飽和度調整單元小結本單元主要從數據與深度學習的關系、幾大重要方向的數據集、數據的增強方法及數據標注和整理等方面進行詳細講解。通過本單元學習，能夠了解深度學習常用數據集、數據預處理方法，并熟練掌握常用數據增強方法。感知機05知識導圖課程安排課程任務課程目標安排課時熟悉圖像分類問題了解圖像分類定義、圖像分類問題類型以及常見圖像分類方法步驟1熟悉圖像分類的評測指標與優(yōu)化目標從單標簽分類和多標簽分類兩個維度掌握圖像熟悉圖像分類的評價方法以及優(yōu)化目標1了解圖像分類的挑戰(zhàn)了解圖像分類方法的瓶頸及挑戰(zhàn)2圖像分類，輸入圖像，輸出對該圖像內容分類的描述的問題一般來說，圖像分類通過手工提取特征或特征學習方法對整個圖像進行全部描述，然后使用分類器判別物體類別，因此如何提取圖像的特征至關重要基于深度學習的圖像分類方法，可以通過有監(jiān)督或無監(jiān)督的方式學習層次化的特征描述，從而取代了手工設計或選擇圖像特征的工作一、圖像分類問題圖像分類概述跨物種語義級別的圖像分類：它是在不同物種的層次上識別不同類別的對象，比較常見的包括如貓狗分類等子類細粒度圖像分類：相對于跨物種的圖像分類，級別更低一些。它往往是同一個大類中的子類的分類，如不同鳥類的分類，不同狗類的分類，不同車型的分類等一、圖像分類問題圖像分類類型一、圖像分類問題圖像分類步驟輸入1輸入是一個由N張圖片組成的集合，每張圖片都給了一個特定的類別標簽學習2目的是讓模型學習這些圖片大概是什么樣子，然后記下來，稱這一步為訓練模型評估3利用訓練得來的模型預測一個模型沒看過的數據集的標簽，評估模型的準確度單標簽分類二、評價指標和優(yōu)化目標單標簽分類和多標簽分類

和0-1損失函數相似，絕對值損失函數表示為：

單標簽分類softmaxloss是我們最熟悉的loss之一，在單標簽圖像分類任務中都被廣泛使用。Softmaxloss是由softmax和交叉熵(cross-entropyloss)loss組合而成在單標簽比賽中常用的準確度評測指標是top-N準確率，其中ImageNet挑戰(zhàn)賽中常用的是top-5和top-1準確率

和0-1損失函數相似，絕對值損失函數表示為：

多標簽分類一對一的策略：給定數據集D這里有N個類別，這種情況下就是將這些類別兩兩配對，從而產生N(N?1)2個二分類任務，在測試的時候把樣本交給這些分類器，然后進行投票一對其余策略：將每一次的一個類作為正例，其余作為反例，總共訓練N個分類器。測試的時候若僅有一個分類器預測為正的類別則對應的類別標記作為最終分類結果，若有多個分類器預測為正類，則選擇置信度最大的類別作為最終分類結果三、圖像分類的挑戰(zhàn)三類挑戰(zhàn)因素一般因素比較常見的基于圖像本身的一些因素，比如光照，形變，尺度，模糊等類內差異內差異太大，比如椅子，桌子，雖然都叫椅子，桌子，可是形態(tài)各異類間差異類間差異太小，最常見的就是細粒度分類四、單元任務102種花卉圖像分類實戰(zhàn)利用深度學習構架神經網絡模型解決102種花卉的分類任務，數據集來自世界各地的總共102個品種的花卉。0102030405數據讀取和預處理模型構建模型訓練模型評估模型測試四、單元任務102種花卉圖像分類實戰(zhàn)關鍵步驟：（1）模型構建；（2）模型訓練；（3）模型評估單元小結本單元系統(tǒng)地介紹了圖像分類任務的相關基礎知識，從圖像分類問題、圖像分類評測指標與優(yōu)化目標以及圖像分類面臨的挑戰(zhàn)等方面系統(tǒng)性梳理了圖像分類任務的整體架構。通過本單元的學習，掌握圖像分類基礎知識，并能夠在單元任務的實踐中熟悉圖像分類的數據處理和深度學習算法。條件隨機場06知識導圖課程安排課程任務課程目標安排課時目標檢測綜述深刻理解目標檢測具體任務內容，了解目標檢測算法發(fā)展歷程和具有代表性的典型算法1目標檢測基礎熟悉目標檢測的數據集構成，評測指標和常用分類和定位損失函數4Yolov3算法整體理解Yolov3算法的框架，熟悉用Tensorflow編寫Yolov3模型的代碼4SSD算法整體理解SSD算法完成目標檢測任務的模型，能夠使用Tensorflow完成SSD模型代碼的編寫4一、目標檢測目標檢測方法概述在給定圖像上選定若干候選區(qū)域目標，最常使用的是長寬比一定的滑動窗口在這些區(qū)域中提取特征，常用的特征提取算法常用的有HOG、ACF和SIFT等根據前面得到的特征使用訓練好的分類器如支持向量機(SVM)完成分類任務檢測精度低速度需要大量的手工參數設計模型設計復雜多變一、目標檢測目標檢測方法概述目前目標檢測領域的深度學習方法主要分為兩類：twostage的目標檢測算法和onestage的目標檢測算法twostage：先由算法生成一系列作為樣本的候選框，再通過卷積神經網絡進行樣本分類，在檢測準確率和定位精度上占優(yōu)onestage：不用產生候選框，直接將目標邊框定位的問題轉化為回歸問題處理，在算法速度上占優(yōu)一、目標檢測雙階段檢測網絡-RCNN

R-CNN算法將底層的圖像特征延展到高層的語義特征，用一種更為抽象的特征取代了之前以機器學習為基礎的特征工程。總的模型組成為選擇性搜索(SelectiveSearch)、卷積神經網絡(CNN)和支持向量機(SVM)。先用選擇性搜索算法代替?zhèn)鹘y(tǒng)的滑動窗口，提取出兩千個候選區(qū)域；然后針對每個候選區(qū)域，普遍使用卷積神經網絡來提取特征，并通過訓練可支持向量機作為分類器，將卷積神經網絡提取出來的特征作為輸出，得到每個候選區(qū)域屬于某一類的得分；最后在每個類別上用非極大抑制(Non-maximumSuppression,NMS)來舍棄掉重復率較高的區(qū)域得到最終檢測的結果。一、目標檢測雙階段檢測網絡-FastRCNN

FastR-CNN使用CNN先提取整個圖像的特征，而不是從頭開始對每個圖像塊提取多次。然后將創(chuàng)建候選區(qū)域的方法直接應用到提取到的特征圖上。使用RoI池化將特征圖塊轉換為固定的大小，并饋送到全連接層進行分類和定位。因為FastR-CNN不會重復提取特征，因此顯著地減少處理時間，大大提升了模型的訓練速度和檢測速度，讓二階段的目標檢測算法逐漸成熟。一、目標檢測雙階段檢測網絡-FasterRCNN

FasterR-CNN將特征提取，邊界候選框提取，邊界錨點框回歸和分類都整合在了一個綜合性的神經網絡中，并同樣在卷積主要模塊之間共享參數計算，模型不但在整體上形成了端到端的訓練和檢測，而且又一步提升了模型訓練和檢測速度，完全具備了實際應用的價值特征提取的卷積層候選區(qū)域生成網絡候選區(qū)域池化層一、目標檢測單階段檢測網絡-Yolo和SSD

Yolo系列的算法將整個特征圖分割為眾多網格，通過K-Means聚類來篩選先驗邊界框的縱橫比尺寸大小，并使用網格的參數化坐標和先驗邊界框與真實邊界框偏移量完成目標的分類和回歸任務。由于其模型簡單易用且檢測準確快速，故具有廣泛的實際應用。特征提取的卷積層。SSD在速度上的提升基本來源于淘汰了候選區(qū)域邊界框，以及網絡后段的像素級特征重采樣階段。SSD在精度上的提升可以歸結于兩點：第一，在模型預測類別和邊界框位置時，卷積層普遍使用了更小尺寸的卷積濾波器第二，模型為多尺度和不同寬高比的特征圖設置了分解的獨立檢測器一、目標檢測常用數據集包括日常生活中常見的20種物體類別，如圖6.9和6.10所示。VOC2007和VOC2012將訓練集、測試集和標簽文件分開，一共六個壓縮文件目標檢測的評測指標主要為平均精確度(AP)平均精確度主要是由精確度與召回率的平滑后的曲線面積計算所得在多個檢測類上進一步均值化就是均值平均精確度(mAP)精確率P和召回率R：將樣本根據其真實類別與預測類別的組合劃分為“混淆矩陣”真正例（TP），假真例（FP），真反例（TN），假反例（FN）一、目標檢測評測指標單標簽分類一、目標檢測損失函數

和0-1損失函數相似，絕對值損失函數表示為：

類別損失交叉熵損失(CrossEntropyLoss)改進的交叉熵損失Focalloss

和0-1損失函數相似，絕對值損失函數表示為：

位置損失平均絕對誤差(MeanAbsoluteError,MAE)：計算為模型預測值和真實值之間距離的平均值。局方誤差損失(MeanSquareError,MSE)：計算為模型預測值和真實值之差平方的平均值。SmoothL1loss：改進的L1lossIoUloss：交并比損失二、單元任務使用Yolov3算法實現(xiàn)目標檢測0102030405數據讀取和預處理模型構建模型訓練可視化模型測試四、單元任務102種花卉圖像分類實戰(zhàn)關鍵步驟：模型構建四、單元任務102種花卉圖像分類實戰(zhàn)關鍵步驟：模型構建單元小結本單元主要對目標檢測算法的發(fā)展歷程和基礎知識進行了講解，通過單元任務學習，能夠熟練使用Yolov3算法和SSD算法完成目標檢測任務。命名實體識別07知識導圖課程安排課程任務課程目標安排課時傳統(tǒng)圖像分割方法了解包括閾值法、區(qū)域生長法以及圖切法在內的傳統(tǒng)圖像分割方法，了解各類方法的優(yōu)勢與限制性2深度學習圖像分割方法掌握基于深度學習的圖像分割方法的基本流程，重點掌握全卷積網絡的基本結構以及核心技術，并能夠熟練運用主流MaskR-CNN網絡解決圖像分割問題3一、傳統(tǒng)圖像分割法閾值法、區(qū)域與超像素、圖切法閾值分割是常見的直接對圖像進行分割的算法，根據圖像像素的灰度值的不同而定對應單一目標圖像，只需選取一個閾值，即可將圖像分為目標和背景兩大類，這個稱為單閾值分割如果目標圖像復雜，選取多個閾值，才能將圖像中的目標區(qū)域和背景被分割成多個，這個稱為多閾值分割基于圖論的圖像分割技術（GraphCut）是一直以來都是圖像分割領域的研究熱點。其基本思想是將圖像映射為帶權無向圖，把像素視作節(jié)點，節(jié)點之間的邊的權重對應于兩個像素間的不相似性度量，割的容量對應能量函數區(qū)域生長算法的基本思想是將有相似性質的像素點合并到一起。對每一個區(qū)域要先指定一個種子點作為生長的起點，然后將種子點周圍領域的像素點和種子點進行對比，將具有相似性質的點合并起來繼續(xù)向外生長，直到沒有滿足條件的像素被包括進來為止圖切法閾值法區(qū)域與超像素一、傳統(tǒng)圖像分割法閾值法、區(qū)域與超像素、圖切法閾值法閾值分割是常見的直接對圖像進行分割的算法，根據圖像像素的灰度值的不同而定單閾值、多閾值區(qū)域與超像素區(qū)域生長算法的基本思想是將有相似性質的像素點合并到一起確認種子點、確認生長準則、確認生長停止準則圖切法將圖像映射為帶權無向圖，把像素視作節(jié)點，節(jié)點之間的邊的權重對應于兩個像素間的不相似性度量，割的容量對應能量函數全卷積網絡整體的網絡結構分為兩個部分：全卷積部分和反卷積部分。其中全卷積部分借用了一些經典的CNN網絡（如AlexNet，VGG，GoogLeNet等），并把最后的全連接層換成卷積，用于提取特征，形成熱點圖反卷積部分則是將小尺寸的熱點圖上采樣得到原尺寸的語義分割圖像二、深度學習圖像分割基本流程二、深度學習圖像分割上采樣雙線性插值反卷積反池化由于輸入圖像通過卷積神經網絡提取特征后，輸出的尺寸往往會變小，而有時我們需要將圖像恢復到原來的尺寸以便進行進一步的計算，這個實現(xiàn)圖像由小分辨率到大分辨率的映射的操作，叫做上采樣。

反卷積是一種特殊的正向卷積，先按照一定的比例通過補0來擴大輸入圖像的尺寸，接著旋轉卷積核，再進行正向卷積。多尺度與感受野二、深度學習圖像分割

使用金字塔的池化方案可實現(xiàn)不同尺度的感受野，它能夠起到將局部區(qū)域上下文信息與全局上下文信息結合的效果。對于圖像分割任務，全局上下文信息通常是與整體輪廓相關的信息，而局部上下文信息則是圖像的細節(jié)紋理，要想對多尺度的目標很好地完成分割，這兩部分信息都是必須的。模型輸入是整張待檢測的圖片，然后進入CNN中，進行一次特征提取，得到特征圖，在特征圖中找到各個候選框的區(qū)域，再對各個候選框采用金字塔空間池化，提取出固定長度的特征向量

空洞卷積是一種調整感受野（多尺度信息）的同時控制分辨率的卷積操作，它的原理就是原始卷積區(qū)域相鄰像素之間的距離不是普通卷積的1，而是根據膨脹系數的不同而不同。不通過池化也能有較大的感受野看到更多的信息圖像蒙版三、圖像蒙版與圖像合成從圖像中確定前景和背景的技術叫做圖像蒙版。圖像蒙版通過alpha通道控制透明度將圖像分為前景圖和背景圖，用于后續(xù)前景圖和新背景圖的圖像合成01圖像蒙版02Trimap-based方法03Trimap-free背景蒙版方法精度高，需要同時輸入圖像和人工精確標注的Trimap只需要單張圖像輸入，精度較低去除標注費時的精確標注的Trimap依賴，改為容易獲取的“輕微隨機”的背景圖像合成三、圖像蒙版與圖像合成將摳出的部分無縫的貼入目標圖像的過程則稱為圖像合成。在完成圖像分割之后，接下來的一步很可能就是進行背景的替換工作，圖像合成是其中的關鍵技術剪切粘貼最直觀簡單就是直接剪切粘貼，經常在攝影師后期制作中所采用Alpha融合Alpha融合可以看做是一個升級版的直接剪切粘貼，如果表示為公式的話：輸出=前景*蒙版+背景*(1-蒙版)多頻段融合要想讓Alpha融合結果顯得自然，關鍵的一點是選擇合適的融合窗口大小，多頻段融合可以很好的處理邊界四、單元任務使用U-Net模型實現(xiàn)城市街景圖像的分割0102030405數據讀取和預處理構建U-Net模型模型訓練模型評估模型測試四、單元任務使用U-Net模型實現(xiàn)城市街景圖像的分割關鍵步驟：模型構建單元小結圖像分割也可作為預處理將最初的圖像轉化為若干個更加抽象、更便于計算機處理的形式，既保留了圖像中的重要特征信息，又有效減少了圖像中的無用數據、提高了后續(xù)圖像處理的準確率和效率。在通信方面，可事先提取目標的輪廓結構、區(qū)域內容等，保證不失有用信息的同時，有針對性地壓縮圖像，以提高網絡傳輸效率;在交通領域可用來對車輛進行輪廓提取、識別或跟蹤，行人檢測等。總的來說，凡是與目標的檢測、提取和識別等相關的內容，都需要利用到圖像分割技術。因此，無論是從圖像分割的技術和算法，還是從對圖像處理、計算機視覺的影響以及實際應用等各個方面來深入研究和探討圖像分割，都具有十分重要的意義。信息提取08知識導圖課程安排課程任務課程目標安排課時掌握生成對抗網絡基礎知識學習包括生成對抗網絡的算法思想、經典網絡結構，了解生成式模型與判別式模型，進一步理解生成器和判別器原理，通過實戰(zhàn)掌握生成對抗網絡的構建及訓練方式4一、生成對抗網絡概述生成對抗網絡(GAN,Generativeadversarialnetwork)由生成器和判別器組成，生成器負責生成樣本，判別器負責判斷生成器生成的樣本是否為真。生成器要盡可能迷惑判別器，而判別器要盡可能區(qū)分生成器生成的樣本和真實樣本

生成的假樣本與真實樣本放到一起，被隨機抽取送入到判別器D，由判別器去區(qū)分輸入的樣本是生成的假樣本還是真實的樣本一、生成對抗網絡網絡結構

一、生成對抗網絡生成式模型和判別式模型生成式模型：由數據學習聯(lián)合概率分布P(X,Y),然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作為預測的模型。該方法表示了給定輸入X與產生輸出Y的生成關系Y（性別）01X(特征)01/43/4X(特征)13/41/4

統(tǒng)計得到上述聯(lián)合概率分布P(X,Y)后，可以學習一個模型，比如讓二維高斯分布去擬合上述數據，這樣就學習到了X,Y的聯(lián)合分布。在預測時，如果我們希望給一個輸入特征X，預測其類別，則需要通過貝葉斯公式得到條件概率分布才能進行推斷判別式模型：由數據直接學習決策函數Y=f(X)或條件概率分布P(Y|X)作為預測模型，即判別模型。判別方法關心的是對于給定的輸入X，應該預測什么樣的輸出Y可以訓練一個模型，輸入人的特征X，這些特征包括人的五官，穿衣風格，發(fā)型等。輸出則是對于性別的判斷概率，這個概率服從一個分布，分布的取值只有兩個，要么男，要么女，記這個分布為Y。這個過程學習了一個條件概率分布P(Y|X)，即輸入特征X的分布已知條件下，Y的概率分布二、單元任務生成人臉圖片0102030405數據讀取和預處理構建GAN模型模型訓練模型評估模型測試四、單元任務使用U-Net模型實現(xiàn)城市街景圖像的分割關鍵步驟：模型構建單元小結生成對抗網絡的出現(xiàn)在一定程度上解決了由于深度神經網絡在小規(guī)模數據集上難以訓練、容易出現(xiàn)過擬合的問題。和其他模型的對比，生成對抗網絡既可以有效提升分類器的分類性能，同時生成的圖像數據和真實數據相比具有語義的相似性和內容的多樣性。由于生成對抗網絡在理論方面較新穎，實現(xiàn)方面也有很多可以改進的地方，大大地激發(fā)了學術界的研究興趣。在接下來的數年里，生成對抗網絡的研究如火如荼的進行，并取得了實質性的進展。文本聚類09知識導圖課程安排課程任務課程目標安排課時掌握常用的深度學習模型優(yōu)化方法學掌握深度學習模型優(yōu)化思路，掌握常用的模型優(yōu)化方法，并通過實踐加深理解3一、模型優(yōu)化思路模型優(yōu)化的四個維度數據角度增強數據；數據預處理模型角度增大模型規(guī)模，權衡優(yōu)化和訓練效率調參優(yōu)化角度優(yōu)化算法、學習率、正則項、損失函數訓練角度訓練輪數、學習衰減率、正則項二、參數初始化參數初始化的幾種方法常數初始化01把權值或者偏置初始化為一個常數高斯初始化02給定一組均值和標準差，隨機初始化的參數會滿足給定均值和標準差的高斯分布Xavier初始化04xavier還是屬于均勻分布初始化，其上下限將在如下范圍內進行均勻分布采樣：Kaiming初始化05kaiming初始化本質上是高斯分布初始化，與上述高斯分布初始化有所不同，其是個滿足均值為0，方差為2/n的高斯分布均勻分布初始化03給定最大最小的上下限，參數會在該范圍內以均勻分布方式進行初始化三、學習率設置學習率對訓練結果影響學習率決定了參數每次更新的幅度，如果幅度過大，那么可能導致參數在極優(yōu)值的兩側來回移動；如果幅度過小，雖然能保證收斂性，但是會大大降低優(yōu)化速度，需要更多輪的迭代才能達到一個比較理想的優(yōu)化效果

學習率過大（學習率為1，x在5和-5之間震蕩）

學習率過小（學習率為0.001，在901輪時才收斂到0.823355）四、優(yōu)化算法選擇三類優(yōu)化算法每次都只使用一個樣本進行參數更新，這樣更新次數大大增加也就不容易陷入局部最優(yōu)隨機梯度下降動量就是用來減少隨機，增加穩(wěn)定性。每次更新前加入部分上一次的梯度量，這樣整個梯度方向就不容易過于隨機動量主要思想都是基于歷史的累計梯度去計算一個當前較優(yōu)的學習率，常用如：RMSprop和Adam自適應學習率五、DropoutDropout原理

Dropout可以用較為簡單的形式比較有效的緩解過擬合的發(fā)生，并在在一定程度上達到正則化的效果單元小結本單元介紹了一些常用的深度學習模型優(yōu)化技巧，隨著應用領域的深入，模型優(yōu)化技巧也在不斷的更新。在實踐中，經驗豐富的算法工程師和研究人員會培養(yǎng)出直覺，能夠靈活組合各類技巧來提升模型性能。但是模型的優(yōu)化方法并非一成不變的，如果想要在某項任務上達到最佳性能，就需要選擇優(yōu)化方法、重新訓練模型，如此不停重復來改進你的模型。目前很多深度學習框架已經開始提供自動優(yōu)化工具，雖然這種技術仍處于初始階段，但已經能夠完成一些基本的優(yōu)化功能。文本分類10知識導圖課程安排課程任務課程目標安排課時掌握常用的深度學習模型優(yōu)化方法學掌握深度學習模型優(yōu)化思路，掌握常用的模型優(yōu)化方法，并通過實踐加深理解3一、批量歸一化批量歸一化原理

在每次訓練迭代中，首先我們基于當前小批量處理歸一化輸入，即通過減去其均值并除以其標準差；接下來，我們應用比例系數和比例偏移。正是由于這個基于批量統(tǒng)計的標準化，才有了批量歸一化的名稱。批量歸一化（batchnormalization）是一種流行且有效的技術，可持續(xù)加速深層網絡的收斂速度網絡過擬合0302中間變量訓練時中間層中的變量可能具有更廣的變化范圍數據預處理01數據預處理的方式通常會對最終結果產生巨大影響更深層的網絡很復雜，容易過擬合二、梯度爆炸/消失梯度爆炸/消失原因

網絡深度在網絡很深時，若權重初始化較小，各層上的相乘得到的數值都會0-1之間的小數，而激活函數梯度也是0-1之間的數。那么連乘后，結果數值就會變得非常小，導致梯度消失。若權重初始化較大，大到乘以激活函數的導數都大于1，那么連乘后，可能會導致求導的結果很大，形成梯度爆炸激活函數不合理的初始化以及激活函數，如sigmoid等，都會導致梯度過大或者過小，從而引起消失/爆炸在深層網絡中，由于網絡過深，如果初始得到的梯度過小，或者傳播途中在某一層上過小，則在之后的層上得到的梯度會越來越小，即產生了梯度消失，梯度爆炸也是同樣的二、梯度爆炸/消失梯度爆炸/消失解決辦法每次訓練一層隱節(jié)點，訓練時將上一層隱節(jié)點的輸出作為輸入，而本層隱節(jié)點的輸出作為下一層隱節(jié)點的輸入，訓練完成后，再對整個網絡進行“微調”批量歸一化通過規(guī)范化操作將輸出信號x規(guī)范化到均值為0，方差為1保證網絡的穩(wěn)定性Relu、LeakRelu設置一個梯度剪切閾值，然后更新梯度的時候，如果梯度超過這個閾值，那么就將其強制限制在這個范圍之內；采用權重正則化LSTM內部復雜的“門”，在計算時，將過程中的梯度進行了抵消殘差的方式，能使得深層的網絡梯度通過跳級連接路徑直接返回到淺層部分，使得網絡無論多深都能將梯度進行有效的回傳。預訓練加微調批量歸一化梯度剪切、正則殘差結構選擇合適的激活函數LSTM三、單元任務優(yōu)化簡化版的手寫體數字識別網絡01020304數據讀取和預處理模型構建與分析模型優(yōu)化模型測試三、單元任務優(yōu)化簡化版的手寫體數字識別網絡關鍵步驟：模型優(yōu)化添加3個隱層增加模型復雜度初始化一個0.001學習率，隨著訓練次數的增加，學習率越來越小學習率設置采用高斯初始化參數初始化Dropout正則化AdamOptimizer優(yōu)化器選擇單元小結本單元介紹了一些常用的深度學習模型優(yōu)化技巧，隨著應用領域的深入，模型優(yōu)化技巧也在不斷的更新。在實踐中，經驗豐富的算法工程師和研究人員會培養(yǎng)出直覺，能夠靈活組合各類技巧來提升模型性能。但是模型的優(yōu)化方法并非一成不變的，如果想要在某項任務上達到最佳性能，就需要選擇優(yōu)化方法、重新訓練模型，如此不停重復來改進你的模型。目前很多深度學習框架已經開始提供自動優(yōu)化工具，雖然這種技術仍處于初始階段，但已經能夠完成一些基本的優(yōu)化功能。依存語法分析11知識導圖課程安排課程任務課程目標安排課時模型文件介紹深入了解Tensorflow框架保存的三種模型文件和相應文件的具體含義，基本掌握各種模型文件的保存和重載方法1使用Tensorflowlite部署模型熟練掌握python版的模型轉換和模型部署程序，了解其他移動終端模型部署的程序4使用Tensorflowjs部署模型了解Tensorflowjs在瀏覽器前端的部署方法2使用Tensorflowserving部署模型了解Tensorflowserving針對服務器的部署方法，熟悉Flask框架內與Tensorflowserving服務的結合應用2一、模型文件簡介模型文件的三種格式模型的檢查點(Checkpoint)是模型在訓練過程中的網絡變量和參數狀態(tài)的”快照“CheckpointHDF5格式的模型文件是keras模塊推薦的保存格式，可以同時將模型結構、模型權重和優(yōu)化器配置保存為一個.h5文件HDF5SavedModel格式是Tensorflow用來實現(xiàn)跨語言、跨平臺的模型文件SavedModel一、模型文件簡介模型文件的三種格式CheckpointHDF5SavedModel模型文件的三種格式CheckpointHDF5SavedModel二、單元任務任務1：使用Tensorflowlite部署模型010203模型轉換模型優(yōu)化邊緣端部署二、單元任務任務1：使用Tensorflowlite部署模型010203模型轉換模型量化邊緣端部署

Tensorflowlite是Tensorflow專門為智能移動終端、邊緣計算和嵌入式設備開發(fā)的子框架，TFlite解釋器是用于在邊緣端設備上運行優(yōu)化后的模型，TFlite轉換器主要用來將訓練好的模型轉換為方便解釋器推理使用的格式。二、單元任務任務1：使用Tensorflowlite部署模型010203模型轉換模型量化邊緣端部署

移動邊緣設備的計算能力有限，受內存和芯片硬件大小的限制，有必要進一步優(yōu)化TFlite模型，讓我們的模型能夠更好地兼容這些小型設備。這里所說的模型優(yōu)化主要就是模型的量化。權重量化Float16量化整數量化二、單元任