備課日期：年月日授課時間課時（理論+實驗）周次星期:節次:授課課題深度學習[理論]教學目標1.理解深度學習的基本原理。2.掌握常用模型的構建方法。教學重點1.深度學習模型構建與訓練方法；2.常用深度學習模型。教學準備PPT、點名冊等。教學方法指導閱讀、案例法。教學過程設計備注課題引入【思考】傳統神經網絡特點？【關鍵】經驗風險最小化；可表達任意函數但不易求解可靠的參數（實際中易產生過擬合）。【時間】分鐘。教學步驟及主要內容【主板書】§14.深度學習[理論]一、基本原理【主板書】基本原理1.特征學習：通過組合低層特征而形成更加抽象的高層特征以解決分類問題。【強化與拓展】模仿人腦認識與分析問題的機理解釋數據（例如圖像、聲音和文本）。其優勢是采用非監督式或半監督式的特征學習和分層特征提取算法解決手工獲取特征中的精度低、可靠性差等問題。〖PPT〗傳統解決識別問題的流程與存在問題。【強化與拓展】提高分類精度的關鍵之一在于提取可以反映問題本質的有效特征。人工選取特征不但費時費力，而且需要啟發式的專業知識。2.人腦視覺機理。【強化與拓展】生物視覺系統的分級信息處理：高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現語義或者意圖。抽象層面越高，存在的可能猜測就越少，就越利于分類。〖PPT〗特征表示的粒度（摩托車識別為例）。3.深度學習理論的提出（2006年，加拿大多倫多大學教授GeoffreyHinton）。（1）多隱層的人工神經網絡具有優異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而更有利于可視化或分類；（2）深度神經網絡在訓練上的難度，可以通過無監督式的“逐層初始化”進行克服。【強化與拓展】傳統神經網絡中梯度消減或彌散情況。如果采用BP機制，對于一個深層（如10層以上）的神經網絡，誤差反饋至最前面的層時將變得很小（出現所謂“梯度擴散”），進而導致訓練失敗或偏差較大。【強化與拓展】“深度模型”是手段，“特征學習”是目的。4.深度學習與淺層學習（人工神經網絡）的區別。（1）強調模型結構深度；通常有10層左右或更多層隱層節點。（2）明確突出了特征學習的重要性：通過逐層特征變換，將樣本在原空間的特征表示變換到新特征空間，從而使分類更加容易。（3）深度學習可通過學習深層非線性網絡結構實現任意復雜函數的逼近，進而可發現數據的分布式特征表示。（4）深度學習采用逐層訓練機制。5.深度學習訓練過程。（1）采用自下而上的無監督學習（即利用采用無類標記數據或有類標記樣本從底層開始，一層一層的往頂層訓練）方式分層訓練各層參數。（2）自頂向下的監督學習

（即利用有類標記的樣本進行參數調整，誤差自頂向下傳輸）。【強化與拓展】深度學習參數學習過程的第一步實質上是一個參數初始化過程，不同于傳統神經網絡初值隨機初始化，深度學習參數初始化是通過無監督學習輸入數據的特征得到的，因而初始值更接近全局最優，從而可以取得更好的效果。〖PPT〗深度學習與傳統神經網絡之間的差異。【時間】分鐘。【提問】。二、模型示例：自動編碼器。1.基本原理：就是一種盡可能復現輸入信號的神經網絡；而為了實現這種復現，自動編碼器就必須捕捉可以代表輸入數據的最重要的因素。2.學習過程：（1）給定無標記樣本，用非監督學習方式學習特征。（2）D（編程）->P1；P1（解碼）->Q；如果D與Q相差很小，則有理由相信P1是D的一種表達。（3）用P1作為輸入，采用與2相同方式獲取原特征的更多表達P2,.P3…,Pn。【時間】分鐘。【提問】。三、模型示例：稀疏自動編碼器。1.基本原理：生物視覺形成的圖像有上億像素，但均只用很少的代價重建與存儲。2.在自動編碼器的基礎上增加L1范數以使每一層中的節點大部分取值為0（或者，在大量的樣本中選取較少的具有代表性的樣本作為元素以表達新的樣本）。【強化與拓展】L0范數為向量中非0元素的個數，L1范數為向量中各元素絕對值之和。L0范數很難優化求解，L1范數是L0范數的最優凸近似，更易于求解。〖PPT〗自動編碼器與稀疏自動編碼器。【時間】分鐘。【提問】。課堂練習其他無小結與作業課堂小結深度學習可以自動地提取分類需要的底層或高層特征（可以學習淺層語義信息，也可以學習深層語義信息，進而為后續不同的任務提供特征；提取出來的特征要比人為設定的特定具有更強的泛化性能），由于模型的層次與參數相對較多，因而具有很強大表征能力。此外，從模式識別特征和分類器的角度，深度學習框架將特征和分類器進行了統一（可以擬合任意復雜函數，可以