深度學(xué)習(xí)技術(shù)探索人工智能的前沿技術(shù)，了解神經(jīng)網(wǎng)絡(luò)如何改變我們的世界課程概述1課程目標(biāo)掌握深度學(xué)習(xí)核心理論與實(shí)踐技能2學(xué)習(xí)內(nèi)容神經(jīng)網(wǎng)絡(luò)基礎(chǔ)到前沿應(yīng)用全覆蓋3考核方式理論測(cè)試與實(shí)踐項(xiàng)目相結(jié)合第一章：深度學(xué)習(xí)基礎(chǔ)人工智能發(fā)展歷程從圖靈測(cè)試到現(xiàn)代AI機(jī)器學(xué)習(xí)與深度學(xué)習(xí)關(guān)系子集關(guān)系與核心區(qū)別深度學(xué)習(xí)優(yōu)勢(shì)自動(dòng)特征提取與模型能力人工智能發(fā)展歷程1圖靈測(cè)試（1950年）機(jī)器智能評(píng)估的開(kāi)創(chuàng)性概念2達(dá)特茅斯會(huì)議（1956年）人工智能學(xué)科正式誕生3AI冬天（1974-1993年）兩次研究低谷與資金減少4深度學(xué)習(xí)興起（2006年至今）計(jì)算能力與數(shù)據(jù)推動(dòng)新繁榮機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的關(guān)系1深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)多層結(jié)構(gòu)2表示學(xué)習(xí)自動(dòng)學(xué)習(xí)數(shù)據(jù)表示3機(jī)器學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)模式4人工智能模擬人類智能的廣泛領(lǐng)域深度學(xué)習(xí)的優(yōu)勢(shì)自動(dòng)特征提取無(wú)需手工設(shè)計(jì)特征端到端學(xué)習(xí)直接從原始數(shù)據(jù)到最終輸出強(qiáng)大表示能力可學(xué)習(xí)復(fù)雜非線性關(guān)系遷移學(xué)習(xí)能力知識(shí)可跨任務(wù)遷移第二章：神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元與人工神經(jīng)元從自然到人工的智能單元激活函數(shù)引入非線性變換前向傳播信息流動(dòng)與計(jì)算過(guò)程生物神經(jīng)元與人工神經(jīng)元生物神經(jīng)元結(jié)構(gòu)樹(shù)突、細(xì)胞體、軸突組成人工神經(jīng)元模型輸入、權(quán)重、求和、激活權(quán)重和偏置決定神經(jīng)元對(duì)輸入的響應(yīng)強(qiáng)度激活函數(shù)激活函數(shù)引入非線性，使網(wǎng)絡(luò)能學(xué)習(xí)復(fù)雜模式前向傳播輸入層原始數(shù)據(jù)進(jìn)入網(wǎng)絡(luò)隱藏層加權(quán)求和后通過(guò)激活函數(shù)輸出層產(chǎn)生最終預(yù)測(cè)結(jié)果第三章：深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練損失函數(shù)衡量模型預(yù)測(cè)與真實(shí)值差距1反向傳播算法計(jì)算梯度的高效方法2優(yōu)化算法更新參數(shù)以減小損失3損失函數(shù)均方誤差(MSE)回歸問(wèn)題常用交叉熵?fù)p失分類任務(wù)首選Hinge損失支持向量機(jī)與邊界優(yōu)化反向傳播算法1前向計(jì)算從輸入到輸出2計(jì)算損失評(píng)估預(yù)測(cè)質(zhì)量3反向傳遞誤差應(yīng)用鏈?zhǔn)椒▌t計(jì)算梯度優(yōu)化算法隨機(jī)梯度下降(SGD)基礎(chǔ)算法，波動(dòng)大Momentum累積梯度加速收斂Adam優(yōu)化器自適應(yīng)學(xué)習(xí)率，更穩(wěn)定第四章：卷積神經(jīng)網(wǎng)絡(luò)(CNN)1CNN的基本結(jié)構(gòu)專為處理網(wǎng)格數(shù)據(jù)設(shè)計(jì)2卷積層使用濾波器提取空間特征3池化層降維并保留重要信息CNN的基本結(jié)構(gòu)1輸入層原始圖像數(shù)據(jù)2卷積層提取局部特征3激活函數(shù)層引入非線性4池化層降低維度，提高魯棒性5全連接層綜合特征進(jìn)行分類卷積層卷積核概念提取局部特征的濾波器步長(zhǎng)和填充控制特征圖尺寸特征圖卷積結(jié)果表示提取的特征池化層最大池化保留區(qū)域最大值平均池化計(jì)算區(qū)域平均值全局池化整個(gè)特征圖壓縮為單值經(jīng)典CNN架構(gòu)1LeNet-5(1998)首個(gè)成功的CNN，手寫(xiě)數(shù)字識(shí)別2AlexNet(2012)深度學(xué)習(xí)復(fù)興，ImageNet冠軍3VGGNet(2014)簡(jiǎn)單統(tǒng)一結(jié)構(gòu)，3x3卷積堆疊4ResNet(2015)殘差連接突破層數(shù)限制第五章：循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)RNN基本結(jié)構(gòu)處理序列數(shù)據(jù)的網(wǎng)絡(luò)長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)解決長(zhǎng)期依賴問(wèn)題門(mén)控循環(huán)單元(GRU)LSTM的簡(jiǎn)化變體RNN基本結(jié)構(gòu)循環(huán)連接狀態(tài)在時(shí)間步間傳遞展開(kāi)的RNN多時(shí)間步的計(jì)算圖時(shí)間反向傳播貫穿時(shí)間的梯度計(jì)算長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)遺忘門(mén)決定丟棄哪些信息輸入門(mén)控制新信息更新輸出門(mén)篩選輸出內(nèi)容記憶單元長(zhǎng)期存儲(chǔ)信息門(mén)控循環(huán)單元(GRU)重置門(mén)控制忽略先前狀態(tài)程度更新門(mén)控制新舊信息比例與LSTM比較更簡(jiǎn)單，參數(shù)更少第六章：生成對(duì)抗網(wǎng)絡(luò)(GAN)GAN基本原理生成器與判別器對(duì)抗學(xué)習(xí)1生成器網(wǎng)絡(luò)創(chuàng)造逼真樣本2判別器網(wǎng)絡(luò)區(qū)分真假數(shù)據(jù)3訓(xùn)練過(guò)程博弈平衡達(dá)成4GAN的基本原理零和博弈一方收益等于另一方損失生成器目標(biāo)生成判別器無(wú)法識(shí)別的樣本判別器目標(biāo)準(zhǔn)確區(qū)分真實(shí)與生成樣本生成器和判別器生成器網(wǎng)絡(luò)結(jié)構(gòu)從隨機(jī)噪聲創(chuàng)造數(shù)據(jù)判別器網(wǎng)絡(luò)結(jié)構(gòu)二分類器判別真假損失函數(shù)設(shè)計(jì)對(duì)抗目標(biāo)的數(shù)學(xué)表達(dá)GAN的訓(xùn)練過(guò)程固定G訓(xùn)練D判別器學(xué)習(xí)區(qū)分真假固定D訓(xùn)練G生成器改進(jìn)生成質(zhì)量重復(fù)迭代達(dá)到納什均衡評(píng)估生成質(zhì)量FID、IS等指標(biāo)第七章：深度強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)基礎(chǔ)智能體與環(huán)境交互Q-learning經(jīng)典表格式強(qiáng)化學(xué)習(xí)算法深度Q網(wǎng)絡(luò)(DQN)深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)結(jié)合強(qiáng)化學(xué)習(xí)基礎(chǔ)智能體通過(guò)試錯(cuò)學(xué)習(xí)與環(huán)境交互的最優(yōu)策略Q-learningQ值更新公式當(dāng)前Q值+學(xué)習(xí)率×?xí)r間差分誤差ε-貪心策略平衡探索與利用經(jīng)驗(yàn)回放存儲(chǔ)并重用歷史交互數(shù)據(jù)深度Q網(wǎng)絡(luò)(DQN)神經(jīng)網(wǎng)絡(luò)替代Q表處理高維狀態(tài)空間目標(biāo)網(wǎng)絡(luò)穩(wěn)定訓(xùn)練過(guò)程DoubleDQN減輕Q值過(guò)估計(jì)第八章：遷移學(xué)習(xí)遷移學(xué)習(xí)概念知識(shí)跨領(lǐng)域應(yīng)用預(yù)訓(xùn)練模型已學(xué)習(xí)通用表示的網(wǎng)絡(luò)微調(diào)技術(shù)針對(duì)特定任務(wù)的適應(yīng)遷移學(xué)習(xí)概念123知識(shí)遷移源任務(wù)學(xué)習(xí)幫助目標(biāo)任務(wù)領(lǐng)域自適應(yīng)處理分布差異多任務(wù)學(xué)習(xí)同時(shí)學(xué)習(xí)多個(gè)相關(guān)任務(wù)預(yù)訓(xùn)練模型ImageNet預(yù)訓(xùn)練模型視覺(jué)任務(wù)基礎(chǔ)模型BERT預(yù)訓(xùn)練模型雙向語(yǔ)言理解GPT系列模型生成式預(yù)訓(xùn)練轉(zhuǎn)換器微調(diào)技術(shù)凍結(jié)層策略鎖定前層，僅訓(xùn)練后層學(xué)習(xí)率調(diào)整不同層使用不同學(xué)習(xí)率漸進(jìn)式微調(diào)逐步解凍更多層第九章：模型壓縮與加速1模型剪枝移除冗余連接與神經(jīng)元2知識(shí)蒸餾小模型學(xué)習(xí)大模型知識(shí)3量化技術(shù)降低參數(shù)精度模型剪枝權(quán)重剪枝移除小權(quán)重連接通道剪枝移除整個(gè)特征通道結(jié)構(gòu)化剪枝保持規(guī)則結(jié)構(gòu)的剪枝知識(shí)蒸餾1訓(xùn)練教師模型大型復(fù)雜網(wǎng)絡(luò)2提取軟標(biāo)簽教師模型概率輸出3訓(xùn)練學(xué)生模型模仿教師知識(shí)的小網(wǎng)絡(luò)量化技術(shù)定點(diǎn)量化浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)二值化網(wǎng)絡(luò)權(quán)重限制為+1/-1量化感知訓(xùn)練訓(xùn)練過(guò)程模擬量化效果第十章：深度學(xué)習(xí)框架TensorFlowGoogle開(kāi)發(fā)的端到端平臺(tái)PyTorchFacebook的動(dòng)態(tài)計(jì)算圖框架MXNetAmazon支持的高效框架TensorFlowGoogle開(kāi)發(fā)的完整生態(tài)系統(tǒng)，從研究到生產(chǎn)部署PyTorch動(dòng)態(tài)計(jì)算圖運(yùn)行時(shí)構(gòu)建的計(jì)算圖autograd機(jī)制自動(dòng)微分追蹤操作nn.Module類構(gòu)建神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)MXNet符號(hào)式編程靜態(tài)定義計(jì)算圖命令式編程即時(shí)執(zhí)行操作Gluon接口高級(jí)API簡(jiǎn)化開(kāi)發(fā)第十一章：計(jì)算機(jī)視覺(jué)應(yīng)用圖像分類識(shí)別圖像主要內(nèi)容目標(biāo)檢測(cè)定位并分類多個(gè)物體圖像分割像素級(jí)別的精確識(shí)別圖像分類數(shù)據(jù)集ImageNet與CIFAR-10評(píng)估指標(biāo)準(zhǔn)確率與Top-5錯(cuò)誤率實(shí)現(xiàn)示例遷移學(xué)習(xí)應(yīng)用目標(biāo)檢測(cè)一階段檢測(cè)器YOLO與SSD速度快二階段檢測(cè)器FasterR-CNN精度高評(píng)估指標(biāo)mAP衡量檢測(cè)質(zhì)量圖像分割語(yǔ)義分割FCN與U-Net像素分類實(shí)例分割MaskR-CNN區(qū)分個(gè)體全景分割PanopticFPN統(tǒng)一處理第十二章：自然語(yǔ)言處理應(yīng)用詞嵌入文本數(shù)值表示1序列到序列模型變長(zhǎng)序列轉(zhuǎn)換2注意力機(jī)制關(guān)注重要信息3Transformer自注意力架構(gòu)4詞嵌入維度空間訓(xùn)練速度語(yǔ)義捕獲詞嵌入將單詞映射到低維向量空間，捕獲語(yǔ)義關(guān)系序列到序列模型機(jī)器翻譯語(yǔ)言間轉(zhuǎn)換文本摘要生成關(guān)鍵內(nèi)容概述對(duì)話系統(tǒng)生成上下文相關(guān)回復(fù)注意力機(jī)制與Transformer自注意力序列內(nèi)部關(guān)系建模多頭注意力并行處理不同特征位置編碼保留序列順序信息第十三章：語(yǔ)音識(shí)別與合成1語(yǔ)音特征提取從原始波形獲取特征2聲學(xué)模型特征映射到音素3語(yǔ)言模型音素序列轉(zhuǎn)換為文本語(yǔ)音特征提取將聲音波形轉(zhuǎn)換為深度學(xué)習(xí)模型可處理的表示聲學(xué)模型HMM-DNN混合模型結(jié)合統(tǒng)計(jì)模型與神經(jīng)網(wǎng)絡(luò)CTC模型端到端訓(xùn)練無(wú)需對(duì)齊RNN-T模型流式識(shí)別的轉(zhuǎn)錄器語(yǔ)言模型N-gram模型基于詞序列概率神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型更強(qiáng)的泛化能力BERT應(yīng)用上下文感知的語(yǔ)言理解第十四章：深度學(xué)習(xí)前沿元學(xué)習(xí)學(xué)會(huì)如何學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)處理圖結(jié)構(gòu)數(shù)據(jù)神經(jīng)架構(gòu)搜索自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)元學(xué)習(xí)1快速適應(yīng)少量樣本學(xué)習(xí)新任務(wù)2MAML算法學(xué)習(xí)最優(yōu)初始化參數(shù)3Reptile算法MAML的一階近似簡(jiǎn)化圖神經(jīng)網(wǎng)絡(luò)圖卷積網(wǎng)絡(luò)(