04人工智能技術(shù)的覺醒-深度學(xué)習(xí)技術(shù)框架011本章目標(biāo)了解深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系理解深度學(xué)習(xí)的核心了解深度學(xué)習(xí)技術(shù)框架的演變歷程重點(diǎn)難點(diǎn)重點(diǎn)2/57引入三者之間的關(guān)系人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支,旨在創(chuàng)建能夠執(zhí)行人類智能活動(dòng)的機(jī)器。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法,它使計(jì)算機(jī)系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)和改進(jìn)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集,它使用多層神經(jīng)網(wǎng)絡(luò)來模擬人腦的信息處理方式,特別適用于處理復(fù)雜的數(shù)據(jù),如圖像和語音。3/57初識深度學(xué)習(xí)深度學(xué)習(xí)的核心人腦神經(jīng)網(wǎng)絡(luò)5/57深度學(xué)習(xí)的核心輸入層隱藏層輸出層整體結(jié)構(gòu)特征由三層神經(jīng)元組成由輸入層，隱藏層和輸出層三部分組成，每一層包含若干個(gè)神經(jīng)元。輸入層用于接收外部的數(shù)據(jù)輸入，隱液層是中間處理層，可以有多層，檢出層用于輸出最后結(jié)果.相鄰展之間的神經(jīng)元相互連接神經(jīng)元之間的連線代表兩個(gè)神經(jīng)元相互連接，每一層的神經(jīng)元與下一層的神經(jīng)元相連接，但是同一層內(nèi)的神經(jīng)元之間無連接關(guān)系。6/57深度學(xué)習(xí)的核心7/57深度學(xué)習(xí)的核心體育是否及格（y）跳遠(yuǎn)（x1）跳高（x2）跑步（x3）仰臥起坐（x4）跳繩（x5）拉伸（x6）總分是（1）99.5999.51056否（0）67867640用單個(gè)神經(jīng)元來預(yù)測體育是否及格輸入x：各項(xiàng)體育項(xiàng)目成績權(quán)重w：各項(xiàng)目同等重要偏置b：體育要及格總分需要達(dá)到55激活函數(shù)f：采用階躍函數(shù)作為激活函數(shù)，當(dāng)總分大于55，加權(quán)輸入大于等于0，階躍函數(shù)輸出為1，否則為0.輸出y：1為合格，0為不合格8/57深度學(xué)習(xí)的核心隱藏層1隱藏層29/57深度學(xué)習(xí)的核心函數(shù)表達(dá)式：函數(shù)表達(dá)式：10/57深度學(xué)習(xí)的核心最常用的激活函數(shù)，計(jì)算簡單且有效多分類問題中常用，輸出為概率分布。在避免死神經(jīng)元的同時(shí)，保持網(wǎng)絡(luò)的激活效果，適用于深層網(wǎng)絡(luò)較新的激活函數(shù)，表現(xiàn)優(yōu)于ReLU。輸出是零中心的，但也會遇到梯度消失問題。ELU/SELUSwishSoftmaxTanhReLU常見激活函數(shù)11/57傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的對比維度傳統(tǒng)機(jī)器學(xué)習(xí)深度學(xué)習(xí)模型（函數(shù)類別）機(jī)器學(xué)習(xí)模型通常基于統(tǒng)計(jì)學(xué)習(xí)方法和數(shù)學(xué)方法，如邏輯回歸（LR）、決策樹（DT）、支持向量機(jī)（SVM）、樸素貝葉斯（NB）等，這些方法從數(shù)據(jù)中學(xué)習(xí)映射函數(shù)。深度學(xué)習(xí)模型基于層次化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和Transformer等，更適合處理復(fù)雜的模式識別任務(wù)。算法（擬合方法）常用的優(yōu)化算法有梯度下降法、牛頓法、隨機(jī)梯度下降等主要使用基于梯度的優(yōu)化算法，如隨機(jī)梯度下降等，依賴大量的數(shù)值計(jì)算和較高的算力采用反向傳播策略策略（擬合目標(biāo)）主要使用損失函數(shù),損失函數(shù)通常較為簡單，且有明確的數(shù)學(xué)形式，用于指導(dǎo)模型在學(xué)習(xí)過程中的優(yōu)化方向，而且通常不涉及激活函數(shù)。損失函數(shù)更加多樣化，可以結(jié)合不同任務(wù)、不同模型和多層網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)，通常具有更復(fù)雜的優(yōu)化目標(biāo)。且深度學(xué)習(xí)模型每一層通常都包括一個(gè)激活函數(shù)。特征工程需要人工設(shè)計(jì)和選擇特征，特征工程的好壞直接影響模型性能采用表示學(xué)習(xí)，能夠自動(dòng)學(xué)習(xí)和提取特征直接使用自然數(shù)據(jù)(如圖像像素)，減少人工特征工程的需求12/57深度學(xué)習(xí)的三架馬車YoshuaBengio杰弗里.辛頓楊立昆2018年，計(jì)算機(jī)科學(xué)界最高榮譽(yù)-圖靈獎(jiǎng)(被譽(yù)為"計(jì)算機(jī)界的諾貝爾獎(jiǎng)")授予了三位深度學(xué)習(xí)領(lǐng)域的杰出學(xué)者，這三位學(xué)者因其在深度神經(jīng)網(wǎng)絡(luò)研究中的開創(chuàng)性貢獻(xiàn)而獲此殊榮,他們的工作使深度神經(jīng)網(wǎng)絡(luò)成為現(xiàn)代計(jì)算的核心技術(shù)之一，因此被譽(yù)為深度學(xué)習(xí)研究的"三駕馬車"13/57深度學(xué)習(xí)中的諾貝爾戴密斯·哈薩比斯約翰·江珀大衛(wèi)·貝克2024年諾貝爾化學(xué)獎(jiǎng)一半授予DavidBaker；另一半則共同授予DemisHassabis和JohnM.Jumper。德米斯·哈薩比斯和約翰·詹珀成功地利用人工智能技術(shù)預(yù)測了幾乎所有已知蛋白質(zhì)的結(jié)構(gòu)。而大衛(wèi)·貝克掌握了生命的構(gòu)建模塊，并創(chuàng)造了全新的蛋白質(zhì)。14/57小結(jié)初識深度學(xué)習(xí)生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)由幾部分組成人工神經(jīng)網(wǎng)絡(luò)各部分的功能是什么深度學(xué)習(xí)中的三架馬車是什么15/57深度學(xué)習(xí)的發(fā)展歷程深度學(xué)習(xí)的發(fā)展歷程1943-20世紀(jì)70年代20世紀(jì)80年代2006年之后至今深度學(xué)習(xí)的古猿時(shí)代深度學(xué)習(xí)的智人時(shí)代深度學(xué)習(xí)的覺醒期深度學(xué)習(xí)的蓬勃發(fā)展期17/57深度學(xué)習(xí)的古猿時(shí)代由生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)1943年，心里學(xué)家麥卡洛克和數(shù)學(xué)邏輯學(xué)家皮茲發(fā)表論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》，提出了MP模型。MP模型18/57深度學(xué)習(xí)的古猿時(shí)代hebbian學(xué)習(xí)規(guī)則1949年，DonaldHebb提出了一項(xiàng)開創(chuàng)性的理論:Hebbian學(xué)習(xí)規(guī)則。這一規(guī)則闡述了神經(jīng)元之間連接強(qiáng)度變化的機(jī)制:當(dāng)神經(jīng)元A頻繁地接收來自神經(jīng)元B的輸入信號，并因此而持續(xù)激活時(shí)，這兩個(gè)神經(jīng)元之間的突觸連接將會增強(qiáng)。Hebbian學(xué)習(xí)規(guī)則與巴甫洛夫的"條件反射"理論在原理上高度一致，而且隨后的神經(jīng)生物學(xué)研究為其提供了實(shí)證支持。19/57深度學(xué)習(xí)的古猿時(shí)代古猿時(shí)代的典型代表技術(shù)之一-感知機(jī)感知機(jī)二分類效果示例展示20/57深度學(xué)習(xí)的智人時(shí)代霍普菲爾德網(wǎng)絡(luò)霍普菲爾德網(wǎng)絡(luò)由多個(gè)互相連接的神經(jīng)元組成，通常每個(gè)神經(jīng)元的狀態(tài)為二進(jìn)制(+1或-1)。網(wǎng)絡(luò)中的每個(gè)神經(jīng)元與其他所有神經(jīng)元相連(自連接除外)，連接權(quán)重可以是正值或負(fù)值結(jié)構(gòu)特點(diǎn)21/57深度學(xué)習(xí)的智人時(shí)代玻爾茲曼機(jī)及其變體玻爾茲曼機(jī)由可見層和隱藏層組成，神經(jīng)元之間的連接是對稱的。每個(gè)神經(jīng)元的狀態(tài)是二進(jìn)制的，且網(wǎng)絡(luò)的學(xué)習(xí)通過模擬退火過程來進(jìn)行。結(jié)構(gòu)特點(diǎn)22/57深度學(xué)習(xí)的智人時(shí)代前饋神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）多層感知機(jī)由輸入層、隱藏層和輸出層組成。各層之間的連接是單向的，同層神經(jīng)元之間沒有連接。這種結(jié)構(gòu)使得信息可以從輸入層逐層傳遞到輸出層。結(jié)構(gòu)特點(diǎn)深度學(xué)習(xí)基礎(chǔ)結(jié)構(gòu)之一23/57深度學(xué)習(xí)的智人時(shí)代初實(shí)踐-任務(wù)描述任務(wù)描述：訓(xùn)練一個(gè)簡單的多層感知器（MLP）模型并監(jiān)控?fù)p失變化任務(wù)目標(biāo)：使用一個(gè)簡單的多層感知器（MLP）模型對MNIST手寫數(shù)字?jǐn)?shù)據(jù)集進(jìn)行識別，并記錄訓(xùn)練過程中每一輪的損失值（loss），最終繪制損失變化圖來觀察模型的訓(xùn)練效果。任務(wù)流程24/57深度學(xué)習(xí)的智人時(shí)代前饋神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）-初實(shí)踐#定義一個(gè)簡單的多層感知器（MLP）模型classSimpleMLP(nn.Module):def__init__(self):super(SimpleMLP,self).__init__()self.fc1=nn.Linear(28*28,512)#第一層全連接層self.fc2=nn.Linear(512,256)#第二層全連接層self.fc3=nn.Linear(256,10)#輸出層（MNIST數(shù)據(jù)集有10個(gè)類別）25/57深度學(xué)習(xí)的智人時(shí)代前饋神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）-初實(shí)踐defforward(self,x):x=x.view(-1,28*28)#將圖像展平x=torch.relu(self.fc1(x))x=torch.relu(self.fc2(x))x=self.fc3(x)returnx26/57深度學(xué)習(xí)的智人時(shí)代前饋神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）-初實(shí)踐forepochinrange(epochs):total_loss=0forimages,labelsintrain_loader:optimizer.zero_grad()#清零梯度，避免上一輪梯度對本輪產(chǎn)生影響output=model(images)#將樣本輸入模型得到預(yù)測的結(jié)果loss=criterion(output,labels)#利用預(yù)測結(jié)果和真實(shí)結(jié)果計(jì)算損失loss.backward()#利用損失進(jìn)行反向傳播，計(jì)算對應(yīng)的梯度optimizer.step()#利用梯度進(jìn)行相應(yīng)的參數(shù)更新total_loss+=loss.item()27/57深度學(xué)習(xí)的智人時(shí)代前饋神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）-初實(shí)踐#訓(xùn)練模型并獲得損失歷史loss_history=train_model(model,train_loader,criterion,optimizer,epochs=30)

#繪制損失變化圖plt.plot(loss_history)plt.title('LossHistory')plt.xlabel('Epoch')plt.ylabel('Loss')plt.show()28/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）輸入層隱藏層輸出層反向傳播算法通過鏈?zhǔn)椒▌t計(jì)算損失函數(shù)相對于每個(gè)權(quán)重的梯度。首先，前向傳播計(jì)算輸出，然后通過損失函數(shù)計(jì)算誤差，最后將誤差反向傳播以更新權(quán)重。結(jié)構(gòu)特點(diǎn)深度學(xué)習(xí)中最重要的訓(xùn)練算法之一29/57深度學(xué)習(xí)的智人時(shí)代初實(shí)踐-任務(wù)描述任務(wù)描述：使用多層感知器（MLP）訓(xùn)練模型進(jìn)行鳶尾花（Iris）分類任務(wù)目標(biāo)：通過構(gòu)建一個(gè)簡單的多層感知器（MLP）模型，使用鳶尾花數(shù)據(jù)集進(jìn)行分類任務(wù)。我們通過數(shù)據(jù)預(yù)處理、定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練過程中的前向傳播與反向傳播、損失計(jì)算、優(yōu)化器更新等步驟，完成模型訓(xùn)練，并記錄每一輪的損失和精度。任務(wù)流程30/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐鳶尾花數(shù)據(jù)介紹Iris鳶尾花數(shù)據(jù)集是一個(gè)經(jīng)典數(shù)據(jù)集，在統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域都經(jīng)常被用作示例。數(shù)據(jù)集內(nèi)包含3類共150條記錄，每類各50個(gè)數(shù)據(jù)，每條記錄都有4項(xiàng)特征：花萼長度、花萼寬度、花瓣長度、花瓣寬度，通過這4個(gè)特征預(yù)測鳶尾花卉屬于（iris-setosa,iris-versicolour,iris-virginica）中的哪一品種31/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐lr=0.02#學(xué)習(xí)率epochs=300n_feature=4#輸入特征(鳶尾花四個(gè)特征)n_hidden=20#隱含層n_output=3#輸出(鳶尾花三種類別)32/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐iris=datasets.load_iris()#下載并導(dǎo)入數(shù)據(jù)#劃分?jǐn)?shù)據(jù)集和測試集x_train0,x_test0,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.2,random_state=22)#歸一化x_train=np.zeros(np.shape(x_train0))x_test=np.zeros(np.shape(x_test0))foriinrange(4):xMax=np.max(x_train0[:,i])xMin=np.min(x_train0[:,i])x_train[:,i]=(x_train0[:,i]-xMin)/(xMax-xMin)x_test[:,i]=(x_test0[:,i]-xMin)/(xMax-xMin)33/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐classbpnnModel(torch.nn.Module):def__init__(self,n_feature,n_hidden,n_output):super(bpnnModel,self).__init__()self.hidden=torch.nn.Linear(n_feature,n_hidden)#定義隱藏層網(wǎng)絡(luò)self.out=torch.nn.Linear(n_hidden,n_output)#定義輸出層網(wǎng)絡(luò)defforward(self,x):x=Fun.relu(self.hidden(x))#隱藏層的激活函數(shù),采用relu,也可以采用sigmod,tanhout=Fun.softmax(self.out(x),dim=1)#輸出層softmax激活函數(shù)returnout34/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐net=bpnnModel(n_feature=n_feature,n_hidden=n_hidden,n_output=n_output)optimizer=torch.optim.Adam(net.parameters(),lr=lr)#優(yōu)化器選用隨機(jī)梯度下降方式loss_func=torch.nn.CrossEntropyLoss()#對于多分類一般采用的交叉熵?fù)p失函數(shù)35/57深度學(xué)習(xí)的智人時(shí)代反向傳播算法（BP）-初實(shí)踐loss_steps=np.zeros(epochs)#保存每一輪epoch的損失函數(shù)值accuracy_steps=np.zeros(epochs)#保存每一輪epoch的在測試集上的精度forepochinrange(epochs):y_pred=net(x_train)#前向過程loss=loss_func(y_pred,y_train)#輸出與label對比optimizer.zero_grad()#梯度清零loss.backward()#反向傳播optimizer.step()#使用梯度優(yōu)化器loss_steps[epoch]=loss.item()#保存loss#下面計(jì)算測試機(jī)的精度，不需要求梯度36/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)包含了多個(gè)卷積層和池化層。卷積層負(fù)責(zé)捕捉圖像中的特征，就像我們的眼睛識別物體的輪廓和紋理一樣。池化層則幫助網(wǎng)絡(luò)抓住重要特征，同時(shí)減少數(shù)據(jù)量，使得計(jì)算更加高效。結(jié)構(gòu)特點(diǎn)37/57深度學(xué)習(xí)的智人時(shí)代初實(shí)踐-任務(wù)描述任務(wù)描述：訓(xùn)練并測試LeNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行MNIST數(shù)字分類任務(wù)目標(biāo)：使用LeNet卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行MNIST數(shù)據(jù)集的數(shù)字分類。訓(xùn)練并評估模型的性能，最終計(jì)算測試集上的準(zhǔn)確率。任務(wù)流程38/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐#計(jì)算出mnist數(shù)據(jù)中的均值與標(biāo)準(zhǔn)差，便于進(jìn)行標(biāo)準(zhǔn)化train_dataset=MNIST(root='/MNIST_data',train=True,download=True,transform=transforms.ToTensor())train_loader=DataLoader(train_dataset,shuffle=True,batch_size=60000)forimg,targetintrain_loader:x=img.view(-1,28*28)print(x.shape)print(x.mean())print(x.std())print(set(target.numpy()))#查看標(biāo)簽有多少個(gè)類別break39/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐batchsize=64shuffle=True#shuffle表示是否將數(shù)據(jù)集打亂epoch=10learning_rate=0.01momentum=0.540/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐classLeNet(torch.nn.Module):def__init__(self):super().__init__()

self.conv1=torch.nn.Sequential(torch.nn.Conv2d(1,6,kernel_size=5),torch.nn.ReLU(),torch.nn.AvgPool2d(kernel_size=2,stride=2),)......self.fc=torch.nn.Sequential(torch.nn.Linear(256,120),torch.nn.Linear(120,84),torch.nn.Linear(84,10))41/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐defforward(self,x):batch_size=x.size(0)x=self.conv1(x)x=self.conv2(x)x=x.view(batch_size,-1)#flatten變成全連接網(wǎng)絡(luò)需要的輸入x=self.fc(x)returnx#最后輸出的是維度為10的，也就是（對應(yīng)數(shù)學(xué)符號的0~9）42/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐model=LeNet()criterion=torch.nn.CrossEntropyLoss()#交叉熵?fù)p失optimizer=torch.optim.SGD(model.parameters(),lr=learning_rate,momentum=momentum)43/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐deftrain(epoch):running_loss=0.0#這整個(gè)epoch的loss清零running_total=0running_correct=0....loss.backward()#反向傳播得到每個(gè)參數(shù)的梯度值optimizer.step()#通過梯度下降執(zhí)行參數(shù)更新44/57深度學(xué)習(xí)的智人時(shí)代卷積神經(jīng)網(wǎng)絡(luò)-初實(shí)踐deftest():correct=0total=0withtorch.no_grad():#測試集不用算梯度fordataintest_loader:images,labels=dataoutputs=model(images)values,predicted=torch.max(outputs.data,dim=1)total+=labels.size(0)correct+=(predicted==labels).sum().item()acc=correct/total45/57深度學(xué)習(xí)的智人時(shí)代循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的核心在于其獨(dú)特的遞歸結(jié)構(gòu)設(shè)計(jì)。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，RNN的神經(jīng)元之間形成了循環(huán)連接，就像人類閱讀文字時(shí)會記住前文內(nèi)容一樣，RNN通過將當(dāng)前的隱藏狀態(tài)傳遞給下一時(shí)刻，能夠捕捉時(shí)間序列中的動(dòng)態(tài)模式。結(jié)構(gòu)特點(diǎn)46/57深度學(xué)習(xí)的覺醒期學(xué)術(shù)界的覺醒-深度置信網(wǎng)絡(luò)（DBN）改善了梯度消失和梯度爆炸問題無向圖有向圖多個(gè)RBM（受限玻爾茲曼機(jī)）堆疊起來，就得到了深度玻爾茲曼機(jī)（DBM）；如果在DBM最遠(yuǎn)離可視層的部分仍保持RBM不變,其他層（左圖下部和中部）使用貝葉斯信念網(wǎng)絡(luò)（BayesianBeliefNetwork）（RBM是無向圖，貝葉斯網(wǎng)絡(luò)是有向圖），就得到了深度信念網(wǎng)絡(luò)（DBN）結(jié)構(gòu)特點(diǎn)47/57深度學(xué)習(xí)的覺醒期工業(yè)界的覺醒-Imagenet數(shù)據(jù)集和Alexnet模型結(jié)合ImageNet數(shù)據(jù)集示例AlexNet模型參數(shù)48/57深度學(xué)習(xí)的覺醒期A