




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、六、 cnntest.m 7deepLearnToolbox-master 是一個深度學(xué)習(xí) matlab 包,里面含有很多機器學(xué)習(xí)算法,如卷積神經(jīng)網(wǎng)絡(luò)CNN深度信念網(wǎng)絡(luò)DBN自動編碼AutoEncoder (堆棧SAE卷積CAE的作者是 Rasmus Berg Palm弋碼下載:這里我們介紹deepLearnToolbox-master中的CNN部分。DeepLearnToolbox-master 中 CNN內(nèi)的 函數(shù):調(diào)用關(guān)系為:該模型使用了 mnist 的數(shù)字 mnist_uint8.mat 作為訓(xùn)練樣本,作為 cnn 的一個使用樣例, 每個樣本特征為一個 28*28=的向量。網(wǎng)絡(luò)結(jié)構(gòu) 為
2、:讓我們來看看各個函數(shù):一、Test_example_CNN: 2三、cnntrain.m 4四、cnnff.m 4五、cnnbp.m 5五、 cnnapplygrads.m 7一、 Test_example_CNN:Test_example_CNN:1設(shè)置CNN勺基本參數(shù)規(guī)格,如卷積、降采樣層的數(shù)量,卷積核的大小、降采樣的降幅2 cnnsetup 函數(shù) 初始化卷積核、偏置等3 cnntrain函數(shù) 訓(xùn)練cnn,把訓(xùn)練數(shù)據(jù)分成batch,然后調(diào)用3.1 cnnff 完成訓(xùn)練的前向過程,3.2 cnnbp 計算并傳遞神經(jīng)網(wǎng)絡(luò)的 error ,并計算梯度(權(quán)重的修改量)3.3 cnnapplygr
3、ads 把計算出來的梯度加到原始模型上去4 cnntest 函數(shù),測試當前模型的準確率該模型采用的數(shù)據(jù)為 mnist_uint8.mat ,含有 70000個手寫數(shù)字樣本其中 60000作為訓(xùn)練樣本, 10000作為測試樣本。 把數(shù)據(jù)轉(zhuǎn)成相應(yīng)的格式,并歸一化。設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)初始化網(wǎng)絡(luò),對數(shù)據(jù)進行批訓(xùn)練,驗證模型準確率 繪制均方誤差曲線二、Cnnsetup.m該函數(shù)你用于初始化CNN的參數(shù)。設(shè)置各層的 mapsize 大小, 初始化卷積層的卷積核、 bias 尾部單層感知機的參數(shù)設(shè)置bias 統(tǒng)一設(shè)置為 0權(quán)重設(shè)置為:-11之間的隨機數(shù)/sqrt (6/ (輸入神經(jīng)元數(shù)量+輸出神經(jīng)元數(shù)量
4、) 對于卷積核權(quán)重,輸入輸出為 fan_in, fan_outfan _out = n et.layersl.outputmaps * n et.layersl.kernelsize A 2;%卷積核初始化, 1 層卷積為 1*6 個卷積核, 2層卷積一共 6*12=72個卷積核。對于每個卷積輸出 featuremap ,%fan_in =表示該層的一個輸出map所對應(yīng)的所有卷積核,包含的神經(jīng)元的總數(shù)。1*25,6*25fan_in = numInputmaps * net.layersl.kernelsize A 2;fin =1*25 or 6*25 fout=1*6*25 or 6*12
5、*25 net.layersl.kij = (rand(net.layersl.kernelsize) - 0.5) * 2 * sqrt(6 / (fan_in + fan_out);1 卷積降采樣的參數(shù)初始化2 尾部單層感知機的參數(shù)(權(quán)重和偏量)設(shè)置:三、cnntrain.m該函數(shù)用于訓(xùn)練 CNN。生成隨機序列,每次選取一個 batch ( 50)個樣本進行訓(xùn)練。批訓(xùn)練:計算 50 個隨機樣本的梯度,求和之后一次性更新到模型權(quán)重中。 在批訓(xùn)練過程中調(diào)用:Cnnff.m 完成前向過程Cnnbp.m 完成誤差傳導(dǎo)和梯度計算過程Cnnapplygrads.m 把計算出來的梯度加到原始模型上去四、
6、cnnff.m1、取得CNN勺輸入2、兩次卷積核降采樣層處理3、尾部單層感知機的數(shù)據(jù)處理,需要把 subFeatureMap2連接成為一個(4*4)*12=192的向量,但是由于采用了 50 樣本批訓(xùn)練勺方法, subFeatureMap2 被拼合成為一個 192*50 勺特征向量 fv ;Fv 作為單層感知機的輸入,全連接的方式得到輸出層五、cnnbp.m該函數(shù)實現(xiàn) 2 部分功能,計算并傳遞誤差,計算梯度1、計算誤差和 LossFunction2、計算尾部單層感知機的誤差subFeatureMap2 的 4*43、把單層感知機的輸入層 featureVector 的誤差矩陣,恢復(fù)為維矩陣形式
7、 插播一張圖片:PF對應(yīng)前冋遼程:pieQ = ccnvCpicP, filter, valid)abcdfh1時2卄3d+4eb 2c3e 4fd 2e3g 4he 2f 3h 4iQ = cov(P, F. valid);蘆冃詳?shù)仁?“i嚴-ccnvi eicO. fillerRotlC fulljA2A+B2B3A+4A SB2C D4B 2D3C4C 3D4DI 4l 3lI11I |a |bP = cov(Qr Ff full);巻拱賀圭慘應(yīng):filterD = conv( p i c P.Rot 180, ePic Q, val i d )i-1hfed,cb3Ai Bh Cf DeAh Sg Ce DdAf BeAe BdCc DbCb DaF 二 conv(PfQ,valid)4、誤差在特征提取網(wǎng)絡(luò)【卷積降采樣層】的傳播如果本層是卷積層,它的誤差是從后一層(降采樣層)傳過來,誤差傳播實際上是用降采樣的反向過程,也就是降采樣層的誤差復(fù)制為 2*2=4份。卷積層的輸入是經(jīng)過sigmoid處 理的,所以,從降采樣層擴充來的誤差要經(jīng)過 sigmoid求導(dǎo)處理。如果本層是降采樣層,他的誤差是從后一層(卷積層)傳過來,誤差傳播實際是用卷積的反向過程,也就是卷積層的誤差,反卷積(卷積核轉(zhuǎn)180度)卷積層的誤差,原理參看插圖。5、
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 深圳市育才中學(xué)2025屆高三實驗班暑期第一次月考英語試題含解析
- 山東省淄博沂源縣聯(lián)考2025屆初三第一次適應(yīng)性考試(一模)物理試題含解析
- 江蘇省南菁高中學(xué)2024-2025學(xué)年初三下學(xué)期期末學(xué)業(yè)質(zhì)量監(jiān)測語文試題理試題含解析
- 遼寧省丹東市五校協(xié)作體2025屆高三12月考-英語試題(含答案)
- 陜西省榆林市名校2024-2025學(xué)年中考模擬(8)語文試題含解析
- 西藏自治區(qū)日喀則市南木林縣2025年初三下期中考試英語試題理試題含答案
- 租賃合同大揭秘
- 機電設(shè)備交易合同樣本2025
- 與建筑公司簽訂的合同賠償協(xié)議
- 版中小學(xué)輔導(dǎo)機構(gòu)合同協(xié)議
- 辦公室設(shè)備設(shè)施清單
- 異常子宮出血診斷與治療指南解讀課件
- 機器學(xué)習(xí)之聚類分析課件
- DB64-T 698-2021危險場所電氣防爆安全檢測技術(shù)規(guī)范-(高清可復(fù)制)
- 運動處方的制定課件
- 腦干聽覺誘發(fā)電位課件
- 輸液泵/微量注射泵使用技術(shù)操作考核評分標準
- 附件1數(shù)據(jù)業(yè)務(wù)品質(zhì)管理指標體系
- 康佳led彩電電路原理圖
- 中考英語任務(wù)型閱讀解題技巧課件
- (西北)火力發(fā)電廠汽水管道支吊架設(shè)計手冊
評論
0/150
提交評論