PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

5.1小波理論5.2小波神經(jīng)網(wǎng)絡(luò)5.3小波神經(jīng)網(wǎng)絡(luò)訓練架構(gòu)5.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法第五章小波神經(jīng)網(wǎng)絡(luò)225.1小波理論小波分析是在短時傅里葉變換的基礎(chǔ)上發(fā)展起來的一種具有多分辨率分析特點的時頻分析方法。通過小波分析，可以將各種交織在一起的由不同頻率組成的混合信號分解成不同頻率的塊信號，能夠有效解決諸如噪音分離、編碼解碼、數(shù)據(jù)壓縮、模式識別、非線性化問題線性化、非平穩(wěn)過程平穩(wěn)化等問題。也正是因為如此，小波分析在水聲信道盲均衡中有應(yīng)用景。335.1小波理論5.1.1小波變換1.連續(xù)性小波變換小波是函數(shù)空間中滿足的一個函數(shù)或者信號，也稱為基本小波或母小波函數(shù)，而上式也稱為小波函數(shù)的可容許條件。將進行伸縮和平移，就可得到函數(shù)，式中，為分析小波或連續(xù)小波，為伸縮因子(尺度參數(shù))且，為平移因子(位移參數(shù))，二者都是連續(xù)變化的值。將空間中的任意信號在小波基函數(shù)下展開，這種展開稱為信號的連續(xù)小波變換(ContinueWaveletTransform，CWT)，其表達式為等效的頻域表示為式中，、分別為、的傅里葉變換，“*”表示復共軛，稱為小波變換系數(shù)。可以證明，若采用的小波滿足容許條件，則連續(xù)小波變換存在著逆變換，逆變換公式為

445.1小波理論5.1.1小波變換1.連續(xù)性小波變換由于母小波函數(shù)及其傅里葉變換都是窗函數(shù)，設(shè)其窗口中心分別為、，窗口半徑分別為、。由于是一個窗函數(shù)，經(jīng)伸縮和平移后小波基函數(shù)也是一個窗函數(shù)，其窗口中心為，窗口半徑為

，給出了信號在一個“時間窗”內(nèi)的局部信息，其窗口中心為，窗口寬度為2，即小波變換具有“時間局部化”。令，則也是一個窗函數(shù)，其窗口中心為0，半徑為。由Parseval恒等式，可得積分小波變換為因為顯然，是一個窗口中心在，窗口半徑為的窗函數(shù)。除了具有一個倍數(shù)與線性相位位移之外，還給出了信號的頻譜在“頻率窗”內(nèi)的局部信息，其窗口中心在，窗口寬度為，即小波變換具有“頻率局部化”。555.1小波理論5.1.1小波變換1.連續(xù)性小波變換綜上可知，給出了信號在時間-頻率平面(平面)中一個矩形的時間-頻率窗上的局部信息，即小波變換具有時-頻局部化特性。此外，時間寬度×頻率寬度=。即時間-頻率窗的“窗口面積”是恒定的，而與時間和頻率無關(guān)。上述時間-頻率窗公式的重要性是，當檢測高頻信息時(即對于小的)，時間窗會自動變窄；而當檢測低頻信息時(即對于大的)，時間窗會自動變寬。而窗的面積是固定不變的，如下圖所示。下圖表明，“扁平”狀的時-頻窗是符合信號低頻成分的局部時-頻特性的，而“瘦窄”狀的時-頻窗是符合信號高頻成分的局部時-頻特性的。665.1小波理論5.1.1小波變換2.離散小波變換在信號處理中，特別是在數(shù)字信號處理和數(shù)值計算等方面，為了計算機實現(xiàn)的方便，連續(xù)小波必須進行離散化，通常的方法是將中的參數(shù)、都取離散值，取,,，固定尺度參數(shù)，位移參數(shù)，從而把連續(xù)小波變成離散小波，即

改成=，

。離散小波變換為，。式中，待分析信號和分析小波中的時間變量并沒有被離散化，所以也稱此變換為離散，柵格下的小波變換。通常取，，則有與之對應(yīng)的小波變換稱為二進小波變換，相應(yīng)的小波為二進小波。775.1小波理論5.1.2多分辨率分析在多分辨分析是構(gòu)造小波基函數(shù)的理論基礎(chǔ)，也是Mallat信號分解與重構(gòu)塔形算法的基礎(chǔ)。其基本思想是把中的函數(shù)表示成一個逐級逼近的極限，每一個逼近都具有不同的分辨率和尺度，因此稱為多分辨分析。設(shè)為空間中一列閉子空間列，如果滿足以下條件，則稱為多分辨率分析，又稱多尺度分析。

(1)一致單調(diào)性：(2)漸進完全性：(3)伸縮規(guī)則性：(4)平移不變性：,對所有(5)Riesz基存在性：存在，使得構(gòu)成的Riesz基，其中，稱為尺度函數(shù)。885.1小波理論5.1.2多分辨率分析1.尺度函數(shù)與尺度空間由于，且構(gòu)成的一個Riesz基，則由多分辨分析定義，經(jīng)過伸縮和平移后的函數(shù)集合為

必構(gòu)成子空間的Riesz基。是尺度為平移為的尺度函數(shù)，是尺度為的尺度空間。995.1小波理論5.1.2多分辨率分析2.小波函數(shù)與小波空間定義為在中的直交補空間(又稱小波空間)，即式中，表示直和運算。上式也可表示為。該式表明，小波空間是兩個相鄰尺度空間的差，即代表了空間與之間的細節(jié)信息，因此也稱小波空間為細節(jié)空間。若函數(shù)，且構(gòu)成的Riesz基，則稱為小波函數(shù)。顯然，此時有構(gòu)成的Riesz基。是尺度為平移為的小波函數(shù)，是尺度為的小波空間。如果，相應(yīng)的多分辨率分析稱為正交多分辨率分析。如果尺度函數(shù)滿足，即是一個正交基，則稱為正交尺度函數(shù)。由于，，因而有(當且)，即對任意子空間與是相互正交的(空間不相交)，則。即構(gòu)成了的一系列正交子空間。如果小波函數(shù)，即構(gòu)成的一個正交基，則稱為正交小波函數(shù)。如果為正交小波函數(shù)，為正交尺度函數(shù)，則{，}構(gòu)成了一個正交小波系統(tǒng)。10105.1小波理論5.1.2多分辨率分析3.兩尺度方程由于，且是的一個正交基，所以，必存在唯一的序列，使得滿足的雙尺度方程為通常稱它為尺度方程。其中展開系數(shù)為，為低通濾波器系數(shù)，由尺度函數(shù)和小波函數(shù)決定的，與具體尺度無關(guān)。另外，由于小波函數(shù)，且為小波空間的一個正交基函數(shù)，所以，必存在唯一序列，使得滿足的雙尺度方程為上式稱之為構(gòu)造方程或小波方程。其中展開系數(shù)。是高通濾波器系數(shù)，也僅由尺度函數(shù)和小波函數(shù)決定的，與具體尺度無關(guān)。

{，}構(gòu)成了一個正交小波系統(tǒng)，可以從正交尺度函數(shù)構(gòu)造出正交小波函數(shù)，其方法是令。由于雙尺度方程是描述相鄰二尺度空間基函數(shù)之間的關(guān)系，所以稱之為二尺度方程，并且二尺度差分關(guān)系存在于任意兩個相鄰尺度和之間，則上述二尺度方程可寫為

11115.2小波神經(jīng)網(wǎng)絡(luò)小波神經(jīng)網(wǎng)絡(luò)根據(jù)小波分析方法與神經(jīng)網(wǎng)絡(luò)的結(jié)合方式可分為兩類：（1）前置小波神經(jīng)網(wǎng)絡(luò)。它是小波變換與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)合，主要通過小波分析方法對信號進行特征提取、去除噪聲等處理，并將所得結(jié)果作為神經(jīng)網(wǎng)絡(luò)輸入從而實現(xiàn)函數(shù)逼近、模式識別等過程。稱這一類為混合型小波神經(jīng)網(wǎng)絡(luò)或前置小波神經(jīng)網(wǎng)絡(luò)。（2）嵌入小波神經(jīng)網(wǎng)絡(luò)。它是小波基函數(shù)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的緊密融合，主要包括小波基函數(shù)作隱含層激勵函數(shù)；根據(jù)多分辨分析建立相應(yīng)的隱含層結(jié)構(gòu)；通過自適應(yīng)小波的線性組合得到“疊加小波”，構(gòu)成能夠自適應(yīng)調(diào)節(jié)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)。這類小波神經(jīng)網(wǎng)絡(luò)也稱為融合型小波神經(jīng)網(wǎng)絡(luò)。它主要包括以小波函數(shù)為激勵函數(shù)的小波神經(jīng)網(wǎng)絡(luò)、以尺度函數(shù)為激勵函數(shù)的小波神經(jīng)網(wǎng)絡(luò)、多分辨小波神經(jīng)網(wǎng)絡(luò)以及自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)。本節(jié)將對混合型小波神經(jīng)網(wǎng)絡(luò)以及嵌入小波神經(jīng)網(wǎng)絡(luò)等模型進行分析研究。12125.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)前置小波神經(jīng)網(wǎng)絡(luò)用小波基函數(shù)對信號特征提取、去除噪聲等預(yù)處理工作，如下圖所示。以離散輸入信號被分解為相對低頻的近似分量和高頻的細節(jié)分量，即尺度系數(shù)和小波系數(shù)。一方面，由于有效信號與噪聲信號在小波變換的各尺度上具有不同的傳播特性，因此，可通過模極大值法、閾值法等方法實現(xiàn)對信號去噪作用；另一方面，近似分量與細節(jié)分量分別包含原始信號的不同信息，對于信號分解的過程也是對信號進行特征提取的過程。因此，通過小波逆變換過程可得到重構(gòu)的近似成分和細節(jié)成分，并將其部分作為原始信號的特征輸入至常規(guī)神經(jīng)網(wǎng)絡(luò)，進一步實現(xiàn)神經(jīng)網(wǎng)絡(luò)功能。13135.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)在上圖中，輸入信號經(jīng)過小波變換后就是神經(jīng)網(wǎng)絡(luò)的輸入信號，即，此時隱層的輸入、輸出修正為如果采用均方誤差函數(shù)定義損失函數(shù)，則。式中，表示目標輸出。輸出層權(quán)值迭代公式為，而從而得到

式中同理可得，輸入層權(quán)值迭代公式為

式中

14145.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)由小波分析進行信號處理的過程，如下圖所示。該過程包括Mallat算法、離散小波變換和離散小波逆變換的信號分解與重構(gòu)過程。圖中向上采樣與向下采樣算子與，相同。15155.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)嵌入小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。圖中，第一層為輸入層，輸入層輸入單元的數(shù)量取決于具體問題的已知條件數(shù)目，設(shè)輸入層的輸入值

；第二層為隱含層，隱含層每一個節(jié)點與輸入層每一個連接節(jié)點之間都有連接關(guān)系，每一條連接關(guān)系在輸入層與輸出層間所占的權(quán)重依賴于網(wǎng)絡(luò)權(quán)值衡量。16165.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)設(shè)輸入層、隱含層、輸出層分別含有N，J，M個神經(jīng)元，，分別代表輸入數(shù)據(jù)與輸出數(shù)據(jù)，，分別表示輸入層隱含層權(quán)值與隱含層輸出層權(quán)值，

代表小波函數(shù)，而，分別代表小波函數(shù)的伸縮因子與平移因子。1）對于隱含層神經(jīng)元，其加權(quán)輸入用表示，其輸出用表示為2）對于輸出層神經(jīng)元，其加權(quán)輸入用表示，其輸出用表示為式中，為輸出層的激勵函數(shù)。17175.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)設(shè)負梯度算法基于誤差反傳思想，按照梯度下降方向調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)各項參數(shù)。自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)學習過程如下：1）網(wǎng)絡(luò)輸出的均方誤差定義為，式中，為目標輸出。2）網(wǎng)絡(luò)權(quán)重與小波系數(shù)的更新公式為式中，各參數(shù)按鏈式求導法則進行更新，即各偏微分計算式為

式中，代表小波函數(shù)的一階導數(shù)。18185.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)3）將偏微分計算代入鏈式求導得到各參數(shù)更新值：4）進一步地，上一系列式可改寫為其中，和表示等效誤差：基于上述一系列公式即可計算自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)的權(quán)值及小波系數(shù)，從而實現(xiàn)通過數(shù)據(jù)對小波神經(jīng)網(wǎng)絡(luò)進行訓練的目的。19195.3小波神經(jīng)網(wǎng)絡(luò)訓練架構(gòu)小波神經(jīng)網(wǎng)絡(luò)（WNN）自身有非線性擬合能力，其利用自身衍生于生物神經(jīng)的結(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)調(diào)整，模擬網(wǎng)絡(luò)輸入值與輸出值之間的關(guān)系，并利用迭代調(diào)整自身的參數(shù)，當WNN的迭代次數(shù)等于預(yù)設(shè)最大迭代值或網(wǎng)絡(luò)的誤差值小于或等于預(yù)設(shè)誤差值時，WNN結(jié)束訓練工作，網(wǎng)絡(luò)訓練步驟如下：步驟1：樣本預(yù)處理。將所有樣本值分為兩組，分別為訓練樣本（包括訓練輸入樣本與訓練預(yù)期輸出樣本）與測試樣本（包括測試輸入樣本與測試預(yù)期輸出樣本）。訓練樣本與測試樣本內(nèi)部數(shù)據(jù)不相同，訓練樣本負責對WNN進行訓練，當WNN訓練結(jié)束后，由于測試樣本與訓練樣本不相同，所以測試樣本可以驗證訓練后的小波神經(jīng)網(wǎng)絡(luò)模型的泛化能力。20205.3小波神經(jīng)網(wǎng)絡(luò)訓練架構(gòu)步驟2：初始化。影響WNN收斂性能與泛化能力的兩個重要因素是小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)是否適宜，初始化工作主要是確定WNN輸入層、隱含層、輸出層每層的節(jié)點數(shù)，在小波神經(jīng)網(wǎng)絡(luò)程序中對權(quán)值隨機賦予初始值；同時，由于WNN隱含層使用的函數(shù)為小波基函數(shù)，因此，初始化還包括對小波函數(shù)的參數(shù)比如尺度因子、位移因子等隨機賦予初始值；WNN在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上得到，而BP神經(jīng)網(wǎng)絡(luò)在使用最速梯度下降法進行學習時，學習步長也在初始化工作中賦予初始值；由于小波神經(jīng)網(wǎng)絡(luò)結(jié)束訓練工作的標志是：訓練過程中網(wǎng)絡(luò)的輸出誤差值小于預(yù)設(shè)值或者小波神經(jīng)網(wǎng)絡(luò)在模型修正過程中的最大迭代次數(shù)大于等于網(wǎng)絡(luò)預(yù)設(shè)最大迭代次數(shù)，因此，在初始化工作中需人為設(shè)定小波神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)，需根據(jù)網(wǎng)絡(luò)多次訓練的經(jīng)驗確定。21215.3小波神經(jīng)網(wǎng)絡(luò)訓練架構(gòu)步驟3：網(wǎng)絡(luò)訓練。網(wǎng)絡(luò)訓練過程將訓練輸入樣本輸入WNN，使用訓練樣本對小波神經(jīng)網(wǎng)絡(luò)進行訓練，調(diào)整更新網(wǎng)絡(luò)參數(shù)，提升小波神經(jīng)網(wǎng)絡(luò)的泛化能力，使WNN成為更有針對性、目的性的小波神經(jīng)網(wǎng)絡(luò)模型；在對小波基函數(shù)的參數(shù)如平移因子、伸縮因子等的更新，增強WNN的收斂性，改進BP神經(jīng)網(wǎng)絡(luò)收斂性較差的缺點。根據(jù)WNN的誤差公式，在程序的迭代過程中累計小波神經(jīng)網(wǎng)絡(luò)誤差和，并通過誤差輸出函數(shù)輸出。步驟4：結(jié)束。WNN的訓練過程需要設(shè)定條件做標準用以結(jié)束訓練程序，在小波神經(jīng)網(wǎng)絡(luò)訓練程序中，當WNN訓練的輸出誤差小于程序預(yù)設(shè)值或迭代過程中迭代次數(shù)大于等于程序預(yù)設(shè)最大迭代次數(shù)，則訓練程序結(jié)束工作。如果未結(jié)束，返回步驟3。22225.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法雖然WNN作為小波分析與人工神經(jīng)網(wǎng)絡(luò)的結(jié)合兼具了二者的優(yōu)點，但是還有一些改進空間，比如提高收斂速度等。本節(jié)從WNN的學習算法等角度出發(fā)，簡要的分析如何提高小波神經(jīng)網(wǎng)絡(luò)性能。23235.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學習算法優(yōu)化

ANN學習方式按照輸入樣本的差異可以分成有監(jiān)督學習與無監(jiān)督學習，也可以稱為有教師學習與無教師學習。有監(jiān)督學習方式中每一個輸入的訓練樣本都對應(yīng)了一個教師信號，即訓練輸出值，該訓練輸出值為小波神經(jīng)網(wǎng)絡(luò)訓練樣本的期望輸出值，小波神經(jīng)網(wǎng)絡(luò)以網(wǎng)絡(luò)權(quán)值為自變量，以訓練輸入樣本與訓練期望輸出樣本作為環(huán)境變量，訓練時根據(jù)實際輸出值與期望輸出值的誤差值大小與方向調(diào)整權(quán)值大小，這樣的調(diào)整動作在小波神經(jīng)網(wǎng)絡(luò)的每次迭代過程中都會發(fā)生，直至網(wǎng)絡(luò)的輸出誤差值符合預(yù)設(shè)誤差水平值以下為止，有監(jiān)督學習方式在整個計算更新的過程中網(wǎng)絡(luò)為封閉的閉環(huán)系統(tǒng)，在有監(jiān)督學習方式下形成的網(wǎng)絡(luò)可以完成模式分類、函數(shù)擬合等工作。當系統(tǒng)在無監(jiān)督學習模式下時，小波神經(jīng)網(wǎng)絡(luò)只需要訓練輸入樣本，無需得知每個訓練輸入樣本應(yīng)對應(yīng)的期望輸出樣本值，網(wǎng)絡(luò)的權(quán)值更新只根據(jù)各個輸入樣本之間的關(guān)系進行，無監(jiān)督式學習適合聯(lián)想記憶工作，但無法進行函數(shù)逼近工作。24245.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學習算法優(yōu)化

WNN結(jié)構(gòu)并非固定，其學習算法也并非只有一種。有監(jiān)督方式與無監(jiān)督方式又可以延伸對應(yīng)多種學習方式。（1）Hebb學習規(guī)則，它是根據(jù)網(wǎng)絡(luò)權(quán)值兩端連接神經(jīng)元的激活方式（異步激活或同步激活）選擇性的將該權(quán)值增大或減小、Widrow-Hoff學習規(guī)則、隨機學習規(guī)則與競爭學習規(guī)則等。（2）Widrow-Hoff準則又稱為糾錯準則，權(quán)值的調(diào)整以誤差公式為依據(jù)，調(diào)整量與誤差大小成正比；隨機學習規(guī)則來源于統(tǒng)計力學，實際上為模擬退火算法。（3）競爭學習規(guī)則下的WNN其輸出神經(jīng)元之間競爭，只有一個單元可以進行權(quán)值調(diào)整，其他網(wǎng)絡(luò)權(quán)值保持不變，體現(xiàn)了神經(jīng)元之間的側(cè)向抑制。WNN的泛化能力與收斂速度取決于小波神經(jīng)網(wǎng)絡(luò)設(shè)計與模型修正，優(yōu)化算法就是優(yōu)化網(wǎng)絡(luò)模型修正的算法，通過是對傳統(tǒng)算法的修正。基于梯度的學習算法中，步長即學習率決、權(quán)值修正量或函數(shù)及權(quán)向量化方法都是優(yōu)化方向。其中，步長即學習率決、權(quán)值修正量或函數(shù)在第2章已經(jīng)分析，這里不再贅述。這里僅就權(quán)向量優(yōu)化方法作一些討論分析。25255.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學習算法優(yōu)化現(xiàn)以粒子群優(yōu)化算法（ParticleSwarmOptimization，PSO）為例，說明如何優(yōu)化權(quán)向量。粒子群優(yōu)化算法的基本思想為：首先需對粒子進行初始化，每個粒子都可能是潛在問題的最優(yōu)解，每個粒子可以用位置、速度、適應(yīng)度三個特征值表征，三個特征值用以衡量粒子的好壞，在可解空間內(nèi)通過跟蹤個體極值與群體極值作為衡量標準更新粒子的位置，其中個體極值指的是經(jīng)過計算后的個體適應(yīng)度值最優(yōu)位置，相應(yīng)的群體極值便為所有粒子搜索到的適應(yīng)度值最優(yōu)解。在具體的計算中，粒子每更新一次，適應(yīng)度值便重新計算一次，并且通過比較個體極值與種群極值的適應(yīng)度值更新個體極值與種群極值的位置。26265.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學習算法優(yōu)化在由M個粒子組成的D維粒子群空間中，表示第i個粒子的位置向量，表示第i個粒子的速度，其個體極值點位置為

整個群體極值點位置為。粒子的更新以公式為式中，w為慣性權(quán)重；、為學習因子，一般取分布于之間的非負常數(shù)；、為之間的隨機數(shù)。借鑒變異思想補足粒子群算法自身的缺陷時，具體體現(xiàn)在小波神經(jīng)網(wǎng)絡(luò)的模型修正的過程為：在WNN的初始化工作結(jié)束后，針對改進后的粒子群算法，通過已賦予了初始值的小波神經(jīng)網(wǎng)絡(luò)的誤差公式確定每個粒子的適應(yīng)度值；對粒子極值進行更新，通過粒子更新模型更新粒子的速度與位置，根據(jù)遺傳算法思想，以一定的概率重新初始化粒子，與此同時更新粒子極值與群體極值。27275.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化小波函數(shù)肯定會影響小波神經(jīng)網(wǎng)絡(luò)的性能，通過對小波基函數(shù)分析，包括Morlet函數(shù)，從其函數(shù)的特性尤其是代入ANN后的小波神經(jīng)網(wǎng)絡(luò)的收斂性出發(fā)，分析函數(shù)的優(yōu)化選擇。1.Haar小波Haar函數(shù)公式為該小波屬于正交小波，函數(shù)使用廣泛。但是該小波函數(shù)不連續(xù)、頻域局部分辨率差等缺點導致其適用范圍受限。2.

Morlet小波Morlet函數(shù)是高斯網(wǎng)絡(luò)下的單頻率復正弦函數(shù)，Morlet小波是應(yīng)用比較多的小波函數(shù)，但是它不具備正交性、不具備緊支撐集，因此在在時域與頻域內(nèi)小波都比較集中。28285.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化3.Mcxicanhat小波Mcxicanhat又名“墨西哥草帽”小波，該小波定義為：Mcxicanhat小波具有良好的時頻局部特性，不存在尺度函數(shù)、不具備正交性，但可用于連續(xù)小波變換。29295.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化4.Daubcchics小波Daubcchics簡稱為db小波，它是對尺度取2時整次冪條件下進行小波變換的一類小波，該小波具有正交性，緊支撐，但是并不是對稱小波。對于小波神經(jīng)網(wǎng)絡(luò)，選擇小波基函數(shù)時，應(yīng)在保證網(wǎng)絡(luò)性能的前提下，盡量減少計算時間，也就是說，在保證WNN訓練后在一定誤差范圍內(nèi)，小波神經(jīng)網(wǎng)絡(luò)要加快收斂速度，提高WNN模型的實時性。將不同的小波基函數(shù)代入WNN中，最終得到的函數(shù)擬合誤差，如下圖所示。30305.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化4.Daubcchics小波不同的小波函數(shù)帶入WNN中，由于每個小波函數(shù)特性不相同，因此針對函數(shù)的非線性擬合問題，上圖表明，雖然分析了多種函數(shù)，但最終結(jié)果依然是Morlet小波函數(shù)作為WNN的隱含層激勵函數(shù)時，其的誤差值更小，再進一步分析，根據(jù)程序中小波神經(jīng)網(wǎng)絡(luò)的收斂速度，還可以得出Morlet小波基函數(shù)收斂性更好的結(jié)論。31315.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化WNN的結(jié)構(gòu)主要由輸入層、隱含層、輸出層與彼此相連的節(jié)點網(wǎng)絡(luò)權(quán)值組成，WNN的輸入層與輸出層都為單層，且輸入層與輸出層的節(jié)點數(shù)只與小波神經(jīng)網(wǎng)絡(luò)解決的具體問題有關(guān)。因此，WNN結(jié)構(gòu)對性能的影響體現(xiàn)在隱含層的層數(shù)與隱含層節(jié)點數(shù)的選取是否適宜待解決問題。隱含層是WNN的輸入層與輸出層之間的中間層，它負責對小波神經(jīng)網(wǎng)絡(luò)輸入層輸入的數(shù)據(jù)進行特征提取工作，隨著隱含層層數(shù)的增加，相應(yīng)的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復雜度也會增加，數(shù)據(jù)處理的時間變長，甚至于隨著小波神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)增加，小波神經(jīng)網(wǎng)絡(luò)還可能會出現(xiàn)過擬合現(xiàn)象，因此小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇一般會優(yōu)先選擇三層結(jié)構(gòu)網(wǎng)絡(luò)，即選擇只有一層隱含層的小波神經(jīng)網(wǎng)絡(luò)。然而，在工程過程中，如果增加隱含層節(jié)點數(shù)已不能提升小波神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，或者是小波神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)過多導致網(wǎng)絡(luò)運行困難等缺陷，就可以考慮適當增加小波神經(jīng)網(wǎng)絡(luò)隱含層的層數(shù)、減少單層隱含層的節(jié)點數(shù)。32325.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

如何確定小波神經(jīng)網(wǎng)絡(luò)中隱含層節(jié)點數(shù)呢？隱含層與輸入節(jié)點的網(wǎng)絡(luò)聯(lián)系以及隱含層與輸出層之間的網(wǎng)絡(luò)聯(lián)系共同組成了小波神經(jīng)網(wǎng)絡(luò)的核心，其中隱含層可以提取WNN輸入層中的泛化信息，起到了體現(xiàn)輸入層與輸出層之間映射關(guān)系的作用，因此隱含層節(jié)點數(shù)的選擇十分重要。隱含層節(jié)點過多，造成網(wǎng)絡(luò)冗余度增加、計算量增大、時間增長等后果；而隱含層節(jié)點數(shù)過少，則小波神經(jīng)網(wǎng)絡(luò)可能最基本的實現(xiàn)輸入層與輸出層之間的映射關(guān)系、非線性擬合能力無法完整的體現(xiàn)出來。因此，需從小波神經(jīng)網(wǎng)絡(luò)功能的實現(xiàn)，網(wǎng)絡(luò)訓練的快速性、結(jié)構(gòu)的精煉性等方面考慮隱含層節(jié)點數(shù)的選擇。33335.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

（1）為了提高小波神經(jīng)網(wǎng)絡(luò)性能，因此應(yīng)該在保證小波神經(jīng)網(wǎng)絡(luò)模型的泛化能力前提下，盡量的減少計算時間，即要在保證網(wǎng)絡(luò)訓練后準確度的前提下，盡可能的精簡WNN結(jié)構(gòu)，這其中包括減少WNN隱含層的層數(shù)，也包括在準確度保證的前提下盡量地減少小波神經(jīng)網(wǎng)絡(luò)隱含層的節(jié)點數(shù)。因為隱含層的作用是對信息進行提取歸納作用，故其節(jié)點數(shù)一般遠遠小于訓練的樣本數(shù)，訓練樣本數(shù)需要高于網(wǎng)絡(luò)的連接權(quán)數(shù)，否則網(wǎng)絡(luò)沒有泛化能力。

（2）為了減小小波神經(jīng)網(wǎng)絡(luò)模型在模型修正過程中的計算量，提高計算速度，在一定范圍內(nèi)增加小波神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點數(shù)可以提高小波神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，然而當隱含層節(jié)點數(shù)超過這個范圍后，增加WNN隱含層節(jié)點數(shù)對于提高小波神經(jīng)網(wǎng)絡(luò)模型的性能影響不大。文獻[32]給出了一種確定隱含層節(jié)點數(shù)的方式：隱含層節(jié)點數(shù)等于輸入層節(jié)點個數(shù)與輸出層節(jié)點個數(shù)之和的一半加一，利用輸入層節(jié)點數(shù)與輸出層節(jié)點個數(shù)，借鑒兩個隱含層節(jié)點數(shù)的計算公式，計算出隱含層的可能值后，將可能值分別向左向右分別拓寬取值范圍，將取值范圍內(nèi)的所有可能的數(shù)目進行試驗驗證，最終選取最適宜值作為WNN隱含層節(jié)點個數(shù)。345.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法34根據(jù)前面分析，現(xiàn)研究嵌入小波神經(jīng)網(wǎng)絡(luò)的盲均衡算法。本節(jié)研究將小波嵌入神經(jīng)網(wǎng)絡(luò)與空間分集技術(shù)、分數(shù)間隔相結(jié)合的常模盲均衡算法，提出了基于空間分集技術(shù)的小波神經(jīng)網(wǎng)絡(luò)盲均衡算法和基于小波神經(jīng)網(wǎng)絡(luò)的分數(shù)間隔盲均衡算法。這兩類算法與標準的前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法相比較，均能體現(xiàn)出明顯的優(yōu)越性。355.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法355.5.1算法描述由于小波神經(jīng)網(wǎng)絡(luò)具有很高的模擬精度和很快的訓練速度，現(xiàn)將小波神經(jīng)網(wǎng)絡(luò)引入至空間分集盲均衡算法中，得到的基于空間分集的小波神經(jīng)網(wǎng)絡(luò)盲均衡算法(SDE-WNN)，該算法將在提高接收端信噪比、降低誤碼率的同時，加快收斂速度。SDE-WNN如下圖所示。365.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法365.5.1算法描述在復數(shù)系統(tǒng)下，SDE-WNN的輸入信號、輸入層與隱層的連接權(quán)值、隱層與輸出層連接權(quán)值表示為復數(shù)形式，即式中，為空間分集的支路個數(shù)，表示實部，表示虛部。第路小波神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程方程為式中，為小波基函數(shù)。第路常數(shù)模(CMA)代價函數(shù)為

式中，為第路輸出信號，是發(fā)射信號序列的模。375.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法375.5.1算法描述在根據(jù)最速梯度下降法，可得到輸出層與隱層的權(quán)值迭代公式為從而得到同理可得，輸入層權(quán)值迭代公式為385.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法385.5.1算法描述那么，引入空間分集后，伸縮因子經(jīng)過小波神經(jīng)網(wǎng)絡(luò)訓練迭代公式為所以式中，為伸縮因子的迭代步長。395.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法395.5.1算法描述同理，平移因子迭代公式為

其中，為平移因子的迭代步長。405.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法405.5.2仿真實驗與結(jié)果分析

【實驗5.1】采用典型稀疏兩徑水聲信道和均勻介質(zhì)兩徑水聲信道；發(fā)射信號為4QAM，信噪比為20dB，實驗中采用，用WNN1和WNN2表示信道1和信道2的小波神經(jīng)網(wǎng)絡(luò)盲均衡器，采用三層小波神經(jīng)網(wǎng)絡(luò)，且均衡器的長度為11，采用中心抽頭系數(shù)初始化，WNN1中小波伸縮因子步長，平移因子的步長，權(quán)向量步長；WNN2中伸縮因子步長，平移因子的步長，權(quán)向量步長，仿真結(jié)果，如下圖所示。(a)誤差曲線(b)均方根誤差曲線415.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法415.5.2仿真實驗與結(jié)果分析(c)WNN1輸出(d)WNN2輸出(e)SDE-WNN輸出

上圖表明，SDE-WNN的收斂速度要快于WNN1和WNN2，從圖(a)可知，SDE-WNN均方誤差比WNN1小1dB，而比WNN2明顯小4dB；圖(b)表明，在不同信噪比的情況下，SDE-WNN的均方根誤差最小；在相同信噪比情況下，更能顯示SDE-WNN的優(yōu)越性，圖(c~e)表明，SDE-WNN的星座圖更加清晰、緊湊。425.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法425.5.2仿真實驗與結(jié)果分析

【實驗5.2】仍采用實驗11.10的信道，發(fā)射信號為2PAM，信噪比為20dB，實驗中采用，用WNN1和WNN2表示信道1和信道2的小波神經(jīng)網(wǎng)絡(luò)盲均衡器，小波神經(jīng)網(wǎng)絡(luò)盲均衡器的長度為11，采用中心抽頭系數(shù)初始化，WNN1中小波伸縮因子步長，平移因子的步長，權(quán)向量步長；WNN2中伸縮因子步長，平移因子的步長，權(quán)向量步長。仿真結(jié)果，如下圖所示。(a)誤差曲線(b)均方根誤差曲線435.5實例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法435.5.2仿真實驗與結(jié)果分析

上圖表明，SDE-WNN的收斂速度要快于WNN1和WNN2，并且均方誤差明顯比WNN1和WNN2小2dB和5dB，圖(b)表明，在不同信噪比的情況下，SDE-WNN的均方根誤差減小的幅度更大；在相同信噪比情況下，更能顯示SDE-WNN的優(yōu)越性；圖(c~e)表明，SDE-WNN的星座圖更加清晰、緊湊、均衡效果更優(yōu)。(c)WNN1輸出星座圖(d)WNN2輸出星座圖(e)SDE-WNN輸出星座圖PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.2CNN訓練6.3卷積操作的變種6.4池化操作的變種6.5常見的幾種CNN結(jié)構(gòu)6.6幾種拓展的CNN結(jié)構(gòu)6.7基于深度CNN的遙感圖像分類第六章卷積神經(jīng)網(wǎng)絡(luò)6.8基于深度CNN的運動模糊去除方法典型的CNN由輸入層、卷積層、池化層、全連接層、輸出層等構(gòu)成。其思維導向，如圖所示；卷積神經(jīng)網(wǎng)絡(luò)6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積核

卷積核就是觀察的范圍，與人眼不同，計算機的觀察范圍要比人眼小得多，一般使用3×3，5×5，7×7等矩陣作為卷積核。應(yīng)該使用多大的卷積核，一般由輸入圖片的大小來決定的，輸入圖片越大，使用的卷積核也越大。6.1.1基本概念注意：卷積核一般都是奇數(shù)。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4747步長

人眼可以很容易直接找到目標內(nèi)容，而計算機不行。計算機需要一行一行的把整張圖片掃描一遍才能找到目標，而掃描的間距就是步長。一般為了不遺漏特征值，掃描的步長通常都會設(shè)定成1（針對大圖時也會將步長設(shè)大）6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)填充

（1）只掃描可卷積的像素（padding=‘valid’），如圖所示。如果使用3×3的卷積核進行卷積，那么通常需從(2,2)的位置開始（此處下標從1開始），因為如果從(1,1)開始，則該點的左面和上面都沒有數(shù)據(jù)，同理最終以(n-1,n-1)結(jié)束；如果步長為1，卷積操作以后得到的結(jié)果會比原來的圖片長寬各少2個像素。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）掃描所有像素（進行邊緣0填充，padding=‘same’），如圖所示。這種方式不管卷積核多大，都從(1,1)開始操作，周邊不足的地方以0進行填充，所以步長為1時，卷積以后得到的結(jié)果和原圖大小是一樣的。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度

用一個卷積核對圖片進行一次卷積操作，將會得到一個結(jié)果；用多個卷積核對圖片進行多次卷積操作就會得到多個結(jié)果，該結(jié)果的數(shù)量就是深度。

為什么要對同一張圖片進行多次卷積操作呢？

6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

首先，在全連接層中，上層神經(jīng)元到本層某個神經(jīng)元的權(quán)重是w，兩層之間的參數(shù)w的數(shù)量就是兩層神經(jīng)元個數(shù)的乘積；而對圖片進行卷積操作時，使用同一個卷積核，那么這個卷積核就與全連接層中的一個w是相同的意義，一個卷積核就是一個參數(shù)（或者也可以理解為一個卷積核就對應(yīng)一個或一組神經(jīng)元），在神經(jīng)網(wǎng)絡(luò)訓練中，每個卷積核的值都會被調(diào)整。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積和互相關(guān)

卷積神經(jīng)網(wǎng)絡(luò)由卷積操作得名，卷積操作是信號處理、圖像處理和其它領(lǐng)域最常用的一種操作。在深度學習領(lǐng)域，卷積操作使用互相關(guān)運算來代替。

卷積運算的定義為該定義表明，卷積操作是兩個函數(shù)的積分，其中一個函數(shù)經(jīng)過顛倒和位移操作。下圖是卷積操作的可視化演示。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

左上角的兩個圖片是原始的

，

過濾器，首先將其顛倒如左下角兩圖所示，然后沿著水平坐標軸滑動過濾器如圖右上角兩圖所示。在每一個位置，計算

和

顛倒后的交叉范圍的面積，每一個具體點的交叉面積就是該點的卷積值，整個操作的卷積是所有卷積值的累加。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

互相關(guān)運算的定義是兩個函數(shù)的滑動點乘或者滑動內(nèi)積，過濾器不需要經(jīng)過顛倒操作。過濾器和函數(shù)的交叉區(qū)域的面積和就是互相關(guān)，下圖顯示了互相關(guān)運算和卷積運算的區(qū)別。

在深度學習中，卷積運算中的過濾器并沒有經(jīng)過顛倒操作，因此實際上就是互相關(guān)運算。但是由于卷積神經(jīng)網(wǎng)絡(luò)中的卷積核(過濾器)是隨機初始化的，所以在此互相關(guān)運算和卷積運算沒有本質(zhì)的區(qū)別，可以把經(jīng)過學習后得到的互相關(guān)過濾器視為實際的卷積過濾器的顛倒。5555

與神經(jīng)網(wǎng)絡(luò)一樣，模型輸入需進行預(yù)處理操作。常見的輸入層中對圖像預(yù)處理方式有：去均值、歸一化、主成分分析（principalcomponentanalysis，PCA）/支持向量（Supportvectormachine，SVM）降維等。

1．均值化

把輸入數(shù)據(jù)各個維度都中心化到0，所有樣本求和求平均，然后用所有的樣本減去這個均值樣本就是去均值。

2.歸一化

數(shù)據(jù)幅度歸一化到同樣范圍，對于每個特征而言，范圍值區(qū)間為[-1,1]。

3.PCA/白化

用主成分分析法（PCA）進行降維，讓每個維度的相關(guān)性消失，特征和特征之間相互獨立。白化是對數(shù)據(jù)每個特征軸上的幅度歸一化。6.1.2輸入層6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)566.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（a）均值化與歸一化

（b）去相關(guān)與白化

假設(shè)有一個3×3大小的卷積層，其輸入通道為3、輸出通道為4。那么一般的操作就是用4個3×3×3的卷積核來分別同輸入數(shù)據(jù)卷積，得到的輸出只有一個通道的數(shù)據(jù)。之所以會得到一通道的數(shù)據(jù)，是因為剛開始3×3×3的卷積核的每個通道會在輸入數(shù)據(jù)的每個對應(yīng)通道上做卷積，然后疊加每一個通道對應(yīng)位置的值，使之變成單通道，那么4個卷積核一共需要(3×3×3)×4=108個參數(shù)。6.1.3卷積層常規(guī)卷積6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在大腦識別圖像的過程中，大腦并不是整張圖同時識別，而是對于圖片中的每一個特征首先局部感知，然后更高層次對局部進行綜合操作，從而得到全局信息。局部感知過程，6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)局部感知

卷積層的計算公式為

式中，F(xiàn)表示每一張?zhí)卣鲌D，w表示卷積核；

表示卷積運算。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積操作的含義是什么？例如，一張32×32×3的圖像，進行卷積核大小為5×5×3的計算過程，如圖6.12所示。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(a)卷積條件與結(jié)果

(b)卷積計算

(c)卷積核

(d)逐層卷積6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

所謂激勵，實際上是對卷積層的輸出結(jié)果做一次非線性映射。卷積層的輸出可表示為

式中，

表示第

層第個輸出特征圖，

表示第

層第n個特征圖與第

-1層第m個特征圖之間的連接權(quán)重，

表示卷積計算，

表示第

-1層第m個輸出特征圖，

表示第

層第n個偏置。常用的非線性激活函數(shù)有Sigmoid、Tanh、ReLU、LReLU等。Sigmod：Tanh：ReLU：LReLU：6.1.4激勵層6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

池化層（Poolinglayer）：也稱為子采樣(Subsampling)或降采樣(Downsampling)。主要用于特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減小過擬合，同時提高模型的容錯性。

1.池化層功能

池化操作(Pooling)往往會用在卷積層之后，通過池化來降低卷積層輸出的特征維度，有效減少網(wǎng)絡(luò)參數(shù)、防止過擬合現(xiàn)象。主要功能如下：

（1）增大感受野

所謂感受野，即一個像素對應(yīng)回原圖的區(qū)域大小。假如沒有pooling，一個3×3、步長為1的卷積，輸出一個像素的感受野就是3×3的區(qū)域；再加一個stride=1的3×3卷積，則感受野為5×5。感受野的增加對于模型能力的提升是必要的，正所謂“一葉障目則不見泰山也”。6.1.5池化層636.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）平移不變性

在池化層，池化函數(shù)使用某一位置的相鄰輸出的總體統(tǒng)計特征來代替網(wǎng)絡(luò)在該位置的輸出。希望不管采用什么樣的池化函數(shù)，當對輸入進行少量平移時，經(jīng)過池化函數(shù)后的大多數(shù)輸出并不會發(fā)生改變，這就是平移的不變性。因為pooling不斷地抽象了區(qū)域的特征而不關(guān)心位置，所以pooling一定程度上增加了平移不變性。池化的平移不變性(translationinvariant)，如圖所示。圖中右上角為3副橫折位置不一樣的圖像，分別同左上角的卷積核進行運算，然后再進行3×3大小池化操作，最后得到的識別結(jié)果相同。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）平移不變性

在池化層，池化函數(shù)使用某一位置的相鄰輸出的總體統(tǒng)計特征來代替網(wǎng)絡(luò)在該位置的輸出。希望不管采用什么樣的池化函數(shù)，當對輸入進行少量平移時，經(jīng)過池化函數(shù)后的大多數(shù)輸出并不會發(fā)生改變，這就是平移的不變性。因為pooling不斷地抽象了區(qū)域的特征而不關(guān)心位置，所以pooling一定程度上增加了平移不變性。池化的平移不變性(translationinvariant)，如圖所示。圖中右上角為3副橫折位置不一樣的圖像，分別同左上角的卷積核進行運算，然后再進行3×3大小池化操作，最后得到的識別結(jié)果相同。656.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（3）降低優(yōu)化難度和參數(shù)可以用步長大于1的卷積來替代池化，但是池化每個特征通道單獨做降采樣，與基于卷積的降采樣相比，不需要參數(shù)，更容易優(yōu)化。全局池化更是可以大大降低模型的參數(shù)量和優(yōu)化工作量。2．最常見的池化操作最常見的池化操作為平均池化（meanpooling）和最大池化（maxpooling）。平均池化是計算圖像區(qū)域的平均值作為該區(qū)域池化后的值。最大池化是選圖像區(qū)域的最大值作為該區(qū)域池化后的值。（1）最大池化

最大池化又分為重疊池化和非重疊池化。如，常見的stride=kernelsize，屬于非重疊池化；若stride<kernelsize，則屬重疊池化。與非重疊池化相比，重疊池化不僅可以提升預(yù)測精度，同時在一定程度上可以緩解過擬合。666.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

最大池化的具體操作：整個圖片被不重疊的分割成若干個同樣大小的小塊（poolingsize）。每個小塊內(nèi)只取最大的數(shù)字，再舍棄其他節(jié)點后，保持原有的平面結(jié)構(gòu)得到輸出，如圖所示。相應(yīng)的，對于多個特征映射（featuremap），原本64張224×224的圖像，經(jīng)過最大池化后，變成了64張112×112的圖像，如圖6.20所示，從而實現(xiàn)了降采樣(downsample)的目的。676.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3.平均池化圖6.21表示一個4×4特征映射鄰域內(nèi)的值用一個2×2的濾波器（filter）、步長為2進行掃描，計算平均值輸出到下一層，這叫做平均池化（meanpooling）。686.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.6輸出層（全連接層）

經(jīng)過若干次卷積+激勵+池化后，就到了輸出層。模型會將學到的一個高質(zhì)量的特征圖送全連接層。其實在全連接層之前，如果神經(jīng)元數(shù)目過大，學習能力強，有可能出現(xiàn)過擬合。因此，可以引入dropout操作，通過隨機刪除神經(jīng)網(wǎng)絡(luò)中的部分神經(jīng)元，來解決此問題。還可以進行局部響應(yīng)歸一化（Localresponsenormalization,

LRN）、數(shù)據(jù)增強等操作來增加魯棒性。

當來到了全連接層之后，可以理解為一個簡單的多分類神經(jīng)網(wǎng)絡(luò)（如BP神經(jīng)網(wǎng)絡(luò)），通過softmax函數(shù)得到最終的輸出。整個模型訓練完畢。696.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.6輸出層（全連接層）兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部。也就是與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的連接方式一樣，如圖所示。706.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.7維度變化過程

在CNN中，通過卷積核對上一層進行卷積操作，完成特征抽取，在下一層進行池化。本節(jié)主要分析卷積層和池化層的維度變化過程，在使用全0填充（如果步長為1，則可避免節(jié)點矩陣通過卷積層后尺寸發(fā)生變化）時，卷積層/池化層的輸出維度計算公式為

式中，

表示卷積層輸出矩陣的長度，它等于輸入層矩陣長度除以在長度方向上的步長的向上取整值，

表示卷積層輸出矩陣的寬度，它等于輸入層矩陣寬度除以在寬度方向上步長的向上取整值。

716.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.7維度變化過程如果不使用全0填充，則卷積層/池化層的輸出維度計算公式為式中，表示卷積核/池化核在長度方向上的大小，表示卷積核/池化核在寬度方向上的大小。726.2CNN訓練

卷積神經(jīng)網(wǎng)絡(luò)包括由它延伸出的深度神經(jīng)網(wǎng)絡(luò)的訓練過程都由兩個部分組成：前向傳播和反向傳播。假設(shè)網(wǎng)絡(luò)共有L層，其中卷積層的卷積核個數(shù)為K，卷積核的尺寸為F，padding的尺寸為P，卷積步長為S。前向傳播的步驟如下：步驟1：根據(jù)padding尺寸P填充樣本維度；步驟2：初始化網(wǎng)絡(luò)層的權(quán)重w和偏置b；步驟3：第一層為輸入層，則前向傳播從第二層l=2開始到L-2層結(jié)束

736.2CNN訓練

(a)若第l層為卷積層，則該層的輸出為(b)若第l層為池化層，則該層輸出為(c)若第l層為全連接層，則該層輸出為746.2CNN訓練步驟4：網(wǎng)絡(luò)最后層激活函數(shù)若選為Softmax，則第L層的輸出為

以上是CNN前向傳播的過程，為了防止過擬合，在網(wǎng)絡(luò)設(shè)置時，會設(shè)置Dropout系數(shù)。該參數(shù)作用是使網(wǎng)絡(luò)中神經(jīng)元隨機失活，即神經(jīng)元強迫置零，達到防止過擬合的目的。

在反向傳播中，網(wǎng)絡(luò)損失函數(shù)為交叉熵損失函數(shù)(Categoricalcrossentropyloss)，它描述網(wǎng)絡(luò)輸出概率與實際輸出概率的距離，即交叉熵越小，兩者概率分布越接近。假設(shè)該損失函數(shù)為

，學習率為

。

756.2CNN訓練反向傳播中第l層權(quán)重和偏置的更新公式為在反向傳播中，網(wǎng)絡(luò)會隨著迭代次數(shù)的增加不斷調(diào)優(yōu)權(quán)重和偏置，使得交叉熵損失函數(shù)最小，直到它不再變化或達到迭代次數(shù)停止。766.3卷積操作的變種6.3.1深度可分離卷積操作

為了便于比較，這里仍先給出常規(guī)卷積過程，如圖所示。(a)1層的輸出標準2D卷積，使用1個過濾器

(b)有128層的輸出的標準2D卷積，要使用128個過濾器776.3卷積操作的變種

1.逐層卷積（DepthwiseConvolution，DW）

逐層卷積（DW）的一個卷積核負責一個通道，一個通道只被一個卷積核卷積。前面的常規(guī)卷積每個卷積核同時操作輸入圖片的每個通道。現(xiàn)在不使用2D卷積中大小為3×3×3的單個過濾器，而是分開使用3個核。每個過濾器的大小為3×3×1。每個核與輸入層的一個通道卷積（僅一個通道，而非所有通道！）。每個這樣的卷積都能提供大小為5×5×1的映射圖。然后，將這些映射圖堆疊在一起，創(chuàng)建一個5×5×3的圖像。經(jīng)過這個操作之后，得到大小為5×5×3的輸出，如圖所示。786.3卷積操作的變種

逐層卷積完成后的特征映射數(shù)量與輸入層的通道數(shù)相同，無法擴展特征映射；而且這種運算對輸入層的每個通道獨立進行卷積運算，沒有有效利用不同通道在相同空間位置上的特征信息。因此，需要逐層卷積將這些特征映射進行組合生成新的特征映射。796.3卷積操作的變種

2.逐像素卷積（PointwiseConvolution，PC）逐像素卷積的運算與常規(guī)卷積運算非常相似，它的卷積核的尺寸為1×1×C，C為上一層的通道數(shù)。所以這里的卷積運算會將上一步的映射在深度方向上進行加權(quán)組合，生成新的特征映射，有幾個卷積核就有幾個輸出特征映射。為了擴展深度，應(yīng)用一個核大小為1×1×3的1×1卷積。將5×5×3的輸入圖像與每個1×1×3的核卷積，可得到大小為5×5×1的映射圖，如圖所示。

因此，在應(yīng)用128個1×1卷積之后，得到大小為5×5×128的層，如圖所示806.3卷積操作的變種

3.深度可分卷積通過上述兩個步驟，深度可分卷積也會將輸入層（7×7×3）變換到輸出層（5×5×128）。深度可分卷積的整個過程，如圖所示。

與2D卷積相比，深度可分卷積所需的操作要少得多。對于大小為H×W×C的輸入圖像，如果使用Nc個大小為h×h×C的核執(zhí)行2D卷積（步幅為1，填充為0，其中h是偶數(shù)）。816.3卷積操作的變種為了將輸入層（H×W×C）變換到輸出層(H-h+1)×(W-h+1)×Nc。所需的總乘法次數(shù)為

另一方面，對于同樣的變換，深度可分卷積所需的乘法次數(shù)為826.3卷積操作的變種

深度可分卷積與2D卷積所需的乘法次數(shù)比為當Nc>>h時，則式(6.3.3)可約簡為1/h2。基于此，如果使用3×3過濾器，則2D卷積所需的乘法次數(shù)是深度可分卷積的9倍。如果使用5×5過濾器，則2D卷積所需的乘法次數(shù)是深度可分卷積的25倍。

使用深度可分卷積會降低卷積中參數(shù)的數(shù)量。因此，對于較小的模型而言，如果用深度可分卷積替代2D卷積，模型的能力可能會顯著下降。這樣得到的模型可能是次優(yōu)的。當然如果使用得當，深度可分卷積能在不降低你的模型性能的前提下幫助你實現(xiàn)效率提升。

836.3卷積操作的變種6.3.2空洞卷積

空洞卷積也叫擴張卷積或者膨脹卷積，簡單來說就是在卷積核元素之間加入一些空格(零)來擴大卷積核的過程。通過這種方式，可以在不做池化損失信息的情況下，增大圖像的感受野，并且與常規(guī)卷積核的大小相同，參數(shù)量不變。假設(shè)以一個變量rate來衡量空洞卷積的擴張系數(shù)，則加入空洞之后的實際卷積核尺寸與原始卷積核尺寸之間的關(guān)系為

846.3卷積操作的變種6.3.2空洞卷積

式中，k為原始卷積核大小，rate為卷積擴張率，K為經(jīng)過擴展后實際卷積核大小。除此之外，空洞卷積的卷積方式跟常規(guī)卷積一樣。不同擴展率rate，卷積核的感受野不同。例如，rate=1,2,4時卷積核的感受野，如圖所示。856.3卷積操作的變種

上圖中，卷積核沒有紅點標記位置為0，紅點標記位置同常規(guī)卷積核。3×3的紅點表示經(jīng)過卷積后，輸出圖像為3×3像素。盡管所有這三個擴張卷積的輸出都是同一尺寸，但模型觀察到的感受野有很大的不同。

網(wǎng)絡(luò)中第層卷積層或池化層的感受野大小為

式中，表示該層卷積核或池化層所用核大小，表示上一層感受野大小，表示第i層卷積或池化的步長。

如果初始感受野大小為1，則

33卷積(stride=1)：r=1+(3-1)=3，感受野為33。

22池化(stride=2)：r=3+(2-1)=4，感受野為44。33卷積(stride=3)：r=4+(3-1)×2×1=8，感受野為88。

33卷積(stride=2)：r=8+(3-1)×3×2×1=20，感受野為2020。

866.3卷積操作的變種

空洞卷積的感受野計算方法和上面相同，所謂的空洞可以理解為擴大了卷積核的大小，下面來介紹一下空洞卷積的感受野變化（卷積核大小為33，stride=1，下面的卷積過程后面的以前面的為基礎(chǔ)）：

1-dilatedconv：rate=1的卷積其實就是普通3×3卷積，因此，

，

，因此感受野為33。2-dilatedconv：rate=2可以理解為將卷積核變成了55，因此，，，感受野大小為77。876.3卷積操作的變種

可見，將卷積以上面的過程疊加，感受野變化會指數(shù)增長，感受野大小，該計算公式是基于疊加的順序，如果單用三個的2-dilated卷積，則感受野使用卷積感受野計算公式計算(如2-dilated，相當于5x5卷積)：第一層的2-dilated卷積：r=1+(5-1)=5。第二層的2-dilated卷積：r=5+(5-1)×1=9。第三層的2-dilated卷積：r=9+(5-1)×1×1=13。886.3卷積操作的變種6.3.33D卷積

3D卷積是在2D卷積的基礎(chǔ)上建立的，是2D卷積的泛化。下圖就是3D卷積，其過濾器深度小于輸入層深度（核大小<通道大小）。因此，3D過濾器可以在所有三個方向（圖像的高度、寬度、通道）上移動。在每個位置，逐元素的乘法和加法都會提供一個數(shù)值。因為過濾器是滑過一個3D空間，所以輸出數(shù)值也按3D空間排布。也就是說，輸出是一個3D數(shù)據(jù)。

896.3卷積操作的變種6.3.33D卷積

與2D卷積（編碼了2D域中目標的空間關(guān)系）類似，3D卷積可以描述3D空間中目標的空間關(guān)系。對某些應(yīng)用（比如生物醫(yī)學影像中的3D分割/重構(gòu)），這樣的3D關(guān)系很重要，如在CT和MRI中，血管之類的目標會在3D空間中蜿蜒曲折。

906.3卷積操作的變種6.3.4分組卷積

1.分組卷積原理

分組卷積（groupconvolution,GC）最早出現(xiàn)在AlexNet，常規(guī)的卷積操作對輸入圖像進行整體的卷積計算，6.3.1節(jié)已展示。具有兩個濾波器組的卷積層，如圖所示。圖中，將輸入數(shù)據(jù)分成了2組（組數(shù)為g）。

注意：這種分組只是在深度（

）上進行劃分，即某幾個通道編為一組，這個具體的數(shù)量由

決定。因為輸出數(shù)據(jù)的改變，相應(yīng)的卷積核也需要做出同樣的改變。如果分成g組，則每組中卷積核的深度為

，而卷積核的大小不變，此時每組的卷積核的個數(shù)為個

，而不是原來的

。916.3卷積操作的變種

然后用每組的卷積核同它們對應(yīng)組內(nèi)的輸入數(shù)據(jù)卷積，得到輸出數(shù)據(jù)以后，再用concatenate的方式組合起來，最終的輸出數(shù)據(jù)的通道仍舊為

。也就是說，分組數(shù)g確定后，將并行運算g個相同的卷積過程，每個過程里（每組），輸入數(shù)據(jù)為

，卷積核大小為

，一共有

個，輸出數(shù)據(jù)為

。

（1）參數(shù)量分析

輸入特征圖的尺寸為

，輸出特征圖的通道數(shù)為

。如果被分成g組，則有每組的輸入特征圖的通道數(shù)為

,每組的輸出通道數(shù)為(因為預(yù)先定義了輸出的通道數(shù)為

，那么平均分給每個組的輸出特征圖數(shù)就應(yīng)該為

)。

926.3卷積操作的變種

(2)卷積核參數(shù)量

也就是說每組需要有

個卷積核，則共有

個卷積核（總的卷積核數(shù)量同普通卷積是相同的，但由于稀疏連接，每個卷積核的參數(shù)量減少為

，卷積核的總參數(shù)量為

。

936.3卷積操作的變種

(3)計算量分析

假設(shè)經(jīng)過卷積層特征圖的大小不變，則卷積層的計算量為

式(6.2.10)表明，分組卷積可以使得卷積層的參數(shù)量和計算量都減為原來的1/g。常規(guī)卷積與分組卷積對照，如圖所示。946.3卷積操作的變種

2.分組卷積優(yōu)點

極大地減少了參數(shù)。例如，當輸入通道為256，輸出通道也為256，核大小為3×3，不做分組卷積參數(shù)為256×3×3×256。實施分組卷積時，若組數(shù)為8，每個組的輸入信道和輸出信道均為32，參數(shù)為8×32×3×3×32，是原來的八分之一。而分組卷積最后每一組輸出的特征映射應(yīng)該是以連接的方式組合。

Alex認為分組卷積的方式能夠增加濾波器之間的對角相關(guān)性，而且能夠減少訓練參數(shù)，不容易過擬合，這類似于正則化效果。

956.3卷積操作的變種6.3.5轉(zhuǎn)置卷積

轉(zhuǎn)置卷積（transposedConvolutions）又稱反卷積（deconvolution）。注意：此處的反卷積不是數(shù)學意義上的反卷積，或者是分數(shù)步長卷積（fractiallystracedconvolutions）。之所以叫轉(zhuǎn)置卷積是因為它將常規(guī)卷積操作中的卷積核做一個轉(zhuǎn)置，然后把卷積的輸出作為轉(zhuǎn)置卷積的輸入，而轉(zhuǎn)置卷積的輸出，就是卷積的輸入。

卷積與轉(zhuǎn)置卷積的計算過程正好相反，如圖所示。(a)普通卷積(正)(b)轉(zhuǎn)置卷積（反）966.3卷積操作的變種

常規(guī)卷積的卷積核大小為3×3，步長為2，填充（padding）為1。卷積核在紅框位置時輸出元素1，在綠色位置時輸出元素2。可以發(fā)現(xiàn)，輸入元素a僅與一個輸出元素有運算關(guān)系，也就是元素1，而輸入元素b與輸出元素1、2均有關(guān)系。同理，c只與一個元素2有關(guān)，而d與1、2、3、4四個元素都有關(guān)；那么在進行轉(zhuǎn)置卷積時，依然應(yīng)該保持這個連接關(guān)系不變。

轉(zhuǎn)置卷積（反卷積）需要將圖(a)中綠色的特征圖作為輸入、藍色的特征圖作為輸出，并且保證連接關(guān)系不變。也就是說，a只與1有關(guān)，b與1、2兩個元素有關(guān)，其它類推。怎么才能達到這個效果呢？可以先用0給綠色特征圖做插值，插值的個數(shù)就是使相鄰兩個綠色元素的間隔為卷積的步長，同時邊緣也需要進行與插值數(shù)量相等的補0，如圖(b)所示。

976.3卷積操作的變種這時，卷積核的滑動步長不是2而是1，步長體現(xiàn)在插值補0的過程中。一般在CNN中，轉(zhuǎn)置卷積用于對特征圖進行上采樣，比如想將特征圖擴大2倍，那么就可以使用步長為2的轉(zhuǎn)置卷積。

2.分組卷積優(yōu)點

極大地減少了參數(shù)。例如，當輸入通道為256，輸出通道也為256，核大小為3×3，不做分組卷積參數(shù)為256×3×3×256。實施分組卷積時，若組數(shù)為8，每個組的輸入信道和輸出信道均為32，參數(shù)為8×32×3×3×32，是原來的八分之一。而分組卷積最后每一組輸出的特征映射應(yīng)該是以連接的方式組合。

Alex認為分組卷積的方式能夠增加濾波器之間的對角相關(guān)性，而且能夠減少訓練參數(shù)，不容易過擬合，這類似于正則化效果。

986.3卷積操作的變種

為了更好地理解轉(zhuǎn)置卷積，定義w為卷積核，Large為輸入圖像，Small為輸出圖像。經(jīng)過卷積（矩陣乘法）后，將大圖像下采樣為小圖像。這種矩陣乘法的卷積實現(xiàn)w×Large=Small，如圖所示。它將輸入平展為16×1的矩陣，并將卷積核轉(zhuǎn)換為一個（4×16）稀疏矩陣。然后，在稀疏矩陣和平展的輸入之間使用矩陣乘法。之后，再將所得到的矩陣（4×1）轉(zhuǎn)換為2×2的輸出。

卷積的矩陣乘法：將Large輸入圖像(4×4)轉(zhuǎn)換為Small輸出圖像(2×2)。996.3卷積操作的變種

現(xiàn)在，如果等式的兩邊都乘上矩陣的轉(zhuǎn)置T，并借助“一個矩陣與其轉(zhuǎn)置矩陣的乘法得到一個單位矩陣”這一性質(zhì)，那么就能得到T×Small=Large，如圖所示。1006.3卷積操作的變種6.3.6平鋪卷積

平鋪卷積是介于局部卷積和常規(guī)卷積之間，與局部卷積相同之處在于相鄰的單元具有不同的參數(shù)；與其區(qū)別在于，會有t個不同的卷積核循環(huán)使用，也就是說相隔為t的卷積核，就會共享參數(shù)。

圖中，S為卷積核；x為特征值；相鄰的卷積核都有各自的參數(shù)；但每隔t個（圖中t=2）卷積核，參數(shù)就會重復使用。1016.3卷積操作的變種6.3.8卷積運算的核心思想

卷積運算主要通過三個重要的思想來幫助改進機器學習系統(tǒng)：稀疏交互（spars