1、卷積神經網絡摘要：卷積神經網絡是近年來廣泛應用于模式識別、圖像處理等領域的一種高效識別算法，它具有構造簡單、訓練參數少和適應性強等特點。本文從卷積神經網絡的開展歷史開場，詳細闡述了卷積神經網絡的網絡構造、神經元模型和訓練算法。在此根底上以卷積神經網絡在人臉檢測和形狀識別方面的應用為例，簡單介紹了卷積神經網絡在工程上的應用，并給出了設計思路和網絡構造。關鍵字：模型；構造；訓練算法；人臉檢測；形狀識別0 引言卷積神經網絡是人工神經網絡的一種已成為當前語音分析和圖像識別領域的研究熱點，它的權值共享網絡構造使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。該優點在網絡的輸入是多維圖像

2、時表現的更為明顯，使圖像可以直接作為網絡的輸入，防止了傳統識別算法中復雜的特征提取和數據重建過程。卷積網絡是為識別二維形狀而特殊設計的一個多層感知器，這種網絡構造對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 1 卷積神經網絡的開展歷史 1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野(receptive field)的概念，1984年日本學者Fukushima基于感受野概念提出的神經認知機(neocognitron)可以看作是卷積神經網絡的第一個實現網絡，也是感受野概念在人工神經網絡領域的首次應用。神經認知機將一個視覺模式分解成許多子模式(特征)，然后進入

3、分層遞階式相連的特征平面進展處理，它試圖將視覺系統模型化，使其能夠在即使物體有位移或輕微變形的時候，也能完成識別。神經認知機能夠利用位移恒定能力從鼓勵模式中學習，并且可識別這些模式的變化形，在其后的應用研究中，Fukushima將神經認知機主要用于手寫數字的識別。隨后，國內外的研究人員提出多種卷積神經網絡形式，在郵政編碼識別和人臉識別方面得到了大規模的應用。通常神經認知機包含兩類神經元，即承當特征抽取的S-元和抗變形的C-元。S-元中涉及兩個重要參數，即感受野與閾值參數，前者確定輸入連接的數目，后者那么控制對特征子模式的反響程度。許多學者一直致力于提高神經認知機的性能的研究：在傳統的神經認知機

4、中，每個S-元的感光區中由C-元帶來的視覺模糊量呈正態分布。如果感光區的邊緣所產生的模糊效果要比中央來得大，S-元將會承受這種非正態模糊所導致的更大的變形容忍性。我們希望得到的是，訓練模式與變形刺激模式在感受野的邊緣與其中心所產生的效果之間的差異變得越來越大。為了有效地形成這種非正態模糊，Fukushima提出了帶雙C-元層的改良型神經認知機。Trotin 等人提出了動態構造神經認知機并自動降低閉值的方法1，初始態的神經認知機各層的神經元數目設為零，然后會對于給定的應用找到適宜的網絡規模。在構造網絡過程中，利用一個反響信號來預測降低閾值的效果，再基于這種預測來調節閾值。他們指出這種自動閾值調節

5、后的識別率與手工設置閾值的識別率相假設，然而，上述反響信號的具體機制并未給出，并且在他們后來的研究中成認這種自動閾值調節是很困難的【8】。Hildebrandt將神經認知機看作是一種線性相關分類器，也通過修改閾值以使神經認知機成為最優的分類器。Lovell應用Hildebrandt的訓練方法卻沒有成功。對此，Hildebrandt解釋的是，該方法只能應用于輸出層，而不能應用于網絡的每一層。事實上，Hildebrandt沒有考慮信息在網絡傳播中會逐層喪失。Van Ooyen和Niehuis為提高神經認知機的區別能力引入了一個新的參數。事實上，該參數作為一種抑制信號，抑制了神經元對重復鼓勵特征的鼓

6、勵。多數神經網絡在權值中記憶訓練信息。根據Hebb學習規那么，某種特征訓練的次數越多，在以后的識別過程中就越容易被檢測。也有學者將進化計算理論與神經認知機結合【9】，通過減弱對重復性鼓勵特征的訓練學習，而使得網絡注意那些不同的特征以助于提高區分能力。上述都是神經認知機的開展過程，而卷積神經網絡可看作是神經認知機的推廣形式，神經認知機是卷積神經網絡的一種特例。卷積神經網絡本身可采用不同的神經元和學習規那么的組合形式。其中一種方法是采用M-P神經元和BP學習規那么的組合，常用于郵政編碼識別中。還有一種是先歸一化卷積神經網絡，然后神經元計算出用輸入信號將權值和歸一化處理后的值，再單獨訓練每個隱層得到

7、權值，最后獲勝的神經元輸出活性，這個方法在處理二值數字圖像時比擬可行，但沒有在大數據庫中得到驗證。第三種方法綜合前兩種方法的優勢，即采用McCulloch-Pitts神經元代替復雜的基于神經認知機的神經元。在該方法中，網絡的隱層和神經認知機一樣，是一層一層訓練的，但是回避了耗時的誤差反向傳播算法。這種神經網絡被稱為改良的神經認知機。隨后神經認知機和改良的神經認知機作為卷積神經網絡的例子，廣泛用于各種識別任務中，比方大數據庫的人臉識別和數字識別。下面詳細介紹卷積神經網絡的原理、網絡構造及訓練算法。2 卷積神經網絡 2.1 網絡構造 卷積神經網絡是一個多層的神經網絡，每層由多個二維平面組成，而每個

8、平面由多個獨立神經元組成。網絡中包含一些簡單元和復雜元，分別記為S-元和C-元。S-元聚合在一起組成S-面，S-面聚合在一起組成S-層，用Us表示。C-元、C-面和C-層(Us)之間存在類似的關系。網絡的任一中間級由S-層與C-層串接而成，而輸入級只含一層，它直接承受二維視覺模式，樣本特征提取步驟已嵌入到卷積神經網絡模型的互聯構造中。一般地，Us為特征提取層，每個神經元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來；Uc是特征映射層，網絡的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經元的權值相等。特征映

9、射構造采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數，降低了網絡參數選擇的復雜度。卷積神經網絡中的每一個特征提取層(S-層)都緊跟著一個用來求局部平均與二次提取的計算層(C-層)，這種特有的兩次特征提取構造使網絡在識別時對輸入樣本有較高的畸變容忍能力【10】。網絡中神經元的輸出連接值符合“最大值檢出假說【15】，即在某一小區域內存在的一個神經元集合中，只有輸出最大的神經元才強化輸出連接值。所以假設神經元近旁存在有輸出比其更強的神經元時，其輸出連接值將不被強化。根據上述假說，就限定了只有

10、一個神經元會發生強化。卷積神經網絡的種元就是某S-面上最大輸出的S-元，它不僅可以使其自身強化，而且還控制了鄰近元的強化結果。因而，所有的S-元漸漸提取了幾乎所有位置上一樣的特征。在卷積神經網絡早期研究中占主導的無監視學習中，訓練一種模式時需花費相當長的時間去自動搜索一層上所有元中具有最大輸出的種元，而現在的有監視學習方式中，訓練模式同它們的種元皆由教師設定。圖1是文獻12中卷積神經網絡的典型構造圖。將原始圖像直接輸入到輸入層(Uc1)，原始圖像的大小決定了輸入向量的尺寸，神經元提取圖像的局部特征，因此每個神經元都與前一層的局部感受野相連。文中使用了4層網絡構造，隱層由S-層和C-層組成。每層

11、均包含多個平面，輸入層直接映射到Us2層包含的多個平面上。每層中各平面的神經元提取圖像中特定區域的局部特征，如邊緣特征，方向特征等，在訓練時不斷修正S-層神經元的權值。同一平面上的神經元權值一樣，這樣可以有一樣程度的位移、旋轉不變性。S-層中每個神經元局部輸入窗口的大小均為5x5，由于同一個平面上的神經元共享一個權值向量，所以從一個平面到下一個平面的映射可以看作是作卷積運算，S-層可看作是模糊濾波器，起到二次特征提取的作用。隱層與隱層之間空間分辨率遞減，而每層所含的平面數遞增，這樣可用于檢測更多的特征信息。 圖1 卷積神經網絡構造圖Fig.1 The structure of convolut

12、ional neural network2.2 神經元模型在卷積神經網絡中，只有S-元間的輸入連接是可變的，而其他元的輸入連接是固定的。用Uslkl，n表示第l級，第kl個S-面上，一個S-元的輸出，用Ucl(kl，n)表示在該級第kl個C-面上一個C-元的輸出。其中，n是一個二維坐標，代表輸入層中神經元的感受野所在位置，在第一級，感受野的面積較小，隨后隨著l的增大而增加。 (2.1)式(2.1)中alv，kl-1，k和bl(k)分別表示興奮性輸入和抑制性輸入的連接系數；rl(k)控制特征提取的選擇性，其值越大，對噪音和特征畸變的容錯性越差，它是一常量，它控制著位于每一S-層處的單個抑制子平面

13、中每個神經元的輸入: rl(k)的值越大，與抑制性成比例的興奮性就得越大，以便能產生一個非零輸出，換句話說就是相當好的匹配才一能激活神經元，然而因為rl(k)還需乘以()，所以rl值越大就能產生越大的輸出，相反，小的rl(k)值允許不太匹配的神經元興奮，但它只能產生一個比擬小的輸出；(x)為非線性函數。v是一個矢量，表示處于n感受野中的前層神經元n的相對位置，Al確定S神經元要提取特征的大小，代表n的感受野。所以式中對v的求和也就包含了指定區域當中所有的神經元；外面對于勺kl-1的求和，也就包含了前一級的所有子平面，因此在分子中的求和項有時也被稱作興奮項，實際上為乘積的和，輸入到n的神經元的輸

14、出都乘上它們相應的權值然后再輸出到nc。 (2.2)式(2.2)表示的是指定某級(第l級)、某層(S-層)、某面(第kl個S-面)、某元(向量為n處)的一個輸出。對于一個S-元的作用函數可分為兩局部，即興奮性作用函數和抑制性作用函數。興奮性作用使得膜電位上升，而抑制性作用起分流作用。興奮性作用為： (2.3) S-元與其前一級C-層的所有C-面均有連接，所連接的C-元個數由該S-級的參數感受野Al唯一確定。網絡中另一個重要的神經元是假設存在的抑制性神經元V-元Uvl (n)，它位于S-面上滿足以下三個條件:環元的抑制作用影響整個網絡的運作；C-元與V-元間存在著固定的連接；V-元的輸出事先設為

15、多個C-元輸出的平均值。可以用它來表示網絡的抑制性作用，發送一個抑制信號給Uslkl，n神經元，從與Uslkl，n類似的元接收它的輸入連接值，并輸出: (2.4) 權cl(v)是位于V元感受野中的v處的神經元相連的權值，不需要訓練這些值，但它們應隨著v的增加而單調減小。因此，選擇式2.5的歸一化權值。 (2.5) 式2.5中的歸一化常量C由式2.6給出，其中：r(v)是從v處到感受野中心的歸一化距離: (2.6) C神經元的輸出由式2.7給出: 2.7上式中(x)為: 2.8式中為一常量。kl是第l級中的S子平面的數量。Dl是C元的感受野。因此，它和特征的大小相對應。dl(v)是固定興奮連接權

16、的權值，它是v的單調遞減函數。如果第kl個S神經元子平面從第kl-1子平面處收到信號，那么jl(kl,kl-1)的值為，1否那么為0。最后，S_層的Vs神經元的輸出為 2.9圖2為卷積神經網絡中不同神經元之間的連接關系圖，從圖中可以很清楚地看出各種不同神經元之間的連接關系。圖2 卷積神經網絡中不同神經元間的連接Fig.2 The connections convolutional neural network among different neurons2.3 卷積網絡的訓練過程 神經網絡用于模式識別的主流是有指導學習網絡，無指導學習網絡更多的是用于聚類分析。對于有指導的模式識別，由于任一樣

17、本的類別是的，樣本在空間的分布不再是依據其自然分布傾向來劃分，而是要根據同類樣本在空間的分布及不同類樣本之間的別離程度找一種適當的空間劃分方法，或者找到一個分類邊界，使得不同類樣本分別位于不同的區域內。這就需要一個長時間且復雜的學習過程，不斷調整用以劃分樣本空間的分類邊界的位置，使盡可能少的樣本被劃分到非同類區域中。由于本文主要是檢測圖像中的人臉，所以可將樣本空間分成兩類：樣本空間和非樣本空間，因而本文所使用的學習網絡也是有指導的學習網絡。卷積網絡在本質上是一種輸入到輸出的映射，它能夠學習大量的輸入與輸出之間的映射關系，而不需要任何輸入和輸出之間的準確的數學表達式，只要用的模式對卷積網絡加以訓

18、練，網絡就具有輸入輸出對之間的映射能力。卷積網絡執行的是有導師訓練，所以其樣本集是由形如：輸入向量，理想輸出向量的向量對構成的。所有這些向量對，都應該是來源于網絡即將模擬的系統的實際“運行結果。它們可以是從實際運行系統中采集來的。在開場訓練前，所有的權都應該用一些不同的小隨機數進展初始化。“小隨機數用來保證網絡不會因權值過大而進入飽和狀態，從而導致訓練失敗；“不同用來保證網絡可以正常地學習。實際上，如果用一樣的數去初始化權矩陣，那么網絡無能力學習。訓練算法主要包括4步，這4步被分為兩個階段：第一階段，向前傳播階段：從樣本集中取一個樣本(X,Yp)，將X輸入網絡；計算相應的實際輸出Op。在此階段

19、，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是網絡在完成訓練后正常運行時執行的過程。在此過程中，網絡執行的是由式2.7計算： Op=FnF2F1XpW1W2Wn第二階段，向后傳播階段計算實際輸出Op與相應的理想輸出Yp的差；按極小化誤差的方法調整權矩陣。這兩個階段的工作一般應受到精度要求的控制，在這里，用式2.8計算Ep。作為網絡關于第p個樣本的誤差測度。而將網絡關于整個樣本集的誤差測度定義為：E=Ep。 2.8如前所述，之所以將此階段稱為向后傳播階段，是對應于輸入信號的正常傳播而言的。因為在開場調整神經元的連接權時，只能求出輸出層的誤差，而其他層的誤差要通過此誤差反向逐層后推才能得

20、到。有時候也稱之為誤差傳播階段。為了更清楚地說明本文所使用的卷積神經網絡的訓練過程，首先假設輸入層、中間層和輸出層的單元數分別是N、L和M。X=(x0,x1,xN)是加到網絡的輸入矢量，H=(h0,h1,hL)是中間層輸出矢量，Y=(y0,y1,yM)是網絡的實際輸出矢量，并且用D=(d0,d1,dM)來表示訓練組中各模式的目標輸出矢量輸出單元i到隱單元j的權值是Vij，而隱單元j到輸出單元k的權值是Wjk。另外用k和j來分別表示輸出單元和隱含單元的閾值。于是，中間層各單元的輸出為式2.9： 2.9而輸出層各單元的輸出是式2.10： 2.10其中f(*)是鼓勵函數采用S型函數式2.11： 2.

21、11在上述條件下，網絡的訓練過程如下：1選定訓練組。從樣本集中分別隨機地選取300個樣本作為訓練組。2將各權值Vij，Wjk和閾值j，k置成小的接近于0的隨機值，并初始化精度控制參數和學習率。3從訓練組中取一個輸入模式X加到網絡，并給定它的目標輸出矢量D。4利用式2.9計算出一個中間層輸出矢量H，再用式(2.10)計算出網絡的實際輸出矢Y。5將輸出矢量中的元素yk與目標矢量中的元素dk進展比擬，計算出M個輸出誤差項式2.12： 2.12 對中間層的隱單元也計算出L個誤差項式2.13： 2.136依次計算出各權值的調整量式2.14和式2.15： 2.14 2.15和閾值的調整量式2.16和2.1

22、7： 2.16 2.177調整權值式2.18和式2.19： 2.18 2.19調整閾值式2.20和2.21： 2.20 2.218當k每經歷1至M后，判斷指標是否滿足精度要求：E，其中E是總誤差函數，且。如果不滿足，就返回3，繼續迭代。如果滿足就進入下一步。9訓練完畢，將權值和閾值保存在文件中。這時可以認為各個權值已經達穩定，分類器形成。再一次進展訓練時，直接從文件導出權值和閾值進展訓練，不需要進展初始化。2.4 卷積神經網絡的優點 卷積神經網絡CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓練數據進展學習，所以在使用CNN時，防止了顯示的特征抽取，而隱

23、式地從訓練數據中進展學習；再者由于同一特征映射面上的神經元權值一樣，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。卷積神經網絡以其局部權值共享的特殊構造在語音識別和圖像處理方面有著獨特的優越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點防止了特征提取和分類過程中數據重建的復雜度。流的分類方式幾乎都是基于統計特征的，這就意味著在進展分辨前必須提取某些特征。然而，顯式的特征提取并不容易，在一些應用問題中也并非總是可靠的。卷積神經網絡，它防止了顯式的特征取樣，隱式地從訓練數據中進展學習。這使得卷積神經網絡明

24、顯有別于其他基于神經網絡的分類器，通過構造重組和減少權值將特征提取功能融合進多層感知器。它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。卷積網絡較一般神經網絡在圖像處理方面有如下優點： a) 輸入圖像和網絡的拓撲構造能很好的吻合；b) 特征提取和模式分類同時進展，并同時在訓練中產生；c)權重共享可以減少網絡的訓練參數，使神經網絡構造變得更簡單， 適應性更強。3 卷積神經網絡的應用3.1基于卷積網絡的形狀識別 物體的形狀是人的視覺系統分析和識別物體的根底，幾何形狀是物體的本質特征的表現，并具有平移、縮放和旋轉不變等特點，所以在模式識別領域，對于形狀的分析和識別具有十分重要的意義，而二維圖

25、像作為三維圖像的特例以及組成局部，因此二維圖像的識別是三維圖像識別的根底。物體形狀的識別方法可以歸納為如下兩類，其中，第一類是基于物體邊界形狀的識別，這種邊界的特征主要有周長、角、彎曲度、寬度、高度、直徑等，第二類是基于物體所覆蓋區域的形狀識別，這種區域的特征主要有面積、圓度、矩特征等，上述兩類方法都適用于物體形狀的構造或區域的識別。卷積神經網絡也是一種基于物體邊界形狀的識別，它既可以識別封閉形狀同時對不封閉形狀也有較高的識別率。 圖3 試驗用卷積神經網絡的構造圖Fig.3 The structure of convolutional neural network圖3 是所用的網絡構造，U0是

26、輸入層，Uc4是識別層。Us為特征提取層，Us1的輸入是光感受器的像素位圖，該層只是提取一些相對簡單的像素特征，隨后幾層的S-元提取一些更為復雜的像素特征，隨著層數的增加，提取的特征也相應遞增；Uc是特征映射層，提取高階特征，提取這些高階特征時不需要提取像簡單特征那樣的準確位置信息。網絡中S-元的閉值是預先設定值，訓練時權值的更新基于Fukushima提出的增強型學習規那么，如式(2.10)所示，網絡的訓練方式采用的是無監視學習方式。圖4與圖5是局部實驗樣本圖 圖4局部訓練樣本圖Fig.4 Part of the training sample plans圖5局部測試樣本圖Fig.5 Part

27、 of the test sample plans樣本分為三角形，四邊形，八邊形，圓形四類，每類10個共80個樣本，實驗訓練時采用40個樣本，測試時采用剩余的40個樣本，最終的識別結果如表2所示。 表1 訓練后網絡參數Table1 Network parameters after training級數S-層包含的S-面數S-元數第一級1632第二級19290第三級15272第四級789 表2 識別結果Table3.2 Recognition results待識別形狀識別結果三角形10個全對四邊形10個全對八邊形10個全對圓形對9個，另一個錯識成四邊形識別錯誤樣本如圖6所示： 圖6測試出錯樣本

28、Fig.6 The sample error in test識別錯誤的原因是由于訓練所用樣本模式較少，不能覆蓋所有的圓形模式，以至于該測試模式輸入網絡時，與之相近的四邊形模式獲勝，最終得到錯誤的輸出結果。這里采用卷積神經網絡進展形狀識別目的主要是為了驗證卷積神經網絡的模式識別能力，所以雖然采用的樣本圖片較少，但已經能夠說明卷積網。絡在形狀識別時有較高的識別率和抗畸變性，而識別前的車牌字符由于前期處理(定位、分割)能力的局限性，具有一定的噪聲和變形，因此可以將卷積神經網絡應用于車牌識別系統。3.2基于卷積網絡的人臉檢測卷積神經網絡與傳統的人臉檢測方法不同，它是通過直接作用于輸入樣本，用樣本來訓練

29、網絡并最終實現檢測任務的。它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉，提出了一種基于卷積神經網絡Convolutional Neural Networks，簡稱CNN的人臉檢測方法。設計了一個輸入層節點數為400、輸出層節點數為2、四層隱藏層的CNN網絡。網絡構造如圖7。 圖7 卷積網絡構造Fig.1 The structure of convolutional neural network輸入、輸出層的設計：卷積神經網絡是一種分層型網絡，具有輸入層、中間層隱含層

30、和輸出層的三層構造。對于一個神經網絡，中間層可以有兩個以上，而具有一個中間層的神經網絡那么是一種根本的神經網絡模型。實驗說明，增加隱含層的層數和隱含層神經元的個數不一定能夠提高網絡的精度和表達能力。使用輸入窗口的大小都是20×20，這是通常能使用的最小窗口，這個窗口包含了人臉非常關鍵的局部。因此，可將輸入層節點數設計為400，對應于20×20圖像窗口中按行展開的各個像素。考慮到本文使用卷積神經網絡是用作分類器，其類別數為2即人臉和非人臉，所以輸出層的節點數為2。隱藏層的設計：隱藏層為四層，分別是圖像特征增強的卷積層、數據縮減的子抽樣層、和兩個激活函數層。其構造如圖7所示。設

31、計方法如下：卷積層的設計：信號的卷積運算是信號處理領域中最重要的運算之一。比方，在圖像處理、語音識別、地震勘探、超聲診斷、光學成像、系統辨識及其他諸多信號處理領域中。卷積運算一個重要的特點就是，通過卷積運算，可以使原信號特征增強，并且降低噪音。在進展人臉檢測時使用離散的卷積核，對圖像進展處理。由于離散卷積核只需要進展優先次的加法運算，而且是整數運算，沒有浮點運算，計算機可以迅速的計算出結果。本文選定的四個卷積核，分別為兩個拉普拉斯算子和兩個Sobel邊緣算子。輸入圖像分別經過這四個卷積核的卷積得到四個18×18的待測圖像。其中拉普拉斯算子是圖像的整體特征增強。而Sobel邊緣算子那么

32、強化了邊緣特征。子抽樣層的設計：利用圖像局部相關性的原理，對圖像進展子抽樣，可以減少數據處理量同時保存有用信息。本層把卷積層輸出的四個圖像作為輸入，分別進展子抽樣運算后輸出四個9×9圖像。而該圖像保存了原圖像的絕大局部有用信息。子抽樣點的值是原圖像相鄰四個點的平均值。激活函數層：本層分為兩層激活函數層，一層為通過與抽樣層輸出的四個圖像分別進展全連結，得到四個中間輸出。第二層為有四個中間結果連接的四個激活函數并與輸出層連接，得出網絡判斷結果。這層有9×9×41×4個激活函數參數需要訓練。鼓勵函數的選擇：網絡的拓撲構造和訓練數據確定后，總誤差函數就完全由鼓勵

33、函數決定了，因此，激發函數的選擇對網絡的收斂性具有很重要的作用。對每一個人工神經元來說，它可以承受一組來自系統中其他神經元的輸入信號，每個輸入對應一個權，所以輸入的加權和決定該神經元的激活狀態。按照卷積網絡算法的要求，這些神經元所用的激活函數必須是處處可導的。在設計基于人工神經網絡的分類系統中，不僅網絡的構造設計非常重要，而且訓練數據的收集也十分重要。在人臉檢測系統中除了選擇好的人臉樣本外同時還要解決從大量非人臉圖像中選擇非人臉樣本的問題。對于人臉樣本圖像還要進展一些預處理，以消除噪音和光線差異的影響。為了提高網絡的強健性，收集各種不同類型的人臉樣本；為了得到更多的樣本，并提高旋轉不變性和亮度

34、可變性的能力，對初始人臉樣本集中的局部圖像進展一些變換。然后是關于非人臉樣本的收集，這是基于神經網絡的檢測方法中的一個難題，按照常用的Bootstrap處理方法，可以從大量的圖像中收集這些邊界樣本，同時根據卷積神經網絡的特點，做出一些改良，降低隨機性，提高了效率。在獲得圖像數據后，通過一些歸一化和預處理步驟，減小圖像噪聲的影響和消除圖像亮度及比照度的差異，提高數據的針對性和魯棒性，得到統計的方法進展學習處理樣本的最根本的特征向量，然后使用這些特征向量訓練網絡。4 總結 本文首先闡述了卷積神經網絡的原理。卷積神經網絡是在神經認知機的根底上為了處理模式識別問題而提出的網絡。此網絡是多層的分級神經網

35、絡，每層的神經元都是一樣類型的，或簡單，或復雜，或是超復雜的神經元，在每層之間都有非常稀少并且固定模式的連接。介紹了根本的卷積神經網絡構造及其神經元模型，接著討論了卷積神經網絡的訓練過程，當需要的特征已預先確定，那么就采用有監視算法，網絡一層一層地學習，反之那么進展無監視學習。最后簡要的介紹了卷積神經網絡在形狀識別和人臉檢測中的應用。目前，卷積神經網絡已經被應用于二維圖像處理、模式識別、機器視覺、形狀識別、智能交通等領域，并且能夠很好的解決各個領域中的問題。參考文獻1 王天翼. 基于卷積網絡的三位特征提取 學位論文.吉林:吉林大學,2006.2 李葆青. 基于卷積神經網絡的模式分類器 J.大連

36、大學學報,2003,24(2):19-23.3 Simon Haykin 著,葉世偉,史忠植譯.神經網絡原理 M. 北京：機械工業出版社，2004.4 肖柏旭.基于卷積網絡的人臉檢測的研究與實現學位論文.北京:華北電力大學, 2021.5 陸璐. 卷積神經網絡的研究及其在車牌識別系統中的應用 學位論文.合肥:合肥工業大學,2006.6顧佳玲,彭宏京.增長式卷積神經網絡及其在人臉檢測中的應用 J.系統仿真學報, 2021,21(8):2441-2445.7 趙志宏,楊紹普,馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究 J.系統仿真學報,2021,22(3):638-641.8 T .

37、H .Hildebrandt, Optimal Training of Thresholded Linear Correlation Classifiers, IEEE Transactions on Neural Networks Z(6),PP.577一588,Nov.(1991).9 K. Fukushima，“Neocognitron:A self-organizing neural-network model for a Mechanism of Pattern recognition unaffected by shift in position，Biol. Cybern.，vol

38、.36，pp.193一202，1980.10 C.Neubauer，Shape, position and size invariant visual pattern recognition based on principles of neocognitron and perception in Artificial Neural Networks，1.AlexanderandJ.Taylor，Eds. Amsterdam the Netherlands: North一Holland，vol.2，1992，PP.833一837.11 D. Lovell，et al.，Comments on“

39、Optimal Training of Thresholded Linear Correlation Classifiers,IEEE Trans .On Neural Networks 4(2),PP.367一369,March(1993). 12 K. Fukushima，“Analysis of the process of visual pattern recognition by the neocognitron，Neural Networks，vol.2，pp.413-421，1989 13 Van Ooyen and B. Nienhuis，Pattern Recognition

40、 in the Neocognitron Is Improved一by Neuronal Adaption，Biological Cyberneties70,pp.47-53(1993).14 石大明，劉海濤，舒文豪.結合進化計算的神經認知機.計算機學報J，2001，24(5):468一47315 Claus Neubauer. Evaluation of Convolutional Neural Networks for VisualRecognition，Neural Netwoks，vol.9，no.4，pp.685-696(1998)16 K.Fukushima and M.Tanig

41、awa,“Use of different thresholds in learning and recognition，NeuroeomPuting，vol.11，pp.1-17，1996.17 G. W. Cottrell，“EMPATH: Face，emotion，and gender recognition using holons，in Advances in Neural Information Processing Sys18 H. Bourlard and Y. Kamp，“Autoassoziation by multilayerperceptrons and singular value decomposition，Biol. Cybern.，vol.59，pp.291-294，1988.19洪家榮，李星原. Neocognitron學習算法分析. 軟件學報 J，1994，5，(4):35-3920Fukushima K. A hierarchical neural network capable of visual pattern recognition . Neural Networks，1989:2:413-42021 Y.Bengio.YLeCu