1、基于卷積神經(jīng)網(wǎng)絡lenet-5的車牌字符識別研究趙志宏 1,2, 楊紹普 2,馬增強 1,2(1.北京交通大學機械與電子控制工程學院, 北京 100044; 2.石家莊鐵道學院, 河北 050043)摘 要：將卷積神經(jīng)網(wǎng)絡 lenet-5 引入到車牌字符識別中。為了適應目前中國車牌字符識別的需要，對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡 lenet-5 的結(jié)構(gòu)進行了改進，主要是改變輸出單元的個數(shù)與增加卷積 層 c5 特征圖的個數(shù)。研究結(jié)果表明，改進后的 lenet-5 比傳統(tǒng)的 lenet-5 的識別率有所提高，識別率達到 98.68%。另外，與 bp 神經(jīng)網(wǎng)絡進行了比較研究，從實驗中可以看出在字符識別的正確 率

2、和識別速度上都優(yōu)于 bp 神經(jīng)網(wǎng)絡。卷積神經(jīng)網(wǎng)絡在車牌識別中具有很好地應用前景。關(guān)鍵詞：字符識別; 車牌識別; 卷積神經(jīng)網(wǎng)絡; lenet-5中圖分類號：tp391.4文獻標識碼：a文章編號：1004-731x (2010) 03-0638-04license plate character recognitionbased on convolutional neural network lenet-5zhao zhi-hong1,2, yang shao-pu2, ma zeng-qiang1,2(1. school of mechanical, electronic and control

3、 engineering, beijing jiaotong university, beijing 100044, china;2. shijiazhuang railway institute, shijiazhuang 050043, china)abstract: the application of convolutional neural network lenet-5 was proposed in license plate character recognition. tofit with the chinese license plate character recogni

4、tion problem, the traditional lenet-5 was modified. the unit number of output layer was changed and the feature map number of c5 layer was added. experimental results show that the recognitionrate of modified lenet-5 reaches 98.68% and is better than that of lenet-5. the results are also compared wi

5、th the bp neuralnetwork, which indicates that the modified lenet-5 is superior in both recognition rate and speed. this method has a great potential for license plate recognition.key words: character recognition; license plate recognition; convolutional neural network; lenet-5引言車牌識別在交通信息控制與智能交通中發(fā)揮著重

6、要作 用，如：高速公路收費管理、超速違章處罰、停車場管理、 交通數(shù)據(jù)采集等。通常，車牌識別系統(tǒng)主要包括三個部分： 車牌定位、字符分割與字符識別。本篇論文主要研究字符識 別。已經(jīng)提出很多種字符識別方法1-4。字符識別方法大致 可以分為兩類：基于結(jié)構(gòu)的方法1,2和基于統(tǒng)計的方法3,4。 基于結(jié)構(gòu)的方法的優(yōu)點是符合人的直覺，可以容易地處理局 部變換，其主要缺點是抗噪聲能力差。基于統(tǒng)計的方法比較 成熟，具有抗干擾、噪聲的能力，識別性能好，識別速度快 的優(yōu)點，它的難點是特征提取，因此，在統(tǒng)計字符識別中， 特征提取的質(zhì)量是影響系統(tǒng)性能的關(guān)鍵因素。卷積神經(jīng)網(wǎng)絡可以直接從原始圖像中識別視覺模式，它 需要的預處

7、理工作非常少。卷積神經(jīng)網(wǎng)絡已成功應用于手寫 字符識別5,7, 人臉識別6, 人眼檢測8, 行人檢測9，機器人 導航10中。卷積神經(jīng)網(wǎng)絡可以識別有變化的模式，具有對簡 單幾何變形的魯棒性。卷積神經(jīng)網(wǎng)絡較一般神經(jīng)網(wǎng)絡在圖像處理方面具有如下優(yōu)點:(1)輸入圖像和網(wǎng)絡的拓撲結(jié)構(gòu)能很好的吻合；(2)特征提取和模式分類同時進行；(3)權(quán)值共享 可以減少網(wǎng)絡的訓練參數(shù)，使神經(jīng)網(wǎng)絡結(jié)構(gòu)變得更簡單，適 應性更強。卷積神經(jīng)網(wǎng)絡在國外的研究較多，但目前在國內(nèi)的研究5與應用還剛剛起步。lenet-5 是一種卷積神經(jīng)網(wǎng)絡，最初用于手寫數(shù)字識別中，本文將卷積神經(jīng)網(wǎng)絡 lenet-5 用于中國 車牌字符識別中。由于車牌字符

8、識別的類別比手寫數(shù)字識別 的類別數(shù)目多，不能直接應用傳統(tǒng)的 lenet-5 進行車牌字符 識別。因此，對傳統(tǒng)的 lenet-5 的結(jié)構(gòu)進行了改進。本文首先簡單介紹卷積神經(jīng)網(wǎng)絡和 lenet-5 的結(jié)構(gòu)，進 而對 lenet-5 的結(jié)構(gòu)進行了改進，較好地解決了車牌字符識 別類別比手寫數(shù)字識別的類別多的難題。設計了實驗方案， 實驗對比了改進后的 lenet-5 與 bp 神經(jīng)網(wǎng)絡性能，得出了 一些有益的結(jié)論，并對進一步的研究工作進行了展望。1 卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是近年發(fā)展起來，并引起廣泛重視的一種 高效識別方法。現(xiàn)在，卷積神經(jīng)網(wǎng)絡已經(jīng)成為眾多科學領(lǐng)域 的研究熱點之一，特別是在模式分類領(lǐng)域，由

9、于該網(wǎng)絡避免 了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而 得到了廣泛的應用5-9。卷積神經(jīng)網(wǎng)絡通過結(jié)合三個方法來實現(xiàn)識別位移、縮放收稿日期：2008-05-28修回日期：2008-06-23基金項目：國家杰出青年科學基金 (50625518)；教育部科學技術(shù)研究重點項目 (205019)。作者簡介：趙志宏(1972-), 男, 河北人, 博士生, 講師, 研究方向為智能 交通,神經(jīng)網(wǎng)絡；楊紹普(1962-), 男, 河北人, 博導, 教授, 研究方向為車輛工程; 馬增強(1975-), 男, 河北人, 博士生, 講師, 研究方向為智能交通。和扭曲不變性5：局域感受野、權(quán)值共享和次抽樣

10、。局域感受野指的是每一網(wǎng)絡層的神經(jīng)元只與上一層的一個小鄰域 內(nèi)的神經(jīng)單元連接，通過局域感受野，每個神經(jīng)元可以提取 初級的視覺特征，如方向線段，端點，角點等。權(quán)值共享使 得卷積神經(jīng)網(wǎng)絡具有更少的參數(shù)，需要相對少的訓練數(shù)據(jù)。 次抽樣可以減小特征的分辨率，實現(xiàn)對位移、縮放和其它形 式扭曲的不變性。一般地，卷積層后有一個次抽樣層來減少計算時間和建 立空間和結(jié)構(gòu)上的不變性。通常采用小的次抽樣因子，這個 方法非常簡單和有效。1.1 卷積層在卷積層，前一層的特征圖與一個可學習的核進行卷 積，卷積的結(jié)果經(jīng)過激活函數(shù)后的輸出形成這一層的特征 圖。每一個輸出的特征圖可能與前一層的幾個特征圖的卷積 建立關(guān)系。一般地

11、，卷積層的形式如式(1)所示：輸出10c5 層120f6 層84s4 層5×5c3 層10×10c1 層28×28s2 層14×14輸入層32×32圖 1 lenet-5 神經(jīng)網(wǎng)絡的結(jié)構(gòu)，每個面是一個特征圖樣層，它是由 c1 層抽樣得到。特征圖的每個神經(jīng)元與 c1層的一個大小為 2×2 的鄰域連接。網(wǎng)絡層 c3 是由 16 個大小為 10×10 的特征圖組成的卷 積層。特征圖的每個神經(jīng)元與 s2 網(wǎng)絡層的若干個特征圖的5×5 的鄰域連接。表 1 顯示了 s2 層的特征圖如何結(jié)合形成 c3 的每個特征圖，其中的每一列

12、表示 s2 層的哪些特征圖結(jié) 合形成 c3 的一個特征圖，例如，從第一列可知，s2 層的第0 個，第 1 個，第 2 個特征圖結(jié)合得到 c3 的第 0 個特征圖。xl = f (xl 1 k l + bl )(1)ji ij jim j其中， l 代表層數(shù)，k 是卷積核，mj 代表輸入特征圖的一個選擇。每個輸出圖有一個偏置 b 。1.2 次抽樣層一個次抽樣層對輸入進行抽樣操作。如果輸入的特征圖 為 n 個，則經(jīng)過次抽樣層后特征圖的個數(shù)仍然為 n，但是輸 出的特征圖要變小(例如，變?yōu)樵瓉淼囊话?。次抽樣層的一 般形式如式(2)所示：表 1s2 層特征圖與 c3 層特征圖的連接方法01234567

13、89101112131415012345x xxxxxx x xxxxxx xxxxxx x x x xxx xxx x xxxxx xxx x xxxxl 1 )l )x j = f ( j down x jll(+ bj(2)x xxx xxxx其中，down () 表示次抽樣函數(shù)。次抽樣函數(shù)一般是對該層輸入圖像的一個 n×n 大小的區(qū)域求和，因此，輸出圖像的大 小是輸入圖像大小的 1/n。每一個輸出的特征圖有自己的 和 b 。2 lenet-5 及其改進2.1 lenet-5 的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡 lenet-5 的結(jié)構(gòu)如圖 1 所示。輸入圖像要 經(jīng)過大小歸一化，每一個神經(jīng)元的輸

14、入來自于前一層的一個 局部鄰域，并被加上由一組權(quán)值決定的權(quán)重。提取的這些特 征在下一層結(jié)合形成更高一級的特征。同一特征圖的神經(jīng)元 共享相同的一組權(quán)值,次抽樣層對上一層進行平均。卷積神經(jīng)網(wǎng)絡 lenet-5 不包括輸入，由 7 層組成，每一層都包括可訓練的參數(shù)(權(quán)值)。該網(wǎng)絡的輸入是 32×32 的圖 像，其中 c 層是由卷積層神經(jīng)元組成的網(wǎng)絡層，s 層是由次 抽樣層神經(jīng)元組成的網(wǎng)絡層。網(wǎng)絡層 c1 是由 6 個特征圖組成的卷積層。每個神經(jīng)元 與輸入圖像的一個 5×5 的鄰域相連接，因此每個特征圖的大 小是 28×28。網(wǎng)絡層 s2 是由 6 個大小為 14

15、5;14 的特征圖組成的次抽xxxxxxxxx網(wǎng)絡層 s4 是由 16 個大小為 5×5 的特征圖組成的次抽樣層。特征圖的每個神經(jīng)元與 c3 層的一個 2×2 大小的鄰域相 連接。網(wǎng)絡層 c5 是由 120 個特征圖組成的卷積層。每個神經(jīng) 元與 s4 網(wǎng)絡層的所有特征圖的 5×5 大小的鄰域相連接。網(wǎng)絡層 f6，包括 84 個神經(jīng)元，與網(wǎng)絡層 c5 進行全連接。 最后,輸出層有 10 個神經(jīng)元，是由徑向基函數(shù)單元(rbf)組成，輸出層的每個神經(jīng)元對應一個字符類別。rbf 單元的 輸出 yi 的計算方法如式(3)所示：y =( x w )2(3)ij ijj2.2

16、lenet-5 的改進卷積神經(jīng)網(wǎng)絡 lenet-5 最初是用于手寫數(shù)字識別中，輸 出的類別數(shù)目為 10，中國的車牌識別與手寫數(shù)字識別相比， 需分類的類別數(shù)目要多很多。除了 10 個阿拉伯數(shù)字外，還 有 25 個英文字母(不包括字母 i)，全國各省市、自治區(qū)的簡 稱 31 個，還有其它一些字符。針對中國車牌字符識別與手寫數(shù)字識別的不同，對傳統(tǒng) 639 3.2 訓練次數(shù)與識別率的關(guān)系表 2 顯示了當 c5 網(wǎng)絡層特征圖的個數(shù)為 240 時訓練次 數(shù)與識別率的關(guān)系，從表中可以看到，隨著訓練次數(shù)的增加， 訓練樣本與測試樣本的正確率都隨著增加。并且當訓練樣本 集的正確率達到 100%后，繼續(xù)訓練，測試樣

17、本集的正確率 仍然得到提高，基本不出現(xiàn)過訓練的情況。這體現(xiàn)了卷積神 經(jīng)網(wǎng)絡良好的性能。的 lenet-5 進行了改進。主要有以下兩點：(1)將傳統(tǒng)的 lenet-5 的輸出層由 10 個神經(jīng)元改為 76 個 神經(jīng)元。收集到的車牌字符數(shù)據(jù)庫有 76 類車牌字符，因此， 將輸出神經(jīng)元的個數(shù)改為 76。(2)增加傳統(tǒng)的 lenet-5 網(wǎng)絡層 c5 層的特征圖的數(shù)目， 將 c5 層特征圖的數(shù)目由 120 個增加到 360 個。由于車牌字 符識別分類的類別數(shù)目增多，因此，考慮增加 c5 層特征圖 的個數(shù)，以增加整個網(wǎng)絡的識別性能。表 2 訓練次數(shù)與識別率的關(guān)系3實驗研究為了驗證改進的卷積神經(jīng)網(wǎng)絡 le

18、net-5 的性能，收集了 大量真實車牌數(shù)據(jù)，并建立了訓練與測試用的數(shù)據(jù)集。車牌 圖像經(jīng)過定位，字符分割后，存入車牌字符數(shù)據(jù)庫，沒有對 車牌圖像進行去噪處理。為了應用卷積神經(jīng)網(wǎng)絡 lenet-5， 所有的車牌字符都歸一化為 32×32 大小。圖 2 顯示了輸入字符圖像在卷積神經(jīng)網(wǎng)絡 lenet-5 前面 幾層的處理結(jié)果，最左邊是輸入圖像，從左到右依次是輸入 層，c1 層，s1 層，c2 層，s2 層。c1 層的輸出代表相應地6 個特征圖。從圖 2 中可以看出，神經(jīng)網(wǎng)絡 lenet-5 可以很 好地提取字符的特征。訓練次數(shù)訓練樣本集 測試樣本集40092.9389.6550098.62

19、96.3060099.8397.4970010098.0280010098.1590010098.46100010098.59110010098.593.3 c5 層改變對性能的影響下面是改變 c5 層特征圖的個數(shù)對卷積神經(jīng)網(wǎng)絡性能的 影響。3.3.1 對識別率的影響c5 層特征圖的個數(shù)與 lenet-5 卷積神經(jīng)網(wǎng)絡的識別率 的關(guān)系如表 3 所示。表 3 c5 層特征圖個數(shù)與識別率的關(guān)系c5 層特征圖數(shù)目60120240360480測試樣本識別率97.8498.4398.5998.6898.68c2 層c1 層s2 層從表 3 中可以看到，c5 層特征圖個數(shù)對車牌字符識別率有直接影響，隨著

20、c5 層特征圖個數(shù)的增加，車牌字符的 識別率也有所提高。這說明，在類別數(shù)增加的情況下，增加 c5 層特征圖的個數(shù)，可以提高 lenet-5 卷積神經(jīng)網(wǎng)絡的分 類能力。但當提高到一定程度后，再增加 c5 層特征圖的數(shù) 目，識別率將不再提高。3.3.2 對識別速度的影響網(wǎng)絡層 c5 層特征圖數(shù)目的改變對 lenet-5 卷積神經(jīng)網(wǎng)絡 的速度也有影響。不同 c5 層特征圖個數(shù)的識別速度如表 4 所示。從表 4 中可以看到，隨著 c5 層特征圖個數(shù)的增加，車 牌字符識別的速度將變慢。這是由于增加 c5 層特征圖的數(shù) 目后，提高了 lenet-5 卷積神經(jīng)網(wǎng)絡的復雜程度，因此，識 別速度有所降低。這說明

21、，可以通過降低網(wǎng)絡層 c5 層的特 征圖的個數(shù)，來提高字符識別的速度。因此，在某些要求實 時性高的應用場合，可以適當降低 c5 網(wǎng)絡層特征圖的個數(shù)。s1 層輸入圖 2 神經(jīng)網(wǎng)絡 lenet-5 的輸入圖像及中間層神經(jīng)元輸出的例子。3.1 實驗數(shù)據(jù)本文實驗所用的車牌圖像均由數(shù)碼相機在實際環(huán)境中 獲取的分辨率為 640×480 的真實車牌圖像，收集到實際車牌 圖像數(shù)據(jù)共 650 個，利用其中的字符分別建立訓練數(shù)據(jù)集與 測試數(shù)據(jù)集，訓練數(shù)據(jù)集與測試數(shù)據(jù)集之間沒有重疊。圖 3 是實驗中用到的一些車牌數(shù)據(jù)。表 4 不同 c5 層特征圖數(shù)目的識別速度(單位:秒)c5 層特征圖數(shù)目60120240

22、360480識別 100 個字符的時間 0.2410.2740.2990.3360.379從上面的實驗可知，改進后的 lenet-5 在識別率方面優(yōu)于傳統(tǒng)的 lenet-5，但識別速度有所降低。3.4 與 bp 神經(jīng)網(wǎng)絡的比較為了測試改進后卷積神經(jīng)網(wǎng)絡 lenet-5 的性能，與常用圖 3 實驗中用到的一些車牌數(shù)據(jù) 640 的三層 bp 神經(jīng)網(wǎng)絡進行了比較。bp 神經(jīng)網(wǎng)絡隱含層取 450個節(jié)點，學習率采用 0.01，實驗結(jié)果的比較如表 5 所示。從 表 5 中可以看到，改進后的 lenet-5 卷積神經(jīng)網(wǎng)絡的識別率 比 bp 神經(jīng)網(wǎng)絡的識別率高大約 5。另外，通過與三層 bp 神經(jīng)網(wǎng)絡的對比，

23、可以看到改進后的卷積神經(jīng)網(wǎng)絡 lenet-5 無論在字符識別的正確率還是識 別速度上都優(yōu)于 bp 神經(jīng)網(wǎng)絡。進一步研究工作地展望：(1) 試驗不同的卷積神經(jīng)網(wǎng)絡。除了 lenet-5 之外，試 驗是否存在更好的適應車牌字符識別的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)。 (2) 設計和實現(xiàn)基于視頻的車牌識別系統(tǒng)。實驗用卷積 神經(jīng)網(wǎng)絡建立一個比較實用的車牌識別系統(tǒng)，包括車牌定位、字符識別的功能。參考文獻:表 5 lenet-5 與 bp 網(wǎng)絡識別性能的比較網(wǎng)絡類型lenet-5bp 神經(jīng)網(wǎng)絡識別正確率98.68%93.37%另外，bp 神經(jīng)網(wǎng)絡識別 100 個字符的時間為 0.785 秒，改進后的卷積神經(jīng)網(wǎng)絡 lene

24、t-5 的識別速度也優(yōu)于 bp 神經(jīng) 網(wǎng)絡。3.5 錯誤數(shù)據(jù)分析識別錯誤的 38 個車牌字符如圖 4 所示。識別錯誤的 38 個車牌字符或者是由于預處理效果不好(字符分割的效果不 理想)，或者是由于噪聲的影響(在字符的關(guān)鍵地方有很強的 噪聲)，還有部分是由于傾斜的影響(傾斜角度很大)。識別錯 誤的字符，可以通過有效的預處理過程來進一步減少。另外， 可以通過擴大訓練字符集來進一步提高車牌字符識別的正 確率。1賈婧, 葛萬成, 陳康力. 基于輪廓結(jié)構(gòu)和統(tǒng)計特征的字符識別研究j. 沈陽師范大學學報: 自然科學版, 2006, 24(1): 43-46.任柯昱, 唐丹, 尹顯東. 基于字符結(jié)構(gòu)知識的車

25、牌漢字快速識別 技術(shù)j. 計算機測量與控制, 2005, 13(6): 592-594.廉飛宇, 付麥霞, 張元. 基于支持向量機的車輛牌照識別的研究j. 計算機工程與設計, 2006, 27(21): 4033-4035.al-hmouz r, s challa. intelligent stolen vehicle detection using video sensing c/ proceeding of information, decision and control. adelaide, qld., australia. usa: ieee, 2007: 302-307.lecun

26、 y, bottou l, bengio y, haffner p. gradient-based learning applied to document recognition c/ proc. ieee, 1998. usa: ieee,1998: 2278-2324.steve lawrence, c lee giles, ah chung tsoi, andrew d back. face recognition: a convolutional neural network approach j. ieee trans. on neural networks (s1045-9227

27、), 1997, 8(1): 98-113.lauer f, c y suen, bloch g. a trainable feature extractor for handwritten digit recognition j. pattern recognition (s0031-3203),2007, 40(6): 1816-1824.tivive, fok hing chi, bouzerdoum, abdesselam. an eye feature detector based on convolutional neural network c/ proc. 8th int. s

28、ymp. signal process. applic. sydney, new south wales, australia. usa: ieee, 2005: 90-93.szarvas mate, yoshizawa akira, yamamoto munetaka, ogata jun. pedestrian detection with convolutional neural networks c/ ieee intelligent vehicles symposium proceedings. usa: ieee, 2005:224-229.y le cun, u muller,

29、 j ben, e cosatto, b flepp. off-road obstacle avoidance through end-to-end learning m. advances in neural information processing systems. usa: mit press, 2005.2345678圖 438 個識別錯誤的車牌字符模式4結(jié)論本文對卷積神經(jīng)網(wǎng)絡 lenet-5 用于車牌字符識別進行了 各種研究。為了適應中國車牌字符識別的需要，對傳統(tǒng)的卷 積神經(jīng)網(wǎng)絡 lenet-5 的結(jié)構(gòu)進行了改進。研究結(jié)果表明，改 進后的 lenet-5 比傳統(tǒng)的 lenet-5

30、 識別率有所提高，對收集 到的車牌字符樣本識別的正確率達到 98.68%。并且從實驗中 得到 lenet-5 的分類性能與卷積層 c5 層特征圖的數(shù)目有關(guān)。910(上接第 637 頁)2004, 66(6): 469-478.zhou j, liu z, chen g. dynamics of periodic delayed neural networksj. neural networks (s0893-6080), 2004, 17(1): 87-101.cao j, li q. on the exponential stability and periodic solutions of delayed cellular neural networks j. journal of mathematical analysis and applications (s0022-247x), 2000, 252(1): 50-64.周立群, 胡廣大. 具分布延時細胞神經(jīng)網(wǎng)絡的指數(shù)周期與穩(wěn)定性j. 系統(tǒng)仿真學報, 2007, 20(10): 2511-2514. (zhou li-qun, hu g.uang-da. exponential periodicity a