1、A Multi-style License Plate Recognition SystemBased on Tree of Shapes for CharacterSegmentationFrancisco Gomez Fernandez1, Pablo Negri2, Marta Mejail1, and Julio Jacobo11 Universidad de Buenos Aires2 PLADEMA, Universidad Nacional del Centro de la Provincia de Buenos Aires基于字符分割樹形狀的多風格車牌識別系統(tǒng)摘要:這項工作的目

2、的是要開發(fā)出一個多風格的車牌識別（LPR）系統(tǒng)。 LPR系統(tǒng)大部分是由國家開發(fā)利用的。在這里，本文提出了一種新的基于圖像樹形狀的特征提取算法。這種方法能很好地應(yīng)用于不同風格的車牌，不需要傾斜或旋轉(zhuǎn)校正并且它是無參的。此外它在規(guī)格變化時是不變的，相反在光照仿射改變時是變化的。我們用兩個不同的數(shù)據(jù)集測試了LPR系統(tǒng)，實現(xiàn)了高性能率：車牌檢測和字符識別的成功超過了90，而在字符分割方面成功率則高達98.17。1 引言 因為車牌識別（LPR）直接應(yīng)用于現(xiàn)實生活的方方面面，所以它是一個非常熱門的研究領(lǐng)域。安全控制及交通安全應(yīng)用，如識別被盜車輛和車速限制執(zhí)法，已成為非常重要的應(yīng)用領(lǐng)域，其中車牌（LP）分析

3、起著根本性的作用1。一個車牌識別系統(tǒng)可分為三個步驟：LP檢測，字符分割和字符識別。字符的成功識別在很大程度上取決于通過分割步驟獲得的限位框的質(zhì)量。因此，我們認為分割是車牌識別系統(tǒng)中的非常重要的一步。在1中，我們對LPR進行廣泛地檢測。然而，現(xiàn)階段，能夠使LPR系統(tǒng)成功地處理來自不同國家的風格迥異的車牌問題（形狀、前景、背景、顏色等）是一個開放的研究領(lǐng)域。幾個試驗檢測的LPR工作都能實現(xiàn)高性能率，但其大部分是取決于國家的。6，10，11中，處理了多風格的LPR分析。此外，6和11使用類似的程序來搜尋LP區(qū)域并增加了識別反饋，當識別失敗時能完善檢測步驟。特征提取步驟通常是通過二值化方法執(zhí)行關(guān)聯(lián)的成

4、分分析10，11。二值化閾值的選擇是一項艱巨的任務(wù)，如果選擇不正確，我們很容易得到多余的檢測或錯過一些檢測。4中提出了一個有趣的方法，即同時處理檢測與分割。在11，我們使用傅立葉描述的統(tǒng)計方法和Reeb圖的結(jié)構(gòu)方法來區(qū)分模棱兩可的字符。此外，為更好地識別字符，我們通過6三層人工神經(jīng)網(wǎng)絡(luò)將之前提取的字符固定分塊，再進行計算。在這項工作中，我們開發(fā)適應(yīng)于不同國家的靜像LPR系統(tǒng)。我們的工作重點進行是基于圖像樹的形狀的LPR系統(tǒng)的分割步驟。這被認為是一種新的特征提取方法。這種方法能很好地應(yīng)用于不同的LP風格，并不需要旋轉(zhuǎn)或傾斜校正并且是無參的。此外它在規(guī)格變化時是不變的，相反在光照仿射改變時是變化的

5、。這些屬性可通過派生樹的形狀8得到。我們用兩個數(shù)據(jù)集測試了系統(tǒng)（參見例子，如圖1），并獲得了高性能率。圖1 用兩個數(shù)據(jù)集來測試我們系統(tǒng)的例子。第一行顯示了美國的車牌圖像。第二行顯示了阿根廷車的圖像本文組織如下：第2部分詳細介紹了執(zhí)行LPR系統(tǒng)的步驟。第3部分給出了實驗結(jié)果。最后，在第4部分中給出了結(jié)論和今后的工作。2 車牌識別系統(tǒng)在本節(jié)中，我們介紹LPR系統(tǒng)的三個步驟：車牌檢測，字符分割和字符識別（圖2）。 在可能的幾個區(qū)域（ROI）使用形態(tài)濾波器。為了驗證ROIs，即Ri ，i=1，N和選擇出最有可能的LP區(qū)域，我們應(yīng)更詳盡地分析，對每個區(qū)域使用地模板匹配和特征提取9進行評分。然后，找出得分

6、最高的區(qū)域進行分割步驟，當遇到三個以上邊界框（|bbx| 3，在圖2），就驗證其結(jié)果。最后，在邊界框中輸入字符識別，并如在2.3節(jié)中所述那樣進行驗證。11如果字符分割或字符識別步驟分析失敗了，系統(tǒng)將評估第二個最有可能的區(qū)域，一直進行下去，直到達到了RN區(qū)域。在這種情況下，系統(tǒng)是沒有返回檢測的。圖2 LPR系統(tǒng)圖，菱形塊代表驗證步驟2.1車牌檢測在本節(jié)中，我們討論對每個區(qū)域所做的分析，并給它們一個可信值。ROI的一代。形態(tài)學頂級過濾用于圖像輸入，以提高亮度值差別很大的區(qū)域的對比度。垂直輪廓的計算使用了索貝爾過濾器，并在連續(xù)形態(tài)下操作，然后應(yīng)用于連接的可能LP區(qū)域的邊緣。這些操作是簡單而快速的，系

7、統(tǒng)提供了一些潛在的車牌區(qū)域。這是車牌識別系統(tǒng)中的關(guān)鍵一步：如果形態(tài)濾波器沒有檢測到LP，那么LP將會被丟失。ROI的評估。每個ROIs，即Ri ，i=1，N是由兩種方法計算得到：模板匹配和文本檢測5。然后，我們定義了四個評價向量的長度為N：pcv用于模板匹配，mgd，nts和tbr用于文本檢測，其中pcv（i）通過累積邊界內(nèi)相關(guān)值Ri 而mgd（i），nts（i），tbr（i） 是最大的梯度差，即在Ri 內(nèi)文本段的數(shù)量和文本塊比率。我們需要合并他們的信息，以便決定N個區(qū)域中哪個是最有可能存在一個車牌的。我們這樣做就創(chuàng)建了四個排序索引向量：pcvsi，mgdsi，ntssi和tbrsi。這些載體

8、指數(shù)評價向量的升序排列取決于每個Ri。通過特征向量的最低值得到指數(shù)1，通過最高值獲取指數(shù)N，然后，我們定義長度為N的向量表決：votes=（i）= pcvsi（i）+ mgdsi（i）+ ntssi（i）+ tbrsi（i）區(qū)域Rm，m= argmax1iN，votes（i）被保留作為LP。適應(yīng)臨界值。檢測步驟可以應(yīng)用到不同的數(shù)據(jù)集。但是，閾值必須適應(yīng)從不同的相機或環(huán)境中獲得的圖像的LP檢測。要做到這一點，我們先分析第一個數(shù)據(jù)集的圖像。由于每個車牌的位置會標在每個圖像的數(shù)據(jù)集中，此信息用于固定檢測時的閾值。這些閾值的選擇用以驗證公認前五LP的所有文本段的95。同時，作為相關(guān)模式的LP設(shè)置為數(shù)據(jù)

9、集的第一圖像。2.2 字符分割從LP中提取的字符后，我們提出了一個新的算法，即用圖像樹的形狀8來搜索字符組。樹的形狀是一個完整的代表性圖像，即可以用它重建原始圖像。此外，樹的形狀與我們所期望的“對象”的形象相一致。例如，圖像中的字符將代表樹中的一個（或一組）形狀。此過程的目標是在每個LP樣式上實現(xiàn)沒有任何限制的屬性共享。樹的形狀。一個形狀被定義為“填充”（正式的定義8）的孔的水平集的連接組件。然后，上下水平集的水平的形象分別定義為Xu=x| u（x）和Xu=x| u（x）。據(jù)悉，水平集的連接組件，可以通過安排其灰色的水平8在下令列入樹。此外，從圖像中提取的形狀可以讓其由幾何納入（如果是在其內(nèi)部

10、包括，形狀就是另一個形狀的孩子）來建立樹的形狀。字符分組算法。該算法使用一個依據(jù)，即在車牌字符有共同的屬性，如相同的前背景對比，調(diào)整和最低的邊界框重疊，類似的寬度和高度。該算法的步驟可歸納如下。ROI的Rm通過檢測步驟返回，用來計算形狀的樹。然后，對樹中的所有節(jié)點（形狀）兩兩相比，將類似的形狀，連接一個給定的標準。最后，最相連的節(jié)點和其相鄰的邊界框作為結(jié)果返回。算法1顯示了該算法的偽代碼。為了避免包括已經(jīng)與其他形狀或形狀的形狀進行比較，遍歷樹的形狀是利用它的結(jié)構(gòu)：節(jié)點訪問自上而下的，節(jié)點從未與它的后代（4號線）節(jié)點的后代相比。這是一個適當?shù)囊苿樱捎诎瑯涞男螤畹男阅埽杂袥]有重復(fù)步驟，也不

11、缺少比較。事實上，任何兩個形狀都是不相交或嵌套的（解釋見8）。字符比較。特征向量是建立在樹的每個節(jié)點的。這個特征向量承擔有關(guān)邊界框和類型及其相關(guān)的形狀（上限或下限）的信息。特征向量（線2）由SimilarChars的（n，m）進行了比較，它將返回ture如果節(jié)點的n和m有相同的類型并且相應(yīng)的形狀之間的距離是一個固定的閾值，否則返回false。功能W()和H ()分別返回邊界框的寬與高n，m。同時x (n)x (m)和y(n)y(m)代表邊界框在x與y上重疊。此外，缺乏垂直矩形度時要在執(zhí)行比較之前丟棄或太小或太大或太遙遠的形狀。算法1：字符分組算法輸入：樹的形狀T輸出：設(shè)置的邊界框K1：對于所有

12、的n,mT2:如果SimilarChars（n,m），然后3：鏈接（N，M）4：跳過n的孩子和M的孩子5：設(shè)nmax的最大的連接節(jié)點6：對所有的nT，執(zhí)行7：如果鏈接（N，nmax），然后8：SSboundingBox的（n）9：返回S 圖3顯示了字符分組算法計算邊界框的例子。可以看出，風格迥異的LP字符無需修改算法就可以檢測。第一列顯示雜亂的圖像，檢測的文本區(qū)域是高度過大的例子，但仍然成功地分割了。第二列顯示了不同的前景、背景色彩組合（頂部和中間分割的例子：暗前景和背景明亮，底部：亮前景和暗背景）。第三列顯示在幾個圖像采集和不均勻的照明條件下工作的優(yōu)勢，即樹形狀對比不變性。第四列顯示在不是測

13、試數(shù)據(jù)集下的車牌分割。正如我們所看到的，字符分組算法不需要旋轉(zhuǎn)或傾斜校正，它有獨立的風格，此外，它是無參數(shù)的。另外，它可以工作在在車牌規(guī)模變化時，并根據(jù)對比或照明條件而改變。 這些屬性沒有限制牌照或先驗信息的風格。圖3 使用字符分組算法的字符分割的例子2.3 字符識別基于分類的支持向量機（SVM）訓練使用特征的梯度直方圖（HOG）。直方圖梯度。此功能使周圍的興趣點或一個區(qū)域的形象，構(gòu)建一個直方圖的梯度幅值和方向。HoG空間組成如下定義的模式：里面一個像素轉(zhuǎn)移的矩形區(qū)域獲得的直方圖。一旦一個字符被分割，它將調(diào)整到1612像素的模式，然后申請一個33 的Sobel算子濾波器。每個像素的梯度方向量化

14、為0到5之間的整數(shù)值，使用模數(shù)，而不是模2。通過這種方式，亮字符的暗背景給出相同的方向比暗字符的亮背景多。對于每個像素p的格局，我們用九個區(qū)域與p左上角和大小MM，M2M，2MM，M4，6，8建立直方圖。然后，正常化直方圖使他們的總和等于1。支持向量機。在這項工作中，我們建立了支持向量機使用libsvm的庫2。分類的策略是反對所有的方法之一。非惡化標記（見第3節(jié)），不包括從測試數(shù)據(jù)集的圖像中提取的訓練字符。我們興建35二進制（O和0是同樣的分類），在同一類SVM分類器中，每個分散的跳過一個字符。為了得到k個支持向量機分類的訓練集，它組成如下：正集對應(yīng)第k類樣本，負集對應(yīng)到其他類別的樣本。字符輸

15、入（調(diào)整大小和規(guī)范化）是在測試階段進行每個分類的輸入。然后，它會作為類的分類產(chǎn)生的最高值。字符識別的驗證。11開發(fā)的戰(zhàn)略后，對字符識別的結(jié)果進行測試。 SVM分類器輸出：鉻、鎘將表明分類性能和辨別力，分別從兩個可信值進行估計。對于每個字符，這些值計算的整體性能得到執(zhí)行。這些結(jié)果意味著，獲得cr和cd。如果crCr并且cdCd，所有的操作將是無效的并被拒絕。Cr和Cd的臨界值估計驗證了99%的訓練數(shù)據(jù)集。3實驗結(jié)果我們測試了兩個數(shù)據(jù)集的車牌識別系統(tǒng)的性能（參見例子圖1）。第一個數(shù)據(jù)集，從現(xiàn)在起，被稱為美國數(shù)據(jù)集，是由從UCSD/Calit2數(shù)據(jù)庫得到158幅非惡化3圖像組成。這些圖像從露天停放的

16、車輛上獲得，所以這些車牌有不同的風格，沒有包含字母數(shù)字字符的既定的配置。第二個數(shù)據(jù)集，從現(xiàn)在開始被稱為阿根廷數(shù)據(jù)集，由來自阿根廷的439輛卡車圖片組成。這些圖像是由放在卡車大門口的紅外攝像機所拍攝。所有圖像具有相同的風格，但這種風格不是用來調(diào)整系統(tǒng)的。兩個數(shù)據(jù)集通過手動來標記板文字、車牌定位和字符的邊界框。添加一個額外的標簽來說明圖像是變質(zhì)的或不變質(zhì)，失真的圖像來自雜亂、損壞或不完整的車牌。為了驗證檢測結(jié)果，當檢測到的相交區(qū)域超過標簽區(qū)域的一半多時，我們進行檢查。用一個類似的方法，我們驗證了字符的分割。此外，字符識別是使用的Levenshtein距離來評估的。此外，我們在分割步驟7測試系統(tǒng)使用

17、的最大穩(wěn)定極值區(qū)域（MSER）。MSER的已被廣泛用于許多場合，包括車牌識別4。MSER的兩種變型可以被計算作為MSER+和MSER-。第一次檢測到黑暗邊界的光明區(qū)域，第二次檢測光明邊界的黑暗地區(qū)。為了提取特征，我們將敏感參數(shù)定為= 10，我們還篩選出不穩(wěn)定或重復(fù)的區(qū)域。表1顯示了阿根廷和美國的數(shù)據(jù)集的檢測、分割和識別率。 LPR系統(tǒng)的字符分組算法（CGA）和MSER，取得了如預(yù)期的類似的檢測性能利率，這是因為檢測的步驟是相同的。然而，在分割步驟上海巡署優(yōu)于MSER的3，因此，我們要承認字符識別很大程度上取決于分割步驟時邊界框的質(zhì)量。此外MSER的程序需要前景背景對比信息，例如： 阿根廷的MSER+數(shù)據(jù)集和美國的MSER-數(shù)據(jù)集導致系統(tǒng)的多風格特征的損失。同時，CGA和MSER在ARG 數(shù)據(jù)集上比美國數(shù)據(jù)集上有更好的表現(xiàn)，因為在兩個數(shù)據(jù)集之間的圖像采集條件存在差異，數(shù)據(jù)庫數(shù)據(jù)集有著更好的性能。表1 使用char分組算法（CGA）和最大極值穩(wěn)定的地區(qū)（MSER+和MSER-）的檢測、分割和識別率(a)阿根廷數(shù)據(jù)集 （b）美國數(shù)據(jù)集檢測率分割率識別率檢測率分割率識別率CGA97.2798.1795.08CGA90