數字圖像處理車牌識別第一頁，共五十五頁，2022年，8月28日一、車牌識別技術簡介車牌識別是現代交通管理的重要措施，是智能交通系統的重要環節內容： 車牌識別系統是采用數字攝像技術和計算機信息管理技術，對運行車輛實現智能管理的綜合運用技術理論基礎：數字圖像處理和模式識別車牌識別技術具有典型性，容易推廣到其它識別對象第二頁，共五十五頁，2022年，8月28日主要應用領域主要應用場合(1)公安卡口(2)高速公路收費管理(3)城市道路監控系統(電子警察)(4)海關車輛管理(5)停車場管理(6)車輛流量統計第三頁，共五十五頁，2022年，8月28日車牌識別技術現狀完整的車牌自動識別系統由圖像釆集、圖像處理、模糊識別等模塊組成；在現有的技術條件下，車牌識別系統均無法達到100%的識別率，好的識別系統可達95%以上；先進識別系統的識別時間在一百毫秒以下；基于視頻技術的識別系統，可方便地進行圖像回放、檢索；其它識別系統：條形碼識別、射頻標識識別等。第四頁，共五十五頁，2022年，8月28日有關識別率的統計數據各環節的識別率：（1）牌照定位98%（2）單字分割97.8%（3）車牌識別95%

從上面統計情況可看出，目前單項識別率均達到95%以上，但總識別率僅能達91%以上，仍需進一步提高。第五頁，共五十五頁，2022年，8月28日系統組成車牌識別系統組成第六頁，共五十五頁，2022年，8月28日識別流程主要由三部分組成圖像捕獲一般采用CCD攝像頭，包括整車圖像或牌照(一般為彩色圖像)后兩步由計算機實現關鍵部分是第三步：字符識別（OCR）第七頁，共五十五頁，2022年，8月28日識別步驟具體識別步驟如下(不是唯一的)：(1)獲取整車或局部圖像；(2)對獲取車輛數字圖像進行預處理；(3)車牌定位；(4)二值轉換；(5)車牌分類；(6)車牌分割；(7)字符識別；(8)結果優化(車牌模糊識別)。第八頁，共五十五頁，2022年，8月28日二、車牌定位與分割車牌定位：通過車牌區域的特征來判別牌照的位置，將車牌從圖像中分割出來步驟：(1)彩色圖像灰度化(2)圖像增強(3)邊緣檢測(4)模板匹配(5)輸出牌照子圖像第九頁，共五十五頁，2022年，8月28日CCD輸出CCD捕獲的汽車圖像第十頁，共五十五頁，2022年，8月28日灰度圖像彩色圖像灰度化第十一頁，共五十五頁，2022年，8月28日灰度增強灰度增強改變對比度第十二頁，共五十五頁，2022年，8月28日邊緣提取(方法多種)定位、分割后輸出下步工作是對分割輸出進行字符識別第十三頁，共五十五頁，2022年，8月28日車徽邊緣提取與識別

第十四頁，共五十五頁，2022年，8月28日1、彩色圖像灰度化CCD攝像頭輸出的圖像一般是24位真彩色圖像，需進行灰度化，使不同顏色車體統一化，同時實現快速處理兩種制式都可以采用

PAL制：亮度

NTSC制：亮度第十五頁，共五十五頁，2022年，8月28日2、對比度增強利用灰度變換增強對比度，突出車牌區一般采用截取式變換： 常采用下式第十六頁，共五十五頁，2022年，8月28日3、邊緣檢測主要方法(1)對圖像進行直分析處理(2)提取車牌區域邊界(3)灰度點運算(4)模板匹配(5)算子法(6)形態學處理(7)其它邊緣提取方法第十七頁，共五十五頁，2022年，8月28日車牌圖像特征車牌定位與分割的理論與方法是根據車牌圖像的特點來確定的車牌圖像主要特征有：(1)車牌區域內的邊緣灰度直方圖統計特征(2)車牌的幾何特征(3)車牌區域的灰度分布特征(4)車牌區域的水平、垂直投影特征(5)車牌形狀特征和字符排列格式特征(6)車牌的形態學特征(7)頻譜特征第十八頁，共五十五頁，2022年，8月28日車牌圖像的組成組成：省份漢字(或其他漢字)+字母或阿拉伯數字，共7位，即X1X1?X3X4X5X6X7

例：川A?K0387尺寸：寬45mm、高90mm、間隔符寬10mm、單元間隔12mm字符筆畫在豎直方向是連通的牌底與字符顏色對照大，邊緣非常豐富四類：藍底白字、黃底黑字、黑底白字、 白底黑字第十九頁，共五十五頁，2022年，8月28日定位分割難點抓拍圖像受環境因素干擾，特別環境光的干擾，環境光太強時，圖像淡薄，對比度變差；車尾有其它字符，使車牌定位困難；車牌大都存在污染而變臟；車牌部分被遮擋；車牌圖像為運動圖像，拍攝時產生失真。第二十頁，共五十五頁，2022年，8月28日環境光太強車牌圖像太弱第二十一頁，共五十五頁，2022年，8月28日文字干擾其他字符干擾第二十二頁，共五十五頁，2022年，8月28日車牌污染車牌被污染第二十三頁，共五十五頁，2022年，8月28日部分被擋車牌字符下邊被遮擋第二十四頁，共五十五頁，2022年，8月28日運動失真車牌字符因運動失真第二十五頁，共五十五頁，2022年，8月28日梯度法邊緣提取梯度法(一階偏微分)又稱Roberts算子 一種利用局部差分法提取邊緣(銳化)的方法

F(j,k)f(j,k+1)F(j+1,k)第二十六頁，共五十五頁，2022年，8月28日邊緣模板法邊緣模板是一種算子，常用的有Sobel算子Sobel算子是一種由兩個卷積構成的梯度模板 分別檢測水平邊緣和垂直邊緣，運算結果是一幅邊緣圖像第二十七頁，共五十五頁，2022年，8月28日Prewitt算子邊緣提取與Sobel算子類似，這也是一種邊緣模板，僅是模板權系數不一樣輸出：第二十八頁，共五十五頁，2022年，8月28日快速邊緣檢測在車牌系統中還常采用一種更簡單的模板來提取邊緣(對于有干擾的圖像效果不理想)特點：運算速度快，車牌筆畫輪廓突出，而車體其他部分輪廓不突出第二十九頁，共五十五頁，2022年，8月28日掩模匹配法銳化：羅比遜模板、普雷外特模板、柯赤模板上述三種模板均可用于邊緣提取，車牌檢測常用柯赤(Krisch)模板,由8個算子組成第三十頁，共五十五頁，2022年，8月28日高斯-拉普拉斯算子法二階微分算子 該算子對噪聲不敏感(5×5)輸出:第三十一頁，共五十五頁，2022年，8月28日哈夫(Hough)變換提取直線利用圖像全局特性將邊緣像素連接起來形成區域封閉邊界的一種方法原理：將二維空間(x,y)平面中的直線用二維極坐標(ρ,θ)空間表示 將直線表示為：

即將(x,y)平面的直線變換為r-θ空間的一個點 該方法亦用于傾斜校正第三十二頁，共五十五頁，2022年，8月28日哈夫(Hough)變換原理第三十三頁，共五十五頁，2022年，8月28日模板匹配用與圖像中車牌一樣大小的已知模板，在經對比度增強后的圖像中，從起點(0,0)開始，逐步平移一一匹配，尋找最佳區域匹配公式： 最大值為輸出 已知模板并不是某個具體的車牌，而是具有車牌統計特性的通用模板，是一種模糊匹配第三十四頁，共五十五頁，2022年，8月28日形態學處理確定車牌位置將圖像二值化,通過膨脹、腐蝕操作定位第三十五頁，共五十五頁，2022年，8月28日車牌定位算法之一(1)對原始圖像進行基于方向區域距離測度的彩色邊緣檢測得到原始邊緣圖像(2)對原始邊緣圖像中的每一邊緣點進行邊緣顏色對檢測，獲得候選車牌邊緣圖像(3)對候選車牌邊緣圖像進行閉運算獲得連通域圖像(4)計算各連通域的寬高比，剔除不在閾值范圍內的連通域，若只剩下一個連通域，則可確認為車牌區域，轉(7)第三十六頁，共五十五頁，2022年，8月28日車牌定位算法之一(5)若還有多于一個連通域，則計算r。剔除不在閾值范圍內的連通域，若只剩下一個連通域，則可確認為車牌區域，轉(7)(6)若還有多于一個連通域，則對其進行彩色邊緣檢測然后進行水平掃描，統計每行灰度值為1的個數N，如果有連續M行以上N∈[n1,n2]，則可認為此連通域為車牌區域(7)在原始圖像中提取車牌圖像第三十七頁，共五十五頁，2022年，8月28日其它方法：自適應邊界搜索法

利用倒L型、水平直線、垂直直線這些結構元素搜索、定位字符，然后找出符合一定格式的字符群，即認為是車牌。

第三十八頁，共五十五頁，2022年，8月28日其它方法：區域生長法

對邊緣圖像進行均勻性區域生長，以獲得潛在的車牌區域，然后利用車牌的幾何特征以及車牌區域內的邊緣灰度直方圖統計特征刪除偽車牌，獲取真實車牌。第三十九頁，共五十五頁，2022年，8月28日其它方法：形態學運算法

灰度圖像數學形態學運算法則利用車牌形狀特征、字符排列格式特征，對預處理后的灰度圖像進行一系列的形態學運算，得到直線與一定數目的字符相鄰的區域即認為是車牌。

第四十頁，共五十五頁，2022年，8月28日其它方法：

DFT變換法

DFT變換法是先對圖像逐行做DFT變換，然后把頻率系數逐行累加平均并根據這些平均值做出頻譜曲線，根據頻譜曲線中的“峰”的起始點位置確定車牌水平位置，對這一水平區域逐行做DFT變換可確定車牌豎直位置。雖然上述車牌定位算法已在實踐中取得成功，但對于車輛實時監控系統來說上述方法所需的時間仍然偏長。第四十一頁，共五十五頁，2022年，8月28日其它方法：圖像差分投影法

基于圖像差分投影法：將車輛灰色圖像按水平方向求差分圖，然后按垂直方向求差分，最后對差分后的車輛圖像分別在水平和垂直方向投影，按照給定的車牌尺寸范圍找出可似車牌區域；按照水平和垂直方向投影得出有可能的車牌區域有三個，包括兩個車燈區，由于車燈區在尺寸和字符數上不符合常規車牌特征，所以即可排除，從而僅剩下唯一的車牌區域，再從灰色圖像中切出真正的車牌區圖像。

第四十二頁，共五十五頁，2022年，8月28日三、車牌字符識別技術與通用的OCR識別方法類似模板匹配法 首先對字符二值化，并歸一化字符尺寸，然后進行模板匹配，選取擇最匹配輸出神經網絡匹配法，兩種算法：(1)先對各字符進行特征提取，利用特征訓練網絡分類器，然后用分類器識別字符(2)由網絡對輸入圖像自動提取特征并識別第四十三頁，共五十五頁，2022年，8月28日1、預處理車牌經定位、分割檢出后，基本上具有被識別的條件，但還需做適當預處理預處理：(1)圖像二值化 在彩色圖像灰度化后，因車牌類型不同，會出白底黑字和黑底白字兩種，需要統一為一種(2)字符分割第四十四頁，共五十五頁，2022年，8月28日2、二值化二值化的關鍵是閾值的選擇二種方法：全局閾值、局部閾值全局閾值其中hl是灰度值為l的像素個數。第四十五頁，共五十五頁，2022年，8月28日3、傾斜校正提取的車牌圖像有可能是傾斜的，為了便于識別，需對圖像進行傾斜度校正方法：哈夫(Hough)變換 計算車牌圖像上、下邊界直線計算邊界直線的傾斜度P傾斜度校正第四十六頁，共五十五頁，2022年，8月28日拍攝造成的傾斜字符第四十七頁，共五十五頁，2022年，8月28日二值化后的傾斜字符第四十八頁，共五十五頁，2022年，8月28日4、尺寸歸一化字符的大小歸一化可以簡單地用統計分析法來完成歸一化內容: (1)位置歸一化，即把字符移到規定的位置上，使字符的質心對中，也可字符邊框定位

(2)大小歸一化，使被識別字符具有同樣大小第四十九頁，共五十五頁，2022年，8月28日5、字符識別識別方法較多匹配法識別采用相關函數作為相似度測度 其中，T為模板，S為模板覆蓋下的圖像子塊，i、j為子塊左上角坐標，M、N為模板長和寬第五十頁，共五十五頁，2022年，8月28日6、字符優化按照上述車牌定位和切割方法取得的單個字符圖像，可能存在字符與邊框相連、字符變形和字符斷裂等情況，為此在真正識別之前需要對字符位圖作進一步的技術處理；常用的方法是將用于識別的字符位圖按新的點陣大小重新采樣，然后搜索字符位圖的準確上下左右邊界值，依照字符位圖的寬高值和新的邊界值重新確定字符像素點，并排除非字符情況，如左右邊界值之差過小、上下邊界差過小等情況即認為非字符。

第五十一頁，共五十五頁，2022年，8月28日7、字符類型民用車漢字：京、津、晉、冀、蒙、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、川、貴、云、藏、陜、甘、青、寧、新，渝”；英文字母：除“I”外的“A—Z”其他字母；數字：0—9；數字和字母：“WJ”、“警”+0—9；軍用車漢字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；民用車尾字：包括“0—