1、2022-3-291http:/2022-3-291http:/智能車牌識別及其應用潘越峰潘越峰 20142014年年1 1月月2323日日2022-3-292http:/2022-3-292http:/1智能車牌識別技術篇2智能車牌識別應用篇2022-3-293http:/2022-3-294http:/2022-3-294http:/車牌識別應用示意圖車牌識別應用示意圖2022-3-295http:/2022-3-295http:/車牌識別流程示意圖車牌識別流程示意圖2022-3-296http:/2022-3-296http:/1.1圖像采集1.2車牌定位1.3字符分割1.4字符識別1.

2、5問題討論2022-3-297http:/2022-3-298http:/2022-3-298http:/采用高清采用高清CCDCCD、高分辨率、覆蓋視場大、高分辨率、覆蓋視場大n CCD CCD 電荷耦合器件（電荷耦合器件（Charge Coupled Device)Charge Coupled Device)n CMOS CMOS 互補金屬氧化物半導體（互補金屬氧化物半導體（Complementary Metal Oxide SemiconductorComplementary Metal Oxide Semiconductor) )2022-3-299http:/2022-3-299ht

3、tp:/快門技術，解決高速運動車輛的拖尾現象快門技術，解決高速運動車輛的拖尾現象高速電子快門高速電子快門 通過DSP控制CCD感光時間的方式來實現畫面亮度的控制2022-3-2910http:/2022-3-2910http:/輔助光源系統，助全天候高清抓拍輔助光源系統，助全天候高清抓拍 疝氣閃光燈疝氣閃光燈 疝氣頻閃燈疝氣頻閃燈 LEDLED頻閃燈、閃光燈頻閃燈、閃光燈 2022-3-2911http:/2022-3-2911http:/主動控制曝光技術，解決逆光和強光主動控制曝光技術，解決逆光和強光逆光補償逆光補償在光線較弱的環境下，背景較暗的區域，也能夠得到比較清晰的畫面。強光抑制強光抑

4、制把強光部分弱化，把暗光部分亮化，達到光線平衡。2022-3-2912http:/2022-3-2913http:/2022-3-2913http:/車輛檢測技術車輛檢測技術傳統檢測技術：線圈、雷達、視頻線圈雷達視頻2022-3-2914http:/2022-3-2914http:/車輛檢測技術車輛檢測技術新興檢測技術：地磁、激光、紅外地磁激光紅外2022-3-2915http:/2022-3-2915http:/車輛視頻檢測算法車輛視頻檢測算法常用視頻檢測算法常用視頻檢測算法-幀間差分法、背景差分法、檢測線法、車輛3D建模檢測線法3D建模2022-3-2916http:/2022-3-291

5、6http:/常用車輛視頻檢測算法對比常用車輛視頻檢測算法對比視頻視頻檢測算法檢測算法原理原理優點優點缺點缺點幀間幀間差分法差分法基于運動圖像序列中，相鄰兩幀圖像間具有強相關性而提出的檢測算法，將前后兩幀圖像對應像素點的灰度值相減，若灰度值很小，可認為無車經過。對光照變化不敏感，適合動態變化的環境，實時性要求較高對靜止或運動速度較慢的物體無法檢測。背景背景差分法差分法選取背景中的一幅或幾幅圖像的平均作為背景圖像，然后把以后的序列圖像當前幀和背景圖像相減進行背景消去，若所得到的像素大于某一個閾值，則判定被監視場景中有運動物體。對于復雜背景下的運動物體檢測效果較好，一般能夠提供最完整的的特征數據，

6、計算量小，實用價值大。受光線、天氣等外界條件的影響較大。檢測檢測線法線法在待測圖像上的合適位置，設置檢測線，類似地感線圈，其方向與車輛行駛方向垂直，當運動物體覆蓋檢測線的寬度大于某一閾值就檢測到車輛。一種簡單有效地檢測車輛的算法，在高速公路這樣的簡單交通場景可以取得較好的檢測結果。不太適合用于行駛行為復雜的場合如十字路口這樣的交通場景，能獲取的交通參數種類較少。3D3D建建模模對運動車輛進行3D建模，然后采用車輛識別的方法進行識別和跟蹤。車輛是剛性材料，外型的線條感和輪廓感很強，當車輛經過監控檢測區域時，系統會對車輛的外在輪廓進行檢測，將檢測出來的線條進行拼裝組合即為車輛的3D模型3D模型有受

7、光照影響小、受陰影影響小、抗抖動性好等特點。如何提出較好的模型來對運動車輛進行建模，建模的好與壞直接影響檢測結果。 2022-3-2917http:/2022-3-2917http:/車輛跟蹤算法車輛跟蹤算法常用車輛跟蹤算法常用車輛跟蹤算法-基于車輛模型的跟蹤-基于車輛區域的跟蹤-基于車輛輪廓的跟蹤-基于車輛特征的跟蹤2022-3-2918http:/2022-3-2918http:/常用車輛跟蹤算法對比常用車輛跟蹤算法對比車輛跟車輛跟蹤算法蹤算法原理原理優點優點缺點缺點車輛模車輛模型型建立在精細提取已知車輛的3D模型與待檢測圖像之間的匹配操作在確定車輛類型和幾何模型細節時準確度高對車輛模型的

8、過分依賴，而很明顯的是不可能為公路上行駛的每種車輛都建立精細的模型，計算量大，不利于實時處理。車輛區車輛區域域該算法中車輛被表示成斑點，或像素連通塊，或塊區域，連接區域被提取并根據情況被合并或分割。車輛稀少時效果很好，且塊區域可以提供豐富的如大小、形狀和密度等區域的合并和分割存在著不準確性。在陰影和道路擁擠的情況下效果較差，造成漏檢和誤檢。車輛輪車輛輪廓廓先初始勾勒出車輛的輪廓，并且不斷地在后續幀更新輪廓進而達到跟蹤的目的。基于區域算法的一個變形。與區域算法相比在于計算量低。初始化困難，在陰影和擁塞情況下效果欠佳。車輛特車輛特征征將車輛的特征作為最小跟蹤單元，對每輛車提取一些特征，這些特征可以

9、是點、線或曲線，可能代表車輛的保險桿，車窗，車頂棚等或將這些特征組合來表示一輛車。即使存在部分遮擋，一些特征仍舊可見，可以為跟蹤過程提供依據。在檢測每個車輛的特征時也同樣存在車輛彼此太接近，無法正確提取的問題。 2022-3-2919http:/2022-3-2919http:/常見車牌標準常見車牌標準車牌先驗知識車牌先驗知識2022-3-2920http:/2022-3-2920http:/車牌定位車牌定位定位流程定位流程- 初步定位、精確定位常見定位算法常見定位算法-基于邊緣檢測的車牌定位-基于彩色分割的車牌定位-基于小波變換的車牌定位-基于遺傳算法的車牌定位-基于數學形態的車牌定位-基于

10、灰度圖像文理特征分析的車牌定位-基于幀差的視頻圖像車牌定位2022-3-2921http:/2022-3-2921http:/常見車牌初定位算法對比表常見車牌初定位算法對比表車牌車牌定位定位算算法法原理原理優點優點缺點缺點邊緣邊緣檢測檢測所謂邊緣就是指其周圍像素灰度有階躍變化的那些像素的集合。邊緣的兩側分屬于兩個區域，每個區域的灰度均勻一致，而這兩個區域的灰度在特征上存在一定的差異。邊緣檢測的任務是精確定位邊緣和抑制噪聲。定位準確率較高，反應時間短，能有效去掉噪聲，適合與包含多個車牌的圖像，在多車牌圖像的情況下定位速度也很快。對車牌嚴重褪色的情況下，由于檢測不到字符筆畫的邊緣會導致定位失敗，在

11、有外界干擾以及車牌傾斜時，定位后的區域比車牌稍大。彩色彩色分割分割基于彩色分割的車牌定位方法由彩色分割和目標定位等模塊組成，采用多層感知器網絡對彩色圖像進行分割，然后通過投影法分割出潛在的車牌區域。算法正確率較高若車牌區域顏色與附近顏色相似時，計算速度較慢數學數學形態學形態學具有一定形態的結構元素去量度和提取圖像中的對應形狀以達到圖像分析和識別的目的。該算法不能精確確定車牌左右邊界的位置，因此必須結合其他定位方法進行精確定位。即使存在部分遮擋，一些特征仍舊可見，可以為跟蹤過程提供依據。在檢測每個車輛的特征時也同樣存在車輛彼此太接近，無法正確提取的問題。灰度灰度圖像文圖像文理特征理特征先對圖像進

12、行預處理，將彩色圖像轉換為灰度圖像，然后進行行掃描，找出圖像中每一行所含有的車牌線段，記錄下它們的起始坐標和長度，如果有連續若干行均存在不少于一個的車牌線段，且行數大于某一確定的閾值，則認為在行的方向上找到了車牌一個候選區域，并確定該候選區域的起始行和高度；同理對列掃描，最終確定一個車牌區域。對于牌照傾斜或變形以及光照不均，偏弱或偏強有很好的效果。對于噪聲敏感、對于背景復雜的圖像需結合其他方法得到真正的車牌區域。2022-3-2922http:/2022-3-2922http:/車牌精定位車牌精定位HoughHough變換：變換：檢找出車牌圖像中滿足條件的直線，并依此直線的角度作為車牌的傾斜角

13、度。精定位上下左右邊界：精定位上下左右邊界：根據車牌圖像字符區域明暗交替出現的特征來確定上下邊界；采用顏色二值化和紋理方法相結合的辦法來定位車牌左右邊界RadonRadon變換：變換：對圖像采用投影的方法檢測投影高度和投影的目標像素的峰值，找到投影面積滿足最佳條件時的投影角度。2022-3-2923http:/2022-3-2924http:/2022-3-2924http:/車牌圖像預處理車牌圖像預處理車牌字符區域灰度化二值化去噪2022-3-2925http:/2022-3-2925http:/車牌圖像預處理車牌圖像預處理灰度化：灰度化： 將彩色圖像轉化成為灰度圖像的過程成為圖像的灰度化處

14、理。彩圖轉化為256個灰度級黑白圖像，只保留亮度，去除色彩，減少圖像處理的運算量。二值化：二值化： 圖像的二值化處理就是講圖像上的點的灰度置為0或255，也就是講整個圖像呈現出明顯的黑白效果。即將256個亮度等級的灰度圖像通過適當的閥值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。去噪（濾波）：去噪（濾波）： 圖像信息在采集過程中往往受到各種噪聲源的干擾，這些噪聲在圖像上的常常表現為一些孤立像素點，這可理解為像素的灰度是空間相關的，即噪聲點像素灰度與它們臨近像素的灰度有著顯著不同。這種干擾或孤立像素點如不經過濾波處理，會對以后的圖像區域分割、分析和判斷帶來影響。2022-3-2926h

15、ttp:/2022-3-2926http:/垂直投影法垂直投影法基本原理：基本原理： 對車牌灰度圖像進行灰度垂直投影，可以清晰地看出7個區域，即車牌的7個字符灰度圖像的垂直投影，通過垂直投影圖特征，分割字符就轉化為只需得到每個區域的左右邊界即可。優點：優點： 變形不是很嚴重的車牌能很好的分割缺點：缺點： 對鉚釘、字符粘連及車牌左右邊框等噪聲比較敏感2022-3-2927http:/2022-3-2927http:/模板匹配法模板匹配法車牌字符特點車牌字符特點： 一般牌照字符共有7個，并且長寬高以及字符間距都符合一定的標準。基本原理：基本原理： 在精確定位車牌字符的上下邊界后，以圖示模板，從左往

16、右掃描車牌圖像，需求落在字符區域與字符間空隙區域白色像素的最大差值，將字符分割出來。 優點：優點： 很好的解決圖像二值化后字符粘連及鉚釘等的干擾。缺點：缺點：車輛圖像尺寸必須很規范。2022-3-2928http:/2022-3-2929http:/2022-3-2929http:/字符識別原理字符識別原理基本思想：基本思想：匹配判別，抽取代表未知字符模式本質的各種特征和預先存儲在機器中的標準字符的字典逐一匹配，用一定的準則進行判別。2022-3-2930http:/2022-3-2930http:/基于模板匹配的識別方法基于模板匹配的識別方法基本思想：基本思想：先在圖像中檢測出已知形狀的目標

17、物，然后用這個目標物的形狀模板與圖像匹配，在約定的準則下檢測出目標圖像。優點：優點： 簡單成熟，對于標準、規范的字符識別效果較好。缺點：缺點： 復雜環境下識別效果較差，且自適應不強。2022-3-2931http:/2022-3-2931http:/基于神經網絡的識別方法基于神經網絡的識別方法基本思想：基本思想：先將圖像中各個大小不同分布不規則的字符變成一個個大小相同，排列整齊的字符；從這些字符中提取最能體現這個字符特點的特征向量，代入到訓練好的神經網絡中，就可以正確識別出字符。樣本訓練：樣本訓練：對精心選擇的可以很好的反應樣本可分性的已知數據精心特征提取，送入神經網絡進行訓練，經訓練最后的神

18、經網絡就可以用它對待識別數據進行識別。2022-3-2932http:/2022-3-2933http:/2022-3-2933http:/問題討論問題討論問題問題1 1：車牌上的小圓點，如果摳掉了，能否正確識別車牌？問題問題2 2：車牌被遮擋之后，能否抓拍到車輛？2022-3-2934http:/2022-3-2935http:/2022-3-2935http:/2.1車流量統計2.2電子警察2.3布控報警2.4套牌分析2.5多區域碰撞分析2.6問題討論2022-3-2936http:/2022-3-2937http:/2022-3-2937http:/車流量統計車流量統計基本原理基本原理-

19、 單個監控點通過抓拍車輛，統計以車道為單位的過車數量，完成按小時、天、月為周期的流量統計。2022-3-2938http:/2022-3-2939http:/2022-3-2939http:/電子警察電子警察什么是電子警察什么是電子警察- 俗稱“闖紅燈自動記錄系統”，即可安裝在信號控制的交叉路口和路段上并對指定車道內機動車闖紅燈行為進行不間斷自動檢測和記錄的系統。基本原理基本原理-線圈或視頻實時車輛檢測。-實時抓拍違法車輛-車輛跟蹤、車牌識別以及錄像和存儲2022-3-2940http:/2022-3-2940http:/闖紅燈等違法行為檢測闖紅燈等違法行為檢測闖紅燈三要素：闖紅燈三要素： -

20、車牌號碼、停止線和紅燈信號違法行為：違法行為： -闖紅燈、不按車道行駛、違法禁令標志2022-3-2941http:/2022-3-2942http:/2022-3-2942http:/黑名單和布控黑名單和布控黑名單黑名單- “黑名單”庫是將所關注的交通違法、肇事犯罪嫌疑等車輛信息進行匯總的專門數據庫。車輛信息包括車牌、車型、車身顏色及其他關聯信息等。布控布控- 查緝布控是對各類嫌疑車輛進行布控報警，及時實施攔截處置的過程。查緝布控是“黑名單”庫的主要應用。2022-3-2943http:/2022-3-2943http:/布控流程布控流程錄入黑名單車輛錄入黑名單車輛下發黑名單下發黑名單系統進入實時比對系統進入實時比對所有車輛抓拍所有車輛抓拍系統實時比對系統實時比對成功匹配成功匹配實時報警實時報警2022-3-2944http:/2022-3-2945http:/2022-3-2945http:/什么是套牌什么是套牌套牌套牌-套用別人的車牌套牌分析的原則套牌分析的原則-同一輛車前后