1、模式識別應用模式識別應用 車牌識別車牌識別模式識別系統的組成：模式識別系統的組成：v信息獲取信息獲取 v預處理預處理v特征提取和選擇特征提取和選擇 v分類器設計和分類決策分類器設計和分類決策信息獲取信息獲取機器識別機器識別：計算機獲取模式信息即實現觀察對象的：計算機獲取模式信息即實現觀察對象的數字化表達。數字化表達。v待識別的樣本大都是非電信息，例如語音信號、待識別的樣本大都是非電信息，例如語音信號、待識別文本、圖像等，這就需要待識別文本、圖像等，這就需要將這些以各種不將這些以各種不同形式表現的信息通過傳感器轉換成電信號同形式表現的信息通過傳感器轉換成電信號。v如用話筒將聲音信號轉換成電信號。

2、如用話筒將聲音信號轉換成電信號。v景物信息在攝像機靶面成像并轉換成二維的像素景物信息在攝像機靶面成像并轉換成二維的像素矩陣，每個像素（矩陣元素）的電信號與物體表矩陣，每個像素（矩陣元素）的電信號與物體表面反射的光強或顏色信息呈現函數關系。面反射的光強或顏色信息呈現函數關系。預處理預處理v預處理主要是指去除所獲取信息中的噪聲，增強預處理主要是指去除所獲取信息中的噪聲，增強有用的信息，及一切必要的使信息純化的處理過有用的信息，及一切必要的使信息純化的處理過程。程。v圖像信息的預處理：幾何校正、圖像增強、圖像圖像信息的預處理：幾何校正、圖像增強、圖像還原等。還原等。v例如，從圖像中將汽車車牌的號碼識

3、別出來，就例如，從圖像中將汽車車牌的號碼識別出來，就需要先將車牌從圖像中找出來，再對車牌進行劃需要先將車牌從圖像中找出來，再對車牌進行劃分，將每個數字分別劃分開。做到這一步以后，分，將每個數字分別劃分開。做到這一步以后，才能對每個數字進行識別。以上工作都應該在預才能對每個數字進行識別。以上工作都應該在預處理階段完成。處理階段完成。v原始數據是由所使用的測量儀器或傳感器獲取的，這些數原始數據是由所使用的測量儀器或傳感器獲取的，這些數據組成的空間叫測量空間。據組成的空間叫測量空間。v樣本是用特征進行描述的，識別與訓練都是在特征空間中樣本是用特征進行描述的，識別與訓練都是在特征空間中進行的。進行的。

4、v特征提取模塊將原始測量數據轉換成能反映事物本質、有特征提取模塊將原始測量數據轉換成能反映事物本質、有效方式表示的信息，從而使分類器能根據這些信息決定樣效方式表示的信息，從而使分類器能根據這些信息決定樣本的類別。本的類別。v特征提取模塊的功能是：對所獲取的信息實現從測量空間特征提取模塊的功能是：對所獲取的信息實現從測量空間到特征空間的轉換。到特征空間的轉換。v通常用于描述模式性質的特征很多，需要從一組特征中挑通常用于描述模式性質的特征很多，需要從一組特征中挑選出一些最有效的特征以降低特征空間維數，即特征選擇。選出一些最有效的特征以降低特征空間維數，即特征選擇。特征提取和選擇特征提取和選擇分類決

5、策分類決策模式識別系統工作有兩個過程，一是樣本訓練，模式識別系統工作有兩個過程，一是樣本訓練，二是分類決策。二是分類決策。樣本訓練樣本訓練：在已確定的特征空間中，對作為訓：在已確定的特征空間中，對作為訓練樣本的數據進行特征提取與選擇，得到它們練樣本的數據進行特征提取與選擇，得到它們在特征空間的分布，依據這些分布決定分類器在特征空間的分布，依據這些分布決定分類器的具體參數。的具體參數。分類決策分類決策：分類器在分界形式及其具體參數都：分類器在分界形式及其具體參數都確定后，對待分類樣本進行分類決策的過程。確定后，對待分類樣本進行分類決策的過程。v分類決策是對事物辨識的最后一步。分類決策是對事物辨識

6、的最后一步。v識別事物（決策）的基本方法：識別事物（決策）的基本方法：同一類事物之間屬性應比較同一類事物之間屬性應比較近似，而不同類事物之間的屬性之間應差異較大。這種現象近似，而不同類事物之間的屬性之間應差異較大。這種現象表現在特征空間的分布中往往表現出同類事物的特征向量聚表現在特征空間的分布中往往表現出同類事物的特征向量聚集在一起，聚集在一個相對集中的區域，而不同事物則分別集在一起，聚集在一個相對集中的區域，而不同事物則分別占據不同的區域。因此，占據不同的區域。因此，如果待識別的事物的特征向量出現如果待識別的事物的特征向量出現在某一類事物經常出現或可能出現的區域內，該事物就被識在某一類事物經

7、常出現或可能出現的區域內，該事物就被識別為該類事物。別為該類事物。v決策依據：決策依據：在特征空間中哪個區域是某類事物典型所在區域在特征空間中哪個區域是某類事物典型所在區域需要用數學式子劃定，這樣一來，滿足這種數學式子與否就需要用數學式子劃定，這樣一來，滿足這種數學式子與否就成為分類決策的依據。如何確定這些數學式子就是分類器設成為分類決策的依據。如何確定這些數學式子就是分類器設計的任務，而一旦這種數學式子確定后，分類決策的方法也計的任務，而一旦這種數學式子確定后，分類決策的方法也就確定了。就確定了。汽車車牌識別系統汽車車牌識別系統v圖像輸入圖像輸入v車牌提取（牌照定位與分割）車牌提取（牌照定位

8、與分割）v車牌字符識別車牌字符識別汽車車牌識別圖像采集圖像采集v地感線圈感應壓力；地感線圈感應壓力；v40ms后進入最佳識后進入最佳識別區；別區；v觸發相機拍照觸發相機拍照汽車車牌識別圖像采集圖像采集v首先，從攝像頭取得彩色的包含車牌的圖像。首先，從攝像頭取得彩色的包含車牌的圖像。在攝像機前方的檢測點安裝傳感器，當汽車在攝像機前方的檢測點安裝傳感器，當汽車通過檢測點時，傳感器向主機發出信號，系通過檢測點時，傳感器向主機發出信號，系統自動攝下車輛的圖像，并將圖像輸入計算統自動攝下車輛的圖像，并將圖像輸入計算機。機。v這是在一個收費站這是在一個收費站前拍攝的交費車輛前拍攝的交費車輛的照片，在收費站

9、的照片，在收費站的車牌識別系統中，的車牌識別系統中，車輛是靜止的，因車輛是靜止的，因此不用進行針對運此不用進行針對運動模糊等的預處理。動模糊等的預處理。v車牌定位車牌定位是在包含車輛的圖像中找到牌照區域的位置，并是在包含車輛的圖像中找到牌照區域的位置，并把牌照區域把牌照區域分割分割出來，得到牌照圖像。也可稱這部分為牌出來，得到牌照圖像。也可稱這部分為牌照定位與分割。牌照定位決定其后的車牌字符識別，因此照定位與分割。牌照定位決定其后的車牌字符識別，因此牌照定位是識別系統的關鍵。牌照定位是識別系統的關鍵。汽車車牌識別車牌定位與分割車牌定位與分割經過大量實驗數據發現，車輛牌照一般具有以下特征經過大量

10、實驗數據發現，車輛牌照一般具有以下特征: (1)目前車輛牌照的具體排列格式是由一個省份漢字目前車輛牌照的具體排列格式是由一個省份漢字(軍警牌則軍警牌則為其他字為其他字)后跟字母或阿拉伯數字組成的后跟字母或阿拉伯數字組成的7個字序列。除第一個字序列。除第一個漢字外，字母或數字的筆畫在豎直方向都是連通的。個漢字外，字母或數字的筆畫在豎直方向都是連通的。 標準車牌的具體排列格式是標準車牌的具體排列格式是: X1X2X3X4X5X6X7uX1是各省、直轄市的簡稱或軍警（多數為紅色）、外交是各省、直轄市的簡稱或軍警（多數為紅色）、外交標志（例如：大使館車輛白底黑字）標志（例如：大使館車輛白底黑字）uX2

11、是英文字母是英文字母uX3X4是英文字母或阿拉伯數字是英文字母或阿拉伯數字uX5X6X7是阿拉伯數字。是阿拉伯數字。v(2) 車輛牌照區域牌底與牌字顏色相差較大，邊緣非常豐富。車輛牌照區域牌底與牌字顏色相差較大，邊緣非常豐富。v(3) 車輛牌照子圖像區域長高比例一定，車牌原始尺寸每個字車輛牌照子圖像區域長高比例一定，車牌原始尺寸每個字寬寬45 mm，字高，字高90 mm，間隔符寬，間隔符寬10 mm，每個單元間隔，每個單元間隔12 mm。 根據汽車牌照的特點，需要充分利用這些特征，并結合根據汽車牌照的特點，需要充分利用這些特征，并結合一系列圖像處理，對車輛牌照進行定位與分割。一系列圖像處理，對

12、車輛牌照進行定位與分割。三個主要步驟：三個主要步驟：v特征提取：灰度化、灰度拉伸、邊緣檢測特征提取：灰度化、灰度拉伸、邊緣檢測v粗略定位粗略定位v精細定位精細定位車牌特征提取的第一步車牌特征提取的第一步 灰度化灰度化為了便于后續的快速圖像處理，以及對不同顏色的車為了便于后續的快速圖像處理，以及對不同顏色的車輛牌照進行統一處理，需要把攝像頭拍到的含車輛的圖像輛牌照進行統一處理，需要把攝像頭拍到的含車輛的圖像由由24位真彩色轉化成灰度圖。一般采用現行標準的平均值位真彩色轉化成灰度圖。一般采用現行標準的平均值法法: 0.30.590.11gRGB其中其中: g表示灰度化后的灰度值：表示灰度化后的灰度

13、值：R、 G、 B分別表示原真分別表示原真彩色圖中的紅、彩色圖中的紅、 綠、綠、 藍分量。藍分量。車牌特征提取的第二步車牌特征提取的第二步 灰度拉伸灰度拉伸對灰度化的圖像進行對比度拉伸，把感興趣的灰度范對灰度化的圖像進行對比度拉伸，把感興趣的灰度范圍拉開，使得該范圍內的像素亮的更亮、暗的更暗，使圖像圍拉開，使得該范圍內的像素亮的更亮、暗的更暗，使圖像的邊緣更加凸顯。灰度拉伸可以使牌照區域的筆畫特征更明的邊緣更加凸顯。灰度拉伸可以使牌照區域的筆畫特征更明顯，有益于下一步的邊緣檢測。顯，有益于下一步的邊緣檢測。假設原圖像的灰度分布函數為假設原圖像的灰度分布函數為f(x，y)，像素灰度分布，像素灰度

14、分布范圍為范圍為a, b。根據圖像處理的需要，將其灰度范圍變。根據圖像處理的需要，將其灰度范圍變換到換到a, b，增強后圖像的灰度分布函數為增強后圖像的灰度分布函數為g(x，y) ，則則g(x，y)和和f(x，y)之間存在如下關系之間存在如下關系: ( , )( ( , )bag x yaf x yaba如果圖像的灰度范圍超出了如果圖像的灰度范圍超出了a，b，但絕大多數像，但絕大多數像素的灰度落在區間素的灰度落在區間a，b內，只有很少部分的像素灰度內，只有很少部分的像素灰度分布在小于分布在小于a和大于和大于b的區間內，此時可以采用一種稱作的區間內，此時可以采用一種稱作“截取式線性變換截取式線性

15、變換”的變換方法，其變換式如下的變換方法，其變換式如下: ,( , )( , )( ( , ),( , ),( , )af x yabag x yaf x yaaf x ybbabbf x y車牌特征提取的第三步車牌特征提取的第三步 邊緣檢測邊緣檢測邊緣檢測對于車牌區域的分割有重要的作用。經過邊緣檢邊緣檢測對于車牌區域的分割有重要的作用。經過邊緣檢測之后的圖像由各個物體的輪廓線組成，由于測之后的圖像由各個物體的輪廓線組成，由于車輛牌照是邊緣車輛牌照是邊緣豐富的子區域，車牌的筆畫輪廓凸現，豐富的子區域，車牌的筆畫輪廓凸現，而車體上其他部分的輪而車體上其他部分的輪廓線特征并不突出。在車牌識別系統中

16、，可以采用如下的算子廓線特征并不突出。在車牌識別系統中，可以采用如下的算子來提取邊緣來提取邊緣: 1:1 1H21:1HH1、H2分別是水平和垂直方向的算子。分別是水平和垂直方向的算子。v粗略定位粗略定位主要利用的信息是車牌部分的主要利用的信息是車牌部分的紋理分布紋理分布，主要利用，主要利用的是的是水平和豎直兩個方向上的邊緣水平和豎直兩個方向上的邊緣。在車牌部分，邊緣分布。在車牌部分，邊緣分布比較密集，可以利用這一點提取出候選的車牌區域，在圖中比較密集，可以利用這一點提取出候選的車牌區域，在圖中用方框標出。用方框標出。車牌粗略定位車牌粗略定位v之后輸出的就是候之后輸出的就是候選的車牌位置，這選

17、的車牌位置，這些位置中，只有一些位置中，只有一個是真正的車牌。個是真正的車牌。而究竟哪一個是對而究竟哪一個是對的，要到字符識別的，要到字符識別階段才能有結果。階段才能有結果。v粗略定位的結果往粗略定位的結果往往不是很準，可以往不是很準，可以利用利用顏色的連續性顏色的連續性信息信息對定位的結果對定位的結果進行修正。進行修正。車牌精細定位車牌精細定位字符特征提取字符特征提取訓練：訓練：字符識別分類器字符識別分類器識別：識別：車牌的具體內容車牌的具體內容汽車車牌識別字符識別字符識別v字符分割要把車牌中的一個個字符逐一切分開，這樣才能在下一步的識別字符分割要把車牌中的一個個字符逐一切分開，這樣才能在下

18、一步的識別中對每一個字符分別處理。分割的方法可以利用灰度圖像往豎直方向的投中對每一個字符分別處理。分割的方法可以利用灰度圖像往豎直方向的投影。在有數字或字符的部分，這個投影值應該比較大，而在字符之間的間影。在有數字或字符的部分，這個投影值應該比較大，而在字符之間的間隙處，投影的累計值就幾乎為零了。利用這個特征，可以很好地將字符分隙處，投影的累計值就幾乎為零了。利用這個特征，可以很好地將字符分割開來。割開來。v同時，還需要得到對這個區域是不是車牌區域作個評價，如果劃分結果比同時，還需要得到對這個區域是不是車牌區域作個評價，如果劃分結果比較合理，劃分出的每個字符的寬度都差不多，且符合車牌特征，那么

19、說明較合理，劃分出的每個字符的寬度都差不多，且符合車牌特征，那么說明這個區域比較像車牌。如果字體太寬或者不符合車牌特征，說明是其它的這個區域比較像車牌。如果字體太寬或者不符合車牌特征，說明是其它的字符。字符。字符分割字符分割v在在牌照識別中，需要利用光學字符識別牌照識別中，需要利用光學字符識別(OCR)技術識別出技術識別出牌照圖像中的印刷體漢字、英文字母和阿拉伯數字，得到牌照圖像中的印刷體漢字、英文字母和阿拉伯數字，得到車牌號碼。可以根據目前標準車牌中字符的具體排列順序，車牌號碼。可以根據目前標準車牌中字符的具體排列順序，設計不同的分類器。設計不同的分類器。v印刷體漢字印刷體漢字(包括各省、直

20、轄市的簡稱或軍警包括各省、直轄市的簡稱或軍警)；v英文字母英文字母(26個大寫字母個大寫字母)；v阿拉伯數字為阿拉伯數字為0，1，9。24字符特征提取字符特征提取25v光學字符識別先要使識別系統學習待辯識字符的特征，光學字符識別先要使識別系統學習待辯識字符的特征，然后再利用這些先驗知識對輸入圖像進行判決，得到然后再利用這些先驗知識對輸入圖像進行判決，得到字符的識別結果。字符的識別結果。v字符的特征：字符的特征：平面上的點陣位置特征：像素灰度特征（不好）平面上的點陣位置特征：像素灰度特征（不好）頻率特征：跳變統計特征頻率特征：跳變統計特征投影特征：灰度統計特征投影特征：灰度統計特征語義特征：結構

21、特征語義特征：結構特征幾種目前常采用的特征：幾種目前常采用的特征：HOG、Haar、LBP字符特征提取（續）字符特征提取（續）26v LBP（Local Binary Pattern，局部二值模式）是一種，局部二值模式）是一種用來描述圖像局部紋理特征的算子；具有旋轉不變性用來描述圖像局部紋理特征的算子；具有旋轉不變性和灰度不變性等顯著的優點。和灰度不變性等顯著的優點。字符特征提取（續）字符特征提取（續）27vLBP特征的描述：特征的描述：v定義定義：在：在33的窗口內，以窗口中心像素為閾值，將相鄰的的窗口內，以窗口中心像素為閾值，將相鄰的8個像個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為像素點的位置被標記為1，否則為，否則為0。這樣，。這樣，33鄰域內的鄰域內的8個點經個點經比較可產生比較可產生8位二進制數（通常轉換為十進制數即位二進制數（通常轉換為十進制數即LBP碼，共碼，共256種），即得到該窗口中心像素點的種），即得到該窗口中心像素點的LBP值，并用這個值來反映該值，并用這個值來反映該區域的紋理信息。區域的紋理信息。 字符特征提取（續）字符特征提取（續）灰度不變性灰度不變性28v基本的基本的 LBP 算子有兩個缺陷：算子有兩個缺陷：只