第二章

車輛信息感知理論與技術

本章主要研究內容：

首先提出一種新的車輛區域檢測方法，確定車型識別感興趣區域（ROI），之后提取感興趣區域（ROI）圖像特征，最后引入一種帶有“拒識”功能的級聯集成分類器對車輛圖像特征進行識別。首先，分析車輛圖像數據來源、篩選及預處理方法。其次，研究圖像特征描述方法。最后，研究具有“拒識”功能的級聯集成分類器。2.1車輛圖像采集及車輛目標區域檢測

圖2.1部分圖像數據圖2.2不同位置、角度、光照條件的車輛圖像

選取包含15種品牌的18種車型共4500張圖片，這些車型包括奧迪（Audi），別克（Buick）（2種），長安（Changan），奇瑞（Chery）（2種），雪佛蘭（Chevrolet），雪鐵龍（Citroen），福特（Ford），本田（Honda），現代（Hyundai）（2種），馬自達（Mazda），日產（Nissan），標志（Peugeot），大眾（Volkswagen），豐田（Toyota）和五菱（Wulin）。2.1.1基于對稱特征的車輛檢測方法第一步：首先生成輸入灰度圖像的邊緣圖像，采用拉普拉斯算子進行車輛邊緣檢測，之后對邊緣圖像進行中值濾波。輸入圖像

(b)邊緣檢測圖2.3輸入圖像及車輛邊緣檢測結果檢測車輛輪廓豎直對稱軸檢測車牌水平和豎直對稱軸感興趣區域（ROI）定位第二步：設置車輛對稱軸搜索區域如圖2.4(a)所示，計算水平掃描線上每個像素點的對稱值圖2.4（a）車輛對稱軸搜索區域圖2.4（b）掃描線對稱值計算其中，V(x,y)為(x,y)處對稱值，W為計算每個像素點對稱值的幅寬，本文根據車輛圖像的像素寬度假設為300，每條掃描線上像素對稱值計算結果如圖2.4(b)所示。第三步：根據車輛輪廓幾何特征，車輛輪廓對稱值在其豎直對稱軸處最大而在車輛邊緣處對稱值最小，根據公式（2.4）計算每列對稱值之和：其中，val為行距，Vcol(x)為第x列對稱值之和。對Vcol(x)進行排序，得到最大對稱值Vcol(xm)對應列xm作為車輛輪廓的對稱軸。第四步：使用以下公式檢索對稱值最大區段：

得到Vcol(xm,n)最大時對應的掃描行nm,對應圖像縱坐標為ym=nm*val。圖2.5（a）所示豎直線為實驗車輛圖像的對稱軸，白色圓點(xm,ym)為對稱值最大區段起始行。第五步：以參考點(xm,ym)作基準，在其下方搜索車牌水平和豎直對稱軸。計算車牌水平對稱軸搜索區域每條豎直掃描線上像素點對稱值，將每行對稱值之和最大行作為車牌水平對稱軸，圖2.5（b）中水平線所示位置即車牌水平對稱軸。圖2.5（a）輪廓對稱軸圖2.5（b）車牌對稱軸確定第六步：根據車輛對稱軸和基準點假設車輛區域，假設車輛區域在由和確定的矩形包圍框內。使用基于灰度積分投影的方法搜索車輛區域，邊緣圖像豎直及水平積分投影計算公式為：其中，f(x,y)是點(x,y)處的像素值，如圖2.6(a)所示為假設區域內車輛灰度水平和豎直投影直方圖。第七步：分別計算豎直和水平積分投影的最大值mv及mh，從上向到下搜索水平投影目標像素個數超過閾值0.5mh的第一行作為上邊界，從左到右搜索豎直投影目標像素個數超過閾值0.5mv的第一列作為左邊界，使用同樣的方法搜索得到右邊界和下邊界。圖2.6（b）為車輛區域檢測的最終結果。圖2.6（a）車輛區域假設圖2.6（b）

車輛區域驗證2.1.2感興趣區域（ROI）定位由于監控相機角度及位置固定，所拍攝圖像中車牌尺寸固定，假設車牌大小為，在車牌搜索區域內進行遍歷匹配，考慮到車輛前臉圖像尺寸與車牌圖像尺寸之間的固定關系，假設車牌的寬度為，使用圖2.8（a）所示的方法確定車輛前臉感興趣區域，圖2.8（b）是最終獲取的車臉ROI區域。圖2.8（a）車輛圖像ROI區域檢測圖2.8（b）車臉ROI區域方法結果融合特征輪廓特征車牌GLCMGaborTeoh[18]檢測率90.7%82.8%80.9%86.4%

80.8%87.6%檢測時間(ms)125140125651317609109表2.1六種車輛檢測方法的檢測率及檢測時間圖2.9偏差較大ROI及正確獲取ROI，第一行為偏差加大ROI，第二行為正確獲取ROI2.2特征描述器

2.2.1梯度方向直方圖（HOG）2.2.2Contourlet變換Contourlet變換是結合拉普拉斯塔形分解（LP）和方向濾波器組（DFB）實現的一種多分辨率、多方向的、局域的圖像表示方法。每一層LP分解將產生一個下采樣的低通部分和一個該圖像與預測圖像的差圖像。對低通圖像繼續分解得到下一層的低通圖像和差值圖像。（a）（b）（c）（d）圖2.13輸入車輛圖像的三層Contourlet分解2.2.3特征降維

在訓練樣本固定的情況下，一些分類器（如貝葉斯網絡、k近鄰）的預測能力通常隨著特征向量維度的增加而減小，所以在將樣本輸入分類器之前通常采取一些降低維數的措施。

主成分分析（PCA）是一個高普適用方法，通過PCA方法求出數據集的主元，將其余的維數省去，從而達到維數降低和簡化模型的目的。具體實現過程如下所述：1）計算所有樣本的均值向量2）計算協方差矩陣3）計算矩陣S的特征值和對應的特征向量；4）對特征值進行遞減排序，并將特征向量重排為和排序后的特征值一致；5）定義貢獻率為主要特征值（主成分）在所有特征值之和中占的比重，取前r個主要特征值（主成分）代替原來所有的特征值時，累計貢獻率的大小反映了這種取代的可靠性。6）用輸入特征向量乘以r個主成分所對應的特征向量構建的投影矩陣，即可達到數據維數降低的目的，將輸入樣本特征維數從D維降低到r維。2.2.4組合特征及降維

直接將兩種特征如HOG和Contourlet特征簡單串聯是一種有效的提升識別率的方法。2.3基于級聯集成分類器的可靠分類帶有“拒識”功能的級聯集成分類器方案如下圖所示：圖2.15級聯集成分類器方案2.3基于級聯集成分類器的可靠分類

引入“拒識”功能后，我們采用[54]中的方法如下定義識別率（RecognitionRate,RR），“拒識”率（RejectionRate,ReR），錯誤率（ErrorRate,ER）以及系統可靠性：多層識別系統可以由若干個兩級級聯識別系統組成，如圖2.15所示，第二級的集成分類器的輸入測試樣本是在第一級級聯分類器中被拒絕識別的樣本。對于兩層集成分類器，相應的識別率，“拒識”率和誤識率滿足以下關系：樸素貝葉斯分類器

使用這個分類器的時候，需要學習車輛類型對應的類型值，計算每個類別在訓練樣本中的出現頻率以及每個特征屬性劃分對每個類別的條件概率估計，并將結果記錄。識別過程中，對于輸入向量X尋找聯合概率最大時對應的類型值，即可實現樣本自動分類。k-近鄰分類器k-近鄰分類算法是所有的機器學習算法中最簡單的算法之一：給定一個常數K，若某個樣本在特征空間中的K個最相似樣本中大多數屬于某一類，則將輸入樣本分配給該類。多層神經網絡（MLP）

在模式識別中使用最多的為多層前饋網絡，其中又以BP網絡為代表。BP（Back-Propagation）網絡即反向傳播算法，其實質是使用非線性優化問題解決樣本輸入輸出之間關系映射問題，并通過梯度下降算法結合迭代運算來求解網絡傳播權值的一種學習方法。支持向量機（SVM）

支持向量機（SVM）是Cortes和Vapnik[54]首次提出的，它在解決小樣本、非線性及高維數等方面表現出較大的優勢。圖2.18集成分類器表決機制圖2.19基于MLP的旋轉森林集成分類器

本部分實驗所使用的車輛前臉圖像所使用的樣本集為18種類型車輛共4140張圖像，隨機選擇其中的85%作為訓練樣本，其余15%作為測試樣本，為達到比較好的識別結果，訓練樣本盡可能包含了各種光照、顏色及不同角度的車輛前臉圖像，部分車輛前臉樣本如圖2.20所示。圖2.20部分車輛前臉圖像2.4實驗分析2.4.1單個分類器實驗

分類器特征

樸素貝葉斯k-近鄰MLPSVMHOG92.4%90.6%89.6%94.6%Contourlet77.0%80.4%76.3%78.5%HOG+Contourlet86.3%81.7%90.6%94.6%表2.2樸素貝葉斯、kNN、MLP和SVM結合HOG、Contourlet特征分類圖2.22使用SVM分類器結合HOG特征車型識別結果混淆矩陣混淆矩陣對每一類的識別效果及每一類與其他類別的相似性進行分析，混淆矩陣的行和列分別為樣本實際和預測的類型，對角線上的元素為每一類樣本正確識別的概率，非對角線上的元素為該類識別成其他類型的概率。結論：圖2.22可得，18種類型車輛有8種車型的識別率為100%，包括Audi，CheryII型及Citroen等。圖2.23CheryI型車識別成其他類型車輛例圖，第一列為原車型，第二列為識別目標類型

結論：從2.23可得，被錯誤識別的車輛存在幾個問題：（1）與其他類型車輛相似度比較高，如圖2.23

（a）兩種車型具有相同的散熱器；（2）光照條件的影響，如2.23（b）中車輛圖像

是晚間拍攝，邊緣細節信息已經模糊，對

識別顯然有影響；（3）截取感興趣區域的位置，如果所截取的車

輛前臉區域包含較多的非車輛區域，則會

對車型的識別產生影響。(a)CheryI識別為Hyundai（b）CheryI識別為CheryII（c）CheryI識別為Wulin2.4.2級聯集成分類器實驗

識別率（RR）拒識樣本數誤識樣本數拒識率（ReR）可靠性第一級76.30%127123.52%99.80%第二級62.99%38929.92%92.91%識別系統91.11%38107.04%98.15%表2.3兩層級聯分類器對樣本識別指標圖2.24級聯分類器的識別性能指標根據兩級集成分類器級聯方案，首先將輸入樣本送入級聯分類器的第一級即具有不同基分類器的集成分類器中識別，之后將