1、第卷第期年月電子科技大學學報、，自動化技術算法及其在雙目立體視覺中的應用趙欽君，趙東標，韋虎（南京航空航天大學自動化學院南京；南京航空航天大學機電學院南京）【摘要】為了降低尺度不變特征變換（算法的復雜度，提高算法的實時性，克服算法提取的特征點不是角點的缺點，該文提出了一種新的算法該算法首先用算子提取圖像的特征點，然后為每個特征點定義主方向，最后將特征描述子的坐標旋轉到與特征點的主方向一致，計算出每個特征點的特征向量描述子雙目立體視覺圖像匹配實驗結果說明了該算法的有效性關鍵詞雙目立體視覺：咒圖像匹配：尺度空間中圖分類號文獻標識碼：，。、。（，嗍砒硫，蛆；蛐）（），呵，；圖像特征匹配是機器視覺和模

2、式識別等領域研究的基本問題以及物體識別、跟蹤等應用的重要基礎，匹配算法直接影響后續視覺處理的效果。立體匹配是立體視覺系統的重要組成部分，是近年來數字圖像處理和計算機視覺領域備受關注的前沿方向和研究熱點。雙目立體視覺在移動機器人、三維測量、物體建模等領域獲得了廣泛的應用【】該方法模擬人類的視覺系統，設置距離和方位確定的兩臺相同的攝像機，通過匹配空間中的一點在兩臺攝像機中的投影點實現立體視覺中同名點的匹配是該方法中最關鍵的難題。當空間三維場景被投影為二維圖像時，同一景物在不同視點下的圖像會有很大不同，而且場景中的諸多因素，如光照條件、對象的幾何形狀和物理特性、噪聲干擾和畸變以及攝像機特性等，都被綜

3、合成單一的圖像中的灰度值。因此，要準確地對包含了如此之多不利因素的圖像進行無歧義的匹配，顯然是十分困難的。對于任何一種立體匹配方法，其有效性依賴于個問題的解決，即選擇正確的匹配特征、尋找特征間的本質屬性及建立能正確匹配所選特征的穩定算法。近年來，各種匹配算法相繼出現，并且結合許多數學理論和方法，不斷有新的匹配算法被提出。其中，文獻【，】提出的是目前最成功的局部特征提取算子，其提取特征過程為：（）檢測尺度空間極值點；（）精確定位極值點：（）為每個特征點選擇主方向：（）生成關鍵點描述予。研究表明陟舊，特征點定位準確，具有很好的尺度、旋轉、視角和光照不變性，優于其他局部特征提取算子。目前已成功應用于

4、目標識別、圖像視頻檢索、全景拼接和視覺定位等領域。不過提取的特征不是人們視覺意義上的角點，而且計算量較大，實時性較差，難以應用于對實時性要求較高的系統，如基于雙目立體視覺的實時跟蹤系統。雖然通過收稿日期：；慘回日期：基金項目江蘇省自然科學戡（作者簡介：趙欽君（一）男，博士生主要從事機器視覺、圖像處理與模式識別方面的研究第期趙欽君等：刀盯算法及其在雙目立體視覺中的應用】加速，可以在一定程度上提高算法的實時性，但不能從根本上解決問題。算子是一種簡單、有效、穩定的角點提取算法，其原理為：如果某一點向任一方向微小偏移都會引起灰度的很大變化，就說明該點是角點。本文結合提取角點的顯著性和描述子，提出一種新

5、的算法，并應用于雙目立體視覺匹配中，實驗結果表明了該方法的有效性。尺度不變特征變換算法及分析算法是文獻【，】在總結現有的基于不變量技術的特征檢測方法的基礎上，于年正式提出的一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算法，其特征提取過程可以分為步。檢測尺度空間極值點尺度空間理論最早出現于計算機視覺領域，其目的是模擬圖像數據的多尺度特征。在文獻【】中證明了高斯卷積核是實現尺度變換的唯一變換核，而且是唯一的線性核。一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到：（，）（，宰（，）（）式中，）是空間坐標：仃是尺度坐標：（，）是尺度可變高斯函數：，（，

6、盯）（門位，（）仃。為了有效地在尺度空間檢測到穩定的特征點，提出了高斯差分尺度空間）。算子計算簡單，是尺度歸一化的算子的近似。利用不同尺度的高斯差分核與圖像卷積生成：（，盯）（，）一（，仃）（，），）（，）一（，圖尺度空間極值點檢測為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。如圖所示，中間的檢測點和與它同尺度的個相鄰點以及上下相鄰尺度對應的個點共個點比較，如果該像素在這個鄰域像素中皆為極值，則作為候選的極值點。精確定位極值點通過擬和三維二次函數以精確確定特征點的位置和尺度，同時去除低對比度的特征點和不穩定的邊緣響應點（因為算子會產

7、生較強的邊緣響應），以增強匹配穩定性、提高抗噪聲能力。利用函數的二階展開式（）插值得到特征點位置和尺度坐標的精確值（亞像素精度）：（）：魚芝三霎曇（）謎似式中向量（五，盯），表示采樣點和特征點之間的位置、尺度偏移。令式（）的一階導數為，可得特征點精確位置的偏移向量為：戈一娑（罷（）一將戈加到原粗特征點的坐標，即得到特征點的亞像素精確插值估計。將（）代入式（）可得：啦）三籌文（）當（嗣值小于某閾值時，該特征點可以舍去，通常，這種特征點對噪聲敏感故而不穩定。此外還應舍去具有不穩定的邊緣響應點，函數的此類極值點通常在邊緣切向有較大的主曲率，而在邊緣的垂直方向有較小的主曲率。為了檢測主曲率是否在某域值

8、，下，只需檢測是否滿足：型！型蔓（），式中日為函數的鋤矩陣：日隆甜（）（）在實驗中，取，【，引。為每個特征點選擇主方向利用特征點鄰域像素的梯度方向分布特性，為每個特征點指定方向參數，使算子具備旋轉不變性。首先在高斯空間計算特征點的梯度模和方向：（，）（三，）一三。一，）（三（以）一（，一）、【（，力卅（三（，）一（，）（三（，力一（一，）”然后在高斯空間中特征點的鄰域內采樣，創建梯度方向直方圖。直方圖每度作為一個柱，共個柱。一電子科技大學學報第卷然后將鄰域內的每個采樣點按梯度方向臼歸入適當的柱，以梯度模作為貢獻的權重。最后選擇直方圖的主峰值作為特征點的主方向，選取量值達到主峰值以上的局部峰值作

9、為輔助方向。這樣一個特征點可能會被指定具有多個方向，可以增強匹配的魯棒性。本文定義的主方向還不夠精確，從而會影響生成的描述子的性能。生成特征點描述子首先將坐標軸旋轉為特征點的方向，以確保旋轉不變性。接下來以特征點為中心取×的窗口。圖的中央黑點為當前特征點的位置，每個小格代表特征點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圖中圓圈區域代表高斯加權的范圍（越靠近特征點的像素梯度方向信息貢獻越大）。然后在每×的小塊上計算個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，如圖所示。圖中一個特征點由共個種子點組成，每個種子點有

10、個方向向量信息。這種鄰域方向性信息聯合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。二孑爻，二弋“一一，？一一、，一一一一、，一。卜鄰域內的像素梯度特征點描述圖生成吲寺征點描述子實際計算過程中，為了增強匹配的穩健性，對每個特征點使用×共個種子點來描述【】，對于一個特征點就可以產生個數據。即最終形成維的特征向量。此時噼征向量已經去除了尺度變化、旋轉等幾何變形因素的影響，再繼續將特征向量的長度歸一化，則可以進一步去除光照變化的影響。算法當應用于對實時性要求較高的雙目立體視覺系統（比如實時跟蹤系統）中時，特征提取和匹配算法主要有個問題：（）特征提取復雜度

11、太高，計算時間太長。算法多次使用了卷積平滑操作和加權直方圖統計，需要大量浮點數運算，算法復雜度很高，且計算量主要集成在特征描述生成過程，正比于特征點數目。（）生成的特征點太多，影響匹配和搜索速度。算法可以提取大量特征點，但實際正確匹配的特征點只占很小一部分，對那些沒有匹配成功的特征點建立描述子會占用大量時間。（）特征集合整體顯著性不高。特征點不能準確定位角點，大部分特征點不能反映圖像的結構。通過以上分析，為了解決算法的實時性問題，可以考慮用別的更有效的特征點檢測算子取代中的極值點提取算法。算子是一種有效的點特征提取算子，其值為：（）一（）式中為矩陣的行列式；為矩陣直跡；偽相關矩陣，且：瞄鍘（）

12、式中（）、）雨（）分別為圖像點的灰度在和方向的偏導以及二階混合偏導；為經驗值，通常取。當某點的算子大于設定閾值丁時，該點為角點。圖算法流程圖算子的優點有：（）計算簡單。（）提取的特征點均勻合理，能反映圖像的結構。（）可定量地提取特征角點。（）即使存在圖像旋轉、灰度變化、噪音影響和視點變換，它也是最穩定的一種點特征提取算法。第期趙欽君等：口阿算法及其在雙目立體視覺中的應用因此選用提取特征點取代巧算法中的極值點，然后為每個特征點定義主方向，為每個特征點生成特征向量描述子，即為刀盯算法。當兩幅圖像特征點的特征向量生成后，采用特征點特征向量的歐式距離作為兩幅圖像中特征點的相似性判定度量。取圖像中的某個

13、特征點，并找出其與圖像中歐氏距離最近的前兩個特征點，在這兩 個特征點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點。降低比例閾值，特征點的匹配點數目會減少，但更加穩定。在本文的實驗中，最近鄰特征點距離與次近鄰特征點距離之比取。算法總流程如圖所示。實驗結果及分析在，的機上用語言編程實現本文的算法，并對本文提出的算法與原的算法在雙目立體視覺應用中的匹配性能進行了實驗分析和比較。實驗中，雙目相機的分辨率為。圖圖為組圖像的匹配實驗結果。每幅圖的上半部分為左相機拍到的圖像，下半部分為右相機拍到的圖像。每個圖的圖為用原算法匹配的結果，圖為用算法匹配的結果。由圖圖可以看出，原算法提取的

14、特征點大部分不是角點，不能反映圖像的結構，而本文提出的 冊算法提取的特征點皆為角點，反映了圖像的結構。表表分別為圖圖匹配的統計結果。由表表可以看出，本文提出的算法降低了特征提取和特征匹配的復雜度，大大提高了原算法的實時性，并保證了圖像的正確匹配率。 圖實驗一的匹配結果表實驗一的匹配結果統計一算法耵總時間匹配點數誤匹配點數匹配率，（拗圖實驗二的匹配結果表實驗二的匹配結果統計圖實驗三的匹配結果表實驗三的匹配結果統計電子科技大學學報第卷由以上實驗結果可見，在一定程度上，算法成功解決了耵算法的個問題：（）由以上算法分析和實驗結果可見，算法檢測特征點時要多次用高斯核和算子對圖像進行運算，占用了大量時間。

15、算法在生成特征描述之前用算子檢測角點，而算子計算量很小，并去除了大量不顯著特征點，同時也降低了特征描述生成階段的計算量，即減少了特征描述生成的次數。因此，算法大大提高了實時性。（）算法生成的特征點數量遠少于算法，從而減少了數據庫容量和待匹配特征點數，因而縮短了匹配時間。（）算法提取的特征點不是圖像的角點，不能反映圖像的結構：而算法提取的特征點即為圖像角點，反映了圖像的結構，特征集合性顯著，有利于正確匹配。結論算法可以提取大量不變特征點，具有很好的尺度、旋轉、視角和光照不變性，優于其他局部特征提取算子，在圖像匹配和目標識別中得到了廣泛應用。但當應用于對實時性要求較高的雙目立體視覺系統中時，該算法

16、的復雜度較高，實時性很差，且算法的尺度不變特性的優勢也難以體現出來。本文提出的算子是對的一個成功改進，在保證特征正確匹配率的情況下，降低了特征提取和特征匹配的復雜度，大大提高了算法的實時性。通過雙目立體視覺的匹配實驗結果可以看出本文算法的有效性。參考文獻【】，（，（）：，：【】干可，謝明，羅代升激光共聚焦序列圖像基于特征的分割方法【】電子科技大學學報，（）：，囂川，（）：【】，旺蜘【】：】，：【】，（）：【】，（）：【】：，：，：【】【】：【】，：【咄：【，：【】（，（）：【】（剁（帆舢恨工，（）：【】，八，：，【峒，（）：編輯漆蓉Harris-SIFT算法及其在雙目立體視覺中的應用 作者：

17、作者單位： 刊名： 英文刊名： 年，卷(期： 趙欽君， 趙東標， 韋虎， ZHAO Qin-jun， ZHAO Dong-biao， WEI Hu 趙欽君,ZHAO Qin-jun(南京航空航天大學自動化學院,南京,210016， 趙東標,韋虎,ZHAO Dong-biao,WEI Hu(南京航空航天大學機電學院,南京,210016 電子科技大學學報 JOURNAL OF UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA 2010,39(4 參考文獻(12條 1.HARRIS C;STEPHENS M A combined com

18、er and edge detector 1988 2.干可;謝明;羅代升 激光共聚焦序列圖像基于特征的分割方法期刊論文-電子科技大學學報 2008(04 3.JIA S;SHENG J;CHUGO D Obstacle recognition for a mobile robot in indoor environments using RFID and stereo vision 2007 4.LINDEBERG T FeaTURE detection with automatic scale selection外文期刊 1998(02 5.HEYMANN S;MULLER K;SMOLIC A SIFT implementation and optimization for general purpose GPU 2007 6.MIKOLAJCZYK K;TUYTELAARS T;SCHMID C A comparison of affine region detectors an