基于SIFT特征匹配的雙目視覺圖像識別定位系統研究

內容結構研究背景提出問題匹配特征立體匹配SIFT點特征SIFT算法匹配解決途徑攝像機標定三維重建像素坐標系2D世界坐標系3D機械手抓取識別定位3D2D一、課題研究背景利用視覺系統獲取環境信息，視覺是最重要的感覺能力；選擇合理的匹配特征,以克服匹配準確性與恢復視差全面性間的矛盾；選擇有效的匹配準則和算法結構,以解決存在嚴重灰度失真、幾何畸變(透視、旋轉、縮放等)、噪聲干擾、特殊結構(平坦區域、重復相似結構等)及遮擋景物的匹配問題；找到目標工件——識別；判斷出工件的三維位置和姿態——定位；指導機械手的抓取。返回二、雙目攝像機標定針孔相機模型雙目立體視覺標定原理成像平面坐標系攝像機坐標系像素坐標系

世界坐標系M攝像機標定M畸變模型本文采用非線性攝像機模型,即針孔攝像機加上鏡頭畸變補償,如下圖所示。

其中（，）為畸變矯正之后的像素坐標，即標準像素坐標，(，)為測量值，(，)為畸變偏離值，通常只取第一項，，，為鏡頭畸變參數。攝像機簡化畸變模型可表示為：

畸變模型數學表述：

改進Tsai兩步法標定預先標定的攝像機參數

攝像機參數的標定先求得部分攝像機的參數,如：圖像縱橫比,主點坐標(,),再利用徑向排列約束求解大部分的外參數(5個),最后引入畸變模型,通過事先求得的部分攝像機參數,線性地求解其余的攝像機參數,如:畸變因子(內部參數),平移分量。

對于每一個標定點,已知其世界坐標和對應的圖像坐標就可以列出一個方程,取多個標定點(大于5個),就可以利用最小二乘法求解出方程組。利用徑向排列約束的攝像機參數標定1.求解旋轉變量和平移變量、

其中，，，聯立以上兩個方程,利用最小二乘法即可同時求解出各參數。2.求解畸變因子、平移分量標定過程

在平面模板中，有的學者應用棋盤方格的角點來提供標定點，有的學者應用圓的圓心來提供標定點。一般來說，用圓的圓心作為標定點精度會比較高一些。

選取用圓心陣列型平面標定模板來進行雙目立體視覺系統的標定。標定板像素坐標提取雙目立體視覺系統拍攝標定板圖像利用Halcon軟件編程提取圓心的像素坐標世界坐標的獲取

應用固高GRB-400型四自由度工業機械臂的末端執行器（手爪）獲取49個標定點的世界坐標值，并保存到指定文件中以備標定程序使用。

標定結果標定結果分析（1）X坐標的最大絕對誤差為0.9590（mm），Y坐標的最大絕對誤差為0.3491（mm）；以上均滿足標定要求不大于1mm。（2）利用基于畸變模型的改進Tsai兩步法，可以滿足標定和機器人抓取的精度需要（機器人抓取要求誤差不大于5mm）。誤差的來源主要有：攝像機本身的物理特性、視場范圍的大小對拍攝圖像的影響等。返回三、SIFT特征提取檢測尺度空間極值精煉特征點位置指定特征點的方向生成特征描述符SIFT算法首先在尺度空間進行特征檢測，并確定關鍵點(Keypoints)的位置和關鍵點所處的尺度，然后使用關鍵點鄰域梯度的主方向作為該點的方向特征，以實現算子對尺度和方向的無關性。一幅圖像SIFT特征向量的生成算法總共包括4步：

DoG尺度空間極值檢測生成特征描述符SIFT特征提取結果特征點提取生成特征位置及大小返回四、基于SIFT算法的工件圖像匹配

立體匹配概念與分類

立體匹配的四個關鍵要素

算法框架

極線幾何

沿極線搜索結果

SIFT匹配算法結果分析立體匹配概念與分類立體匹配概念立體匹配是尋找同一場景在兩臺或者多臺攝像機從不同視角拍攝的二維圖像中的對應關系。立體匹配分類區域匹配、特征匹配、相位匹配返回立體匹配的四個關鍵要素立體匹配匹配基元選取相似性度量搜索空間搜索策略SIFT特征歐氏距離一維直線沿極線搜索返回算法框架

左、右圖像分別是同一場景下雙目視覺拍攝的左視圖和右視圖。首先對左圖進行SIFT特征點提取，接下來對于左圖中的每一個特征點，根據計算機視覺中的極線幾何(Epipolargeometry)理論，經過計算在右圖中得到一條對應于該特征點的極線(Epipolarline)，這樣匹配點的搜索空間就從整幅圖像2D空間的盲目搜索降為沿著極線的1D搜索。最后再SIFT匹配算法進行匹配。左圖像右圖像SIFT特征提取SIFT特征匹配極線抽取返回極線幾何

據極線幾何的描述，在實際匹配過程中，左圖像平面任一點的搜索不需要在整幅圖像上搜索，它必然位于極線點的極線。利用極線約束的原理，在得到雙目立體視覺中一幅圖像的SIFT特征描述子（關鍵點）之后，只要沿著對應關鍵點的極線搜索，便可以在另一幅圖像上找到與之對應的關鍵特征點。利用這種方法可以有效地將搜索范圍從整個圖像降低為沿著確定極線線性（一維）的搜索，從而節省計算時間和提高匹配效率。

極線幾何關系在數學上可以用基礎矩陣來表示。

8點法——求解基礎矩陣F

已知左圖像上一SIFT特征點得出右圖像上的極線方程搜索寬度：搜索空間的確定就是兩幅圖像之間幾何變換的確定，如果圖像的位置僅僅只存在平移的變化，那么需要一個二維的搜索空間了。而沿極線的一維搜索只需要確定搜索寬度。搜索寬度定為30（即最大視差為30個像素），通過計算得到特征點所在左圖像和對應的搜索圖（右圖像）各自的SIFT特征描述向量后，下一步采用特征向量的歐氏距離作為特征點和匹配點的相似性度量。即對左圖中每一個特征點，分別計算此特征點的特征向量與相應的右圖（搜索圖）的特征向量之間的歐氏距離，最后取最小歐氏距離搜索子圖的中心點作為該特征點的匹配點。返回沿極線搜索結果左圖像右圖像右圖像加椒鹽噪聲匹配

右圖像加高斯噪聲匹配

右圖像亮度增強匹配

左圖像右圖像右圖像左圖像右圖像加高斯噪聲并減弱亮度匹配

對于環境比較復雜，拍攝的圖像有噪聲和亮度變化時，按此方法仍然能正確的搜索出左圖像上一個SIFT特征點在右圖像上的對應極線和特征點。返回SIFT匹配算法結果分析

左圖像右圖像匹配結果

我們可以看到，有誤匹配現象存在。這是因為當空間的三維場景投影成二維圖像時，同一景物在不同視點下的圖像會有很大的不同，而且場景中的很多因素，像光照條件、景物幾何形狀和物理特性、噪聲干擾和鏡頭畸變等都會造成不同程度誤匹配。匹配點對有19對，誤配點為1個，即誤配率為5.26%。用此方法對所拍攝的50幅圖像進行處理，提取到的SIFT特征點數少于直接使用SIFT特征提取算法得到的特征點數（減少比例與環境復雜程度有關），誤配率平均值為5.6%。因此，本文所用此方法能有效提高匹配準確度。

返回五、目標識別定位與三維重建

模板匹配原理

基于模板匹配的工件識別定位

工件的三維空間定位(三維重建)模板匹配原理搜索圖模板圖返回基于模板匹配的工件識別一般情況下的識別工件縮小識別搜索圖模板圖搜索圖模板圖工件放大識別工件放大旋轉有角度的識別搜索圖模板圖工件有遮擋識別

模板識別時以SIFT特征點作為匹配描述子，在模板圖像和實時拍攝圖像中搜索出匹配的SIFT特征點并進行匹配。一般工件特別光滑時，紋理信息不明顯，因此，檢測到的SIFT特征點非常少，匹配點數量也比較少，故此本文中模板與搜索圖像有3個或以上3個SIFT特征點成功匹配上，則可確定該目標與模板中物體是一類。工件定位計算模板和左右圖像同時匹配上的特征點分別得出標志點像素

獲得4對空間匹配點，在左圖中的坐標分別為（1088561），（815714），（823672）,(828674)，對應右圖中的坐標分別為(701802)，(419697),(427652),(688542)。計算的左圖中標志點像素為(893.4，676.4)，右圖中標志點像素為(579.2，644.4)。各空間匹配點位置如圖5-6中‘+’所示，計算出的標志點用‘*’。左圖像右圖像返回工件的三維空間定位(三維重建)X、Y、Z左圖像標志點u1、v1右圖像標志點u2、v2三維重建標定(893.4，676.4)(579.2，644.4)X、Y、Z25.628395.67642.998M返回六、雙目立體視覺工件抓取

系統與試驗

抓取系統硬件設備

工件抓取控制系統

機器人抓取試驗抓取系統硬件設備GRB-400型四自由度工業機器人如圖所示。整個機器人系統由機器人本體、供電電纜、控制柜、電磁手爪、反饋系統等組成。GRB-400型機器人具有4個自由度，其中關節1、關節2和關節4為旋轉關節，關節3為直線關節。GXYZ-3030型三維數控平臺HV1302UC數字攝像頭

數字攝像頭外觀圖與云臺的安裝方式硬件連接實驗設備控制界面

此控制程序界面集成了GRB-400型機器人的所有控制模板和HV1302UC攝像機的圖像采集、處理以及GXYZ-3030型三維數控平臺的“測試試驗”控制程序。將幾種功能集成于統一的界面下，有助于對系統軟硬件環境的控制，有助于對機器人視覺系統做整體的開發。抓取過程從實驗臺上抓起工件放在指定位置返回七、總結展望研究了有關雙目立體視覺系統的標定的問題。分析了畸變模型，選擇改進的Tsai兩步法標定方法，并進行了理論上的推導，給出了標定實驗結果。結果表明，該標定方法考慮攝像機畸變，能夠滿足抓取的精度需要。引入圖像處理中的點特征提取和匹配問題，應用能夠抵抗光照、旋轉、縮放變化的SIFT特征匹配算法完成這一過程，并應用極線幾何原理將二維搜索降低為一維搜索，提高匹配率，減少匹配時間。返回應用獲取實時模板的模板匹配算法識別出目標工件，應用標定結果和立體匹配結果進行三維重建，完成目標工件的三維實際位置的計算。根據實際工作環境，構建工件抓取系統。該系統由視覺系統、三維數控平臺、執行機構和控制系統組成。利用VC++、HALCON和MATLAB等編程環境對整個系統進行軟件開發，完成系統構建。通過整體試驗及分析，實現了工件的識別、定位、抓取等功能性試驗，證明了基于SIFT算法的雙目視覺圖像識別定位系統具有一定實際應用價值。返回回答老師提問1.回答楊世強老師的提問：基于SIFT特征匹配時，附影會對匹配的結果產生怎樣的影響？該如何解決？答：圖像的附影太深，在SIFT特征提取時會提取到不在實體上的特征點，在匹配時，會產生誤匹配。解決方法：在圖像特征之前對拍攝圖像做預處理，利用圖像增強和圖像分割的方法分離提取出實體目標，之后再做提取和匹配等處理。2.回答朱虹老師的問題：（1）論文P36頁對右圖加噪聲之后，會否影響3.3節所提到SIFT特征點的提取？答：是有影響的，高斯噪聲影響比較明顯，椒鹽噪聲在參數較小時影響不大。高斯噪聲0.005倍噪聲0.01倍噪聲0.05倍噪聲0.1倍噪聲不加噪聲椒鹽噪聲不加噪聲0.005倍椒鹽噪聲0.05倍椒鹽噪聲0.01倍椒鹽噪聲0.1倍椒鹽噪聲

（2）P43，44圖5-4中工件縮小比例在多少范圍內有效？有遮擋時，遮擋部位及面積為何范圍內不影響識別結果？答：在拍攝環境不太復雜的情況下，工件縮小到0.2倍時仍能正確匹配。有遮擋時，遮擋部位一般不會影響識別結果，當工件表面特征分布較為均勻時，遮擋面積大于目標1/2時會影響識別結果。縮小到原圖的0.5倍縮小到原圖的0.4倍縮小到原圖的0.2倍遮擋的情況致謝

三年的研究生學習即將結束，回想這三年的生活和學習，我受益良多！更要感謝那些幫助過我和關心著我的人們。首先，