1、第22卷第4期2007年12月北京機械工業學院學報Journal of Beijing I nstitute ofM achineryDec.2007文章編號:1008-1658(200704-0001-05基于激光線掃描的雙目立體視覺測量方法研究馬廷昭,呂乃光,鄧文怡,婁小平(北京機械工業學院電子信息工程系,北京100085摘要:為實現工業中汽車、飛機、骨骼和模具外形等物體的三維重建,介紹了基于激光線掃描的雙目立體視覺三維測量系統。2個攝像機同時攝取一個掃描激光光條圖像,經過圖像預處理、光條特征點提取、圖像匹配,利用視差計算出光條上所有點的坐標值,即光條處物體的三維信息。通過坐標系之間的轉換

2、把各光條統一到同一世界坐標系下,得到整個物體的三維重建。利用該系統對一標定塊進行測量,空間距離誤差小于0.1mm,并對鼠標進行掃描測量,得到其表面的三維數據,基本滿足逆向工程的要求。關鍵詞:雙目視覺;激光掃描;圖像處理;坐標系轉換;三維重建中圖分類號:TP751.1文獻標識碼:AAcqu isiti on m ethod of b i n ocul ar stereo v isi onba sed on l a ser li n e scann i n gMA Ting2zhao,LüNai2guang,DE NG W en2yi,LOU Xiao2p ing(Depart m en

3、t of Electr onic I nf or mati on Engineering,Beijing I nstitute of Machinery,Beijing100085,China Abstract:I n order t o rebuild the shape of cars p lanes,bones and moulds etc in industry,a novel32D measure ment syste m of binocular stereo visi on based on laser line scanning is intr oduced.The i m a

4、geswith a laser stri p are cap tured by t w o ca meras at the sa me ti m e,by means of p r ocessing i m age,distilling the s pecial points of laser stri p and matching the i m age,all the32D coordinates of points on the scanning laser stri p can be obtained by the dis parity,na mely the32D infor mat

5、i on of the measured object on the stri p.I n traditi onal laser scanning measure ment system,the32D inf or mati on of an object in the scanned range can be obtained by shifting one of the32D coordinates of the object in a laser stri p parallelly.I n this paper,by transf or m ing the coordinate syst

6、e m s,all the32D infor mati on of laser stri p s can be trans2 for med int o a public coordinate syste m,s o that the32D reconstructi on of the whole object can be a2 chieved.A standard dr one is measured with the syste m and the err or of s patial distance is less than0.1 mm.A mouse is als o measur

7、ed with the accurate32D data of its surface,which satisfies the require ment of reverse p r oject on the whole.Key words:binocular visi on;laser scanning;i m age p r ocessing;coordinate syste m transf or m ing;32D reconstructi on三維激光掃描測量系統1,2是基于光學三角測量原理的非接觸式測量系統,該系統主要由運動控制、圖像采集、圖像處理、三維重建等部分組成。目前通用的三

8、維激光掃描測量系統,三維傳感器代替三坐標測量機上的接觸式探頭,測量臂帶動傳感器沿物體某一方向掃描測量,掃描方向平行于世界坐標系的某一軸向,根據掃描方向上光條之間的間距,對各光條在該方向的坐標進行平移,得到物體掃描范圍內的三維信息。本文介紹了一種新型的三維激光線掃描測量系統的組成及各部分的工作原理,根據對物體掃描時不同位置下對應的不同坐標系,由物體附近若干標記點得到坐標系之間的轉換關系,收稿日期:2007-10-23基金項目:國家自然科學基金項目(50475176;北京市屬市管高等學校人才強教計劃資助項目(PX M2007_014224_044674;北京市屬市管高等學校人才強教計劃資助項目(P

9、X M2007_014224_044655作者簡介:馬廷昭(1979-,男,山東德州人,北京機械工業學院電子信息工程系碩士研究生,主要從事機器視覺和圖像處理方面的研究。北京機械工業學院學報第22卷進而由轉換關系把各光條三維坐標統一到同一個世界坐標系下,得到整個物體的三維信息。1系統組成三維激光掃描測量系統如圖1所示,硬件部分包括雙CCD (Charge Coup led Device 數字攝像機,半導體激光器3 ,電控平移臺以及步進電機控制箱。雙攝像機與半導體激光器組成三維視覺傳感器。控制箱控制步進電機使平移臺在導軌上滑動,帶動三維傳感器對物體掃描拍攝。 圖1測量系統結構組成1.1三維視覺傳感

10、器半導體激光器發出的點光源照射在一柱狀透鏡上,在某一個方向進行準直,在另一個方向讓它自由發散,在空間形成光平面,投射在被測物體上,則被調制成包含物體高度信息的光條曲線,作為被測光條。兩個CCD 數字攝像機(包括兩個焦距為12mm 的鏡頭成一定角度相對激光器對稱放置,構成三維傳感器。1.2移動掃描控制部分系統中用到精密電控平移臺,它通過步進電機驅動,實現位移調整自動化。根據平移臺控制箱設定的位移量和速度,可以控制滑塊在導軌上滑動的距離及速度,即控制物體掃描的范圍及密度。2系統工作原理和流程系統采用雙目體式結構,與以往的測量方法不同,文中所述方法在被測物體兩側附近貼4個高度不同的標記點,半導體激光

11、器發出的線結構光在被測物體上形成一條變形光條,用兩個CCD 攝像機同時拍攝此光條,并保證每次獲取圖像時,兩個攝像機都能同時拍攝到光條和4個標記點。圖像經過處理后,對兩幅圖像中標記點區域的中心和單像素光條的各像素點進行匹配,得到標記點中心與光條上所有像素點分別在兩幅圖像中的位置,利用視差,可以求得標記點中心與光條處各點的三維世界坐標。再通過各幅圖像上標記點與第一幅圖像上標記點之間的空間位置轉換關系,把各光條的三維坐標統一到同一個世界坐標系下,就得到了被掃描物體的所有點的三維信息。系統的工作流程如圖2所示。圖2系統工作原理流程圖2.1攝像機參數標定為建立有效的成像模型,必須對攝像機進行標定。確定三

12、維物體空間坐標系與攝像機二維圖像平面坐標系之間的轉換關系的過程稱為標定4。攝像機標定要確定的內部參數表示攝像機的內部幾何和光學特性,包括有效焦距f,一階透鏡徑向畸變系數k,圖像坐標系x,y 方向的比例系數N x ,N y ,由于掃描或抽樣采集時延遲誤差而引起的不確定水平方向比例因子S x ,以及圖像中心主點坐標(u 0,v 0;外部參數表示攝像機坐標系相對于世界坐標系的三維位置與方向,包括一個旋轉矩陣R 和一個平移向量T,這一過程包含6個獨立變量,分別是側傾角<、俯仰角和旋轉角,以及平移參數T x ,T y 和T z 。目前標定方法很多,本文用到的是Tsai 提出的基于徑向對準約束關系(

13、RAC 的兩步法5,該方法具有精度高、高效和適應面廣等優點。攝像機標定需要具體的標定塊來實現,標定塊也叫靶標。實驗用到的靶標如圖3所示,靶標的右上角作為世界坐標系的原點,靶標平面做為世界坐標系的X -Y 平面,每個黑色方塊的規格為20mm ×20mm ,方塊之間的間距也為20mm ,共有140個角點,每個角點的世界坐標可以自行設定。將靶標放置在2個攝像機的公共視場內,左右攝像機各拍2第4期馬廷昭等:基于激光線掃描的雙目立體視覺測量方法研究攝一幅圖像,對角點進行檢測,分別得到兩幅圖像中各角點的計算機圖像坐標,同時編寫序號。 圖3標定時用的靶標圖像由這140個特征點的世界坐標與所對應的圖

14、像坐標建立方程組,通過兩步法解線性方程組,用最小二乘法分別求得外部參數R 和T 以及內部參數f,k 。內部參數u 0,v 0以及N x ,N y 和S x 可預標定設定。這樣就完成了對兩個攝像機的標定。最終得到二維像素坐標(u,v 和三維空間坐標(x,y,z 之間的關系,如式(1所示。S uv 1=m 11m 12m 13m 14m 21m 22m 23m 24m 31m 32m 33m 34x y z1(12.2激光條紋和標記點的圖像處理對物體進行掃描拍攝,光條圖像可離線處理。圖像處理是機器視覺軟件的重要組成部分,是得出被測物體三維信息的前提和關鍵。圖4是圖像處理的幾個階段對比圖。 a 閾值

15、分割后圖像b 只剩光條的二值圖像c 標記點邊緣提取及橢圓擬合d 細化后圖像圖4圖像處理的幾個階段對比圖在掃描過程中,由于受到環境光和物體自身顏色反射光及攝像機內外部噪聲的影響,攝取的激光條紋圖像含有一些孤立的隨機噪聲點,因此采用一種非線性平滑濾波器6,即中值濾波器改善圖像質量。圖像上的目標除了光條外還有標記點,圓形標記點在圖像上是近似橢圓形狀。光條用來重建物體在該處的三維信息,標記點是用來做各光條之間坐標系轉換的依據,兩者要分別進行處理。選用一適當的全1矩陣作為模板,在二值圖像上逐行掃描,確定橢圓標記點在圖像上所在的位置,即確定標記點上下邊界行數和左右邊界列數。則標記點區域范圍之外的部分為只包

16、括光條的圖像,如圖4b 所示。在每個標記點范圍內,如圖4c 所示紅色方框內,對橢圓標記點進行邊緣提取,以邊緣各點的計算機幀存坐標為數據,對邊緣各點進行橢圓擬合。橢圓的一般方程為:A x 2+2B xy +Cy 2+2D x +2Ey +F =0,將檢測出的邊緣坐標代入上式,組成超定方程組,然后用最優化方法解出最小二乘意義上的最佳擬合參數A,B ,C,D,E,F 。則橢圓中心(X 0,Y 0的坐標為:X 0=2(2CD -B E B 2-4AC,Y 0=2(2EA -BD B 2-4AC,則(X 0,Y 0為標記點中心點的計算機幀存坐標。3北京機械工業學院學報第22卷采集的圖像中包含物體信息的是

17、激光掃描線,圖像經過濾波、二值化后光條寬度所占的像素數目不只一個像素,因此必須對激光光條圖4b做細化處理,把光條細化成單一像素寬度。經過細化后的光條圖像保持原始光條圖像的幾何與拓撲性質,如圖4d所示。對于細化方法,可以用基于二值形態學的細化算法,并且采取去毛刺算法消除光條兩邊可能出現的毛刺。在雙目立體視覺測量中,為了求取物體表面激光光條處投射點的三維坐標,需要建立特征點之間的匹配關系,即將同一個空間點在左右兩幅圖像中的映像點對應起來。激光條紋匹配選擇的匹配基元是像素點,根據匹配時遵循的極線約束7準則,一幅圖像上的任意像素點,在另一幅圖像上的對應像素點只能位于一條特定的被稱為極線的直線上,同時又

18、在一條激光光條上,該極線和激光條紋的交點就是要尋求的匹配點。經過以上圖像算法處理以后,可以將兩幅圖像提取成兩兩對應的像素點坐標對(u L,v L,u R, v R。2.3三維重建將圖像匹配后得到的像素坐標點對(u L,v L,u R,v R代入式(1,并將式(1消去系數S,把矩陣方程改寫為線性方程組的形式,如式(2所示。(u L m L31-m L11x+(u L m L32-m L12y+(u L m L33-m L13z=m L14-u L m L34(v L m L31-m L21x+(v L m L32-m L22y+(v L m L33-m L23z=m L24-v L m L34(

19、u R m R31-m R11x+(u R m R32-m R12y+(u R m R33-m R13z=m R14-u R m R34(v R m R31-m R21x+(v R m R32-m R22y+(v R m R33-m R23z=m R24-v R m R34(2帶有上標L和R的參數分別為左攝像機和右攝像機的標定參數與像素點坐標,利用最小二乘法求解超限定方程組(2得到最優解,將最優解作為激光光條處物體某點的空間坐標和標記點中心的空間坐標。2.4坐標系轉換由于標定后攝像機內外參數保持不變,世界坐標系相對攝像機位置固定,因此對物體進行掃描測量時,每個激光光條都是在不同的世界坐標系下獲

20、取,三維重建得到的各光條處物體的三維信息都是不同世界坐標系下的坐標值,因此需要把各光條三維坐標統一到同一個坐標系下。假定標記點在每個世界坐標系下的齊次三維坐標依次為M,M1,M2,M3,M n(M0為標記點在掃描初始位置時空間坐標系下的三維坐標,存在轉換矩陣(包括旋轉矩陣和平移向量,H w01,H w02,H w03,H w0n ,滿足M0 =H w01M1,M0=H w02M2,M0=H w03M3,M0=H w0n M n,解線性方程組求得轉換矩陣H w01,H w02,H w03,H w0n,由三維重建得到的各光條在不同世界坐標系下的三維坐標為P,P1,P2,P3,Pn,把各光條統一到同

21、一世界坐標系下的三維坐標:P=P0,P1=H w01P1,P2=H w02P2,P3=H w03P3, Pn=H w0n P n,P n,因此同一個坐標系下的光條三維信息P,P1,P3,P2,Pn,可以反映整個物體掃描范圍內的三維信息。3實驗結果及誤差分析使用該系統對一個鼠標進行三維重建,把鼠標放在雙攝像機公共視場范圍內,對其掃描拍攝,得到掃描范圍內的鼠標表面三維信息,它是由許多三維掃描點(也稱數據點云組成的。如圖5所示。圖5鼠標三維點云圖像攝像機標定是視覺測量的關鍵和首要工作,因此為檢驗系統的精度,有必要檢驗標定結果的精度,用標定參數對靶標圖像上的某些特征點進行匹配,計算其三維坐標,并計算特

22、征點之間的距離,與實際距離相比較。表1是特征點測量距離與實際距離對比結果。由表1中的結果可以看出,特征點之間距離的測量誤差都在0.1mm以內。對一標準平面掃描測量,得到平面三維數據點云并做平面擬合,由每一4第4期馬廷昭等:基于激光線掃描的雙目立體視覺測量方法研究個數據點到擬合平面的垂直距離,可得平均距離為0.165mm ,標準偏差為0.263mm ,基本滿足逆向工程的要求。如圖6所示擬合平面,點云數據緊貼平面均勻分布在上下兩側。表1特征點測量距離與實際距離結果對比(標準距離40.00mm mm序號特征點1特征點2x yz xy z 特征點間距誤差100.00080.0490.006100.102120.0160.00239.970-0.030 圖6平面三維數據點云擬合平面影響視覺測量精度的因素有很多,其中主要的有攝像機標定誤差,特征點檢測誤差以及匹配定位誤差,因此為了滿足逆向工程的要求,必須綜合考慮各方面的影響。4結論隨著逆向工程8在工業復雜曲面測量中的廣泛應用,三維激光線掃描測量系統在其中發揮了越來越重要的作用。本文介紹的系統是綜合采用計算機技術、激光技術、圖像采集與處理技術。根據實驗數據發現,該系統基本滿足逆向工程的要求,通過進一步完善,提高精度,以便更加優越的服務于產品開發的需求。另外,由于該系統借助于世界坐標系之間的轉換進行三維重建