1、第37卷 第11期2010年11月中 國 激 光CHINESEJOURNALOFLASERSVol.37,No.11November,2010 文章編號:0258 7025(2010)11 2918 07分離物體三維測量的彩色結構光編碼新方法麻 珂 張啟燦(四川大學電子信息學院光電系,四川成都610064)摘要 提出了一種結合顏色、格雷碼和正弦光柵的編碼新方法,用于測量空間分離物體的三維面形。該彩色格雷碼正弦條紋圖案表現為用顏色信息編碼的正弦條紋圖案,利用此條紋圖案來記錄物體的三維面形數據。首先投射一幅彩色格雷碼正弦條紋來調制被測物體的三維信息,攝像機拍得物體表面的變形條紋圖,然后應用傅里葉變

2、換方法獲取截斷相位,根據編碼特征進行解碼來指導截斷相位的展開,獲得展開相位,進而恢復出物體的三維面形。該方法編碼穩定,解碼方法可靠,只需要拍攝一幅圖,就可以較好地重建空間分離物體的三維面形。空間分離物體的實驗結果以及與基于調制度排序的截斷相位二維空間展開結果的對比,均證明了該方法的正確性和可行性。關鍵詞 光學測量;三維面形測量;機器視覺;顏色編碼條紋;分離物體中圖分類號 TN247;O438.2 文獻標識碼 A doi:10.3788/CJL20103711.2918ANewColorStructuredLightCodingMethodforThree DimensionalMeasurem

3、entofIsolatedObjectsMaKe ZhangQican(DepartmentofOpto Electronics,SchoolofElectronicsandInformationEngineering,SichuanUniversity,Chengdu,Sichuan610064,China)Abstract AnewcodingmethodbasedoncolorGray codeisproposedformeasuringthethree dimensional(3D)shapeoftheisolatedobjectsinspace.Thiscodedfringeappe

4、arstobeacolorcodedsinusoidalfringe,whichisusedtorecordtheinformationofobject s3Dshape.Firstly,adigitalcolorcodedsinusoidalfringeisprojectedontothetestedobject ssurfacetomodulatetheheightinformationofthemeasuredobjectintoitsphasedistribution,thenthecolorGraycodingisusedtoobtainthefringeorderandthesin

5、usoidalfringeisusedtogetthewrappedphase.Withonlyoneimage,3Dshapeoftheisolatedobjectscanbeexactlyreconstructed.Anactualmeasurementisdone,theresultsofthereconstructedshapesproveitscorrectnessandfeasibility.Keywords opticalmeasurement;three dimensionshapemeasurement;machinevision;color codedfringe;isol

6、atedobjects1 引 言基于結構光投影的光學三維傳感技術是三維測量技術中常用的方法,這種方法有非接觸測量和全場分析的優點。此類方法主要有相位測量輪廓術(PMP)1量速度快,只需要一幅圖就可以獲取物體的三維面形。如果被測物體表面高度變化劇烈,或者是存在若干孤立區域,使用相位空間展開算法對上面兩種方法所獲取的截斷相位進行相位展開時,很難得到可靠的展開相位。而在彩色編碼條紋投影技術中,在展開截斷相位時,每一個條紋的相位級次都只由本身對應的色條顏色信息決定,和上一個條紋8,9、傅里葉變換輪廓術(FTP)6,725、彩色編碼條紋投影技術等。PMP測量精度較高,但是需要拍攝至少三幅圖,常用來測量靜

7、態物體;FTP測收稿日期:2010 03 22;收到修改稿日期:2010 04 16基金項目:國家自然科學基金(60807006)資助課題。作者簡介:麻 珂(1987 ),男,碩士研究生,主要從事三維測量和機器視覺方面的研究。E mail:amaze12導師簡介:張啟燦(1974 ),男,博士,副教授,主要從事光學三維傳感、動態過程三維測量和相位展開等方面的研究。E mail:zqc(通信聯系人,中國光學學會會員號:S040m435S)11期麻 珂等: 分離物體三維測量的彩色結構光編碼新方法2919的級次無關,可以有效地避免相位空間展開錯誤的累計蔓延。只使用一幅圖就可以比較方便地測量甚至是具有

8、高度陡變或者孤立區域的物體面形。結構光投影的一個關鍵問題就是正確確定投影條紋和變形條紋之間的對應關系,彩色編碼條紋投影技術同樣面臨這個問題,它帶來了2個主要的困難10面調制的變形彩色條紋圖像后,進行相關處理即可完成正確可靠的相位展開。實驗證明該方法編碼和解碼穩定可靠,能很好地克服上述兩個困難。2 原 理首先使用格雷碼和顏色信息對待投影的每一個正弦條紋周期進行編碼標記,同時考慮到投影和成像設備的顏色顯示和響應性能,預先采集數據對系統進行顏色校準和非線性校正,獲得在該投影設備組合條件下,能正確反映編碼顏色信息并能獲得其線性響應的、有利于正確解碼的投射條紋圖案。然后,將該圖案投射到待測物體表面,拍攝

9、受高度調制的變形彩色條紋圖像,通過傅里葉變換獲取該圖像截斷相位信息,同時對該圖像進行條紋邊緣提取和分色處理,得到每一個正弦條紋周期相應的相位級次,指導完成相位的正確展開,從而可以重建待測物體的三維面形分布。算法流程共分為兩部分,如圖1所示,第一部分是編碼設計,包括顏色校準和非線性校正,以及條紋圖案編碼;第二部分是圖像處理。:1)不能正確地識別顏色信息。拍攝得到的圖像中的任一點的顏色值不僅與投射的圖案有關系,也與物體表面的反射率、陰影、視角方向、測量系統的顏色串擾和傳感器噪聲有關系。從拍攝物體圖像中一個像素點的彩色值不能直接得到對顏色的正確估計,可能會導致錯誤的標識級次。2)編碼級次的丟失。實驗

10、時,場景中一般都有遮擋、陰影,或者是表面不連續,并不是拍攝的圖案中每一點的條紋信息都是可見的。如果在某些區域不能識別條紋信息,將會導致相位展開錯誤。在彩色條紋投影基礎上,本文提出了一種新的編碼方式,使用格雷碼、顏色信息和正弦光柵編碼生成彩色條紋,編碼穩定、抗干擾能力較強。條紋的強度呈正弦分布,排列順序已知的格雷碼和顏色信息用來對條紋正弦周期進行標記。拍攝受待測物體表圖1算法流程圖Fig.1Algorithmflow2.1 測量系統的顏色校準和非線性校正本文方法所采用的測量系統和FTP方法3,4一樣,由投影系統和拍攝系統基于三角法測量原理實現。在測量系統的現實使用中,從投影圖案到變形圖案的映射是

11、非線性的,本文中這種非線性主要表現為顏色的串擾和正弦條紋的非線性。顏色的串擾表征了測量系統對紅綠藍(RGB)三通道信號的響應單一性,嚴重的顏色串擾將會導致條紋相位級次的判斷錯誤;投影光場正弦性的好壞對相位的測量有很大的影響。通過對拍攝的變形條紋圖像進行顏色校準和對將要投射的條紋圖案進行非線性校正可以改善測量系統本身的非線性對測量結果的影響。為了分析投影儀和相機之間顏色的串擾,參考D.Caspi等提出的模型,認為投影矩陣中任意像素點P,拍圖矩陣中任意像素點C,物體的反射率矩陣F和顏色串擾矩陣X之間滿足C=X!F!P,即X=C!P-11113!F。在該步驟中,需要的圖像包括-1預先拍攝白板獲得的圖

12、像和投射彩色條紋到物體所獲得的圖像。對物體只需要拍攝一幅圖案,對該圖像進行處理既能完成反射率矩陣的計算,又可以計2920中 國 激 光37卷算出被測物體在對應采樣時刻的相位分布。顏色校準的具體步驟:投射3幅基色條紋圖到白板上,對3幅拍攝圖像分別使用傅里葉變換提取白板的調制度信息來確定反射率f,求得的3個值作為F矩陣的3個對角線元素的值,得到了白板的反射率矩陣F,代入方程X=C!P-1!F-1中,得到顏色串擾矩陣X,存儲此顏色串擾矩陣。拍攝物體之后,對彩色變形條紋圖像的3個通道使用同樣的步驟,獲取被測物體表面的反射率矩陣Fo,將Fo代入P=(X!Fo)!C。P即為拍攝物體圖像經過顏色校準之后的圖

13、像,完成對拍攝物體圖像的顏色校準。圖2(a)為顏色校準之前拍攝到的物體表面變形條紋圖像,圖2(b)為顏色校準之后的圖像。不難看出,顏色校準改善了顏色的亮度,勢必會提高顏色識別的正確率。-1圖2圖像的顏色校準。(a)顏色校準之前的圖像,(b)顏色校準之后的圖像Fig.2Imagecolorcalibration.(a)beforecolorcalibration,(b)aftercolorcalibration要給測量系統提供正弦性更好的投影光場,獲得更好的測量精度,還需要對投影的正弦光柵條紋進行非線性校正。對于將使用到的7種顏色,每一種顏色對白板拍攝6幅圖,灰度值分別為0,50,100,150

14、,200,255,對每一幅拍攝圖求得平均值,作為在該輸入灰度情況下的輸出灰度。然后對輸出灰度進行4次曲線擬合分別得到7種顏色圖案的3個通道的投影 成像灰度響應曲線,并由此建立了查找表,然后依據該查找表,決定將要投射的正弦條紋每一個像素的強度值,期望成像設備最終拍攝回來的圖案具有更好的正弦性。通過對白板進行測量以驗證本方法的精度,使用非線性校正前后的兩個條紋分別拍攝白板。對拍攝的圖像截取相同區域進行對比。計算兩幅圖案的相位值,使用相位點云數據分別擬合出理想平面14,點云與理想平面的距離即可用來衡量系統的測量誤差。非線性校正之前所有評測點的標準偏差為0.0378rad,非線性校正之后所有評測點的標

15、準偏差為0.0182rad,測量精度提高了1倍。前后的誤差分布如圖3所示。圖3正弦光柵的非線性校正。(a),(b)分別為非線性校正前后點云數據與擬合平面的差Fig.3Fringenon linearcorrection.Phaseerrorbefore(a)andafter(b)non linearcorrection使用非線性校正雖然會壓縮條紋的動態范圍,但是拍攝回來的正弦條紋線性較好,失真較少,可以獲取較正確的相位值。2.2 條紋圖案的編碼投射的條紋圖案使用格雷碼和正弦編碼,表現為被彩色調制的正弦條紋圖案15,16。圖4為編碼條紋圖案。條紋圖案分為格雷碼圖案和正弦圖案兩部分。編碼圖案的數學

16、表達式為:F(x)=G(x)!0.6+0.4sin(2 x/T),其中G(x)為格雷碼圖案,T為正弦條紋的周期,格雷碼條紋圖案的周期和正弦條紋圖案周期相同。圖4(a)為格雷碼圖案的一部分。在二進制格雷碼的編碼方法中,黑白條紋的碼值記為0和1,投射3幅圖案可產生2個不同碼值。這3幅分布在時間序列上的圖案分別對應彩色圖的3個通道,即把不同時刻投射的3幅格雷碼圖案同時編碼到一幅彩色圖空間中。格雷碼相鄰碼字11期麻 珂等: 分離物體三維測量的彩色結構光編碼新方法2921的hamming距離為1,大大減少了由一個編碼狀態到下一個編碼狀態的轉換誤差。同樣,轉換到RGB三通道之后,相鄰條紋的區別也限于一個通

17、道,能夠對顏色轉換誤差起到有效的限制作用。令格雷碼數值等于紅色通道的值!4+綠色通道的值!2+藍色通道的值!1。從格雷碼編碼轉換到顏色圖案RGB三通道的一個例子如表1所示。表1三個時刻投射格雷碼編碼及對應的格雷碼數值和顏色圖案中的顏色Table1CorrespondencebetweenGray code,GrayvalueandcolorGraycodeatt100001111Graycodeatt200111100Graycodeatt301100110Grayvalue01326754ColorKBCGYWMR分別為:1,3,2,6,7,5,4;#:2,6,4,5,7,3,1;:4,5,

18、1,3,7,6,2;%:1,5,4,6,7,3,2;&:4,6,2,3,7,5,1;:2,3,1,5,7,6,4。為了提高條紋識別的精度,不希望相鄰條紋的顏色相同,對格雷碼組的排列順序有一定的限制,比如組的后面不能為,&組;#組的后面不能為,%組,其他組的排列也遵循同樣的原則。本文實驗中選擇了#&#%&%的方式排列這6組格雷碼。可以看出,格雷碼組的排列順序和在格雷碼組內部條紋的排列順序都是唯一且已知的,任意相鄰兩組格雷碼組成的序列只出現一次,任意相鄰三個格雷碼組成的序列只出現一次。編碼生成的條紋總數目為14!7=98,已經可以滿足大多數的測量需要。根據格雷碼的特

19、性,可以推知該格雷碼編碼有以下兩個特性:1)白色條紋向兩邊擴展,兩側必定是補色,而補色的兩側,除了可能是白色外,肯定是基色。2)兩個格雷碼組交界處的兩條條紋的顏色必定為基色。合理地利用這兩個性質,可以對識別顏色時的錯誤判斷進行有益的修正。圖4(b)為對應的正弦條紋圖案。把格雷碼圖案和正弦圖案相乘,獲得如圖4(c)所示彩色格雷碼正弦條紋圖案。經過對彩色格雷碼正弦條紋的非線性校正之后,條紋圖案變成了如圖4(d)所示的形式,即為將要投影的圖案。表1中000代表黑色條紋,投影時不能反映正弦條紋的強度信息,本文方法中沒有采用。這樣,格雷碼序列只組合成7種顏色,這對實際測量是遠遠不夠的。新方法變換格雷碼的

20、排列順序,采用6組格雷碼的不同排布方式,每種排布方式中均包含7個顏色格雷碼來擴展編碼長度。這6組格雷碼數值圖4編碼圖案。(a)格雷碼編碼圖案,(b)正弦圖案,(c)非線性校正之前的條紋圖案;(d)投影的圖案Fig.4ColorGraycodedsinusoidalfringe.(a)Graycodes,(b)sinusoidalfringes,(c)fringewithoutnon linearcorrection,(d)projectedfringepattern該編碼方式編碼穩定,解碼簡單,圖像的抗干擾能力較強,用空間唯一的顏色排列序列將每一個條紋周期對應編碼,物體表面的陰影、遮擋或者不連

21、續性不會對其他區域的條紋判斷識別造成影響,可以較好地解決丟失級次的問題。2.3 圖像處理在這種編碼條紋圖中,每一根條紋攜帶三種信息,分別是該條紋的截斷相位信息、該條紋的組次信息和在格雷碼組內部該條紋的局部級次信息。其中組次和局部級次疊加即為該條紋的相位級次。把條紋的相位級次和截斷相位疊加就可以得到展開相位。1)獲取截斷相位、條紋邊緣和條紋顏色:將拍攝圖轉換到根據色度、飽和度和亮度的方式疊加(HSV)空間后提取出條紋的強度正弦分布,采用文獻4所述的方法進行傅里葉變換,得到截斷相位2922中 國 激 光37卷圖,如圖5(a)所示。傅里葉變換計算出的相位分布會在每一個條紋周期中截斷一次,故截斷相位的

22、邊界信息對應于條紋的邊緣,可以用來輔助確定每一個色條的邊界區域。根據編碼格雷碼圖案的特性,對顏色圖3個顏色通道進行分色處理。在使用顏色校準方法處理之后,對每根條紋來說,邊緣處仍然可能和另外一種顏色發生串擾,條紋中心處的顏色是最可靠的。可以提取條紋中心區域的顏色信息來填充相應色條區域,得到變形條紋對應的色條圖,如圖5(b)所示。圖5獲取條紋的顏色編碼。(a)截斷相位,(b)恢復的色條圖Fig.5Colordecodingofeachfringe.(a)wrappedphase,(b)resultofcolorcodeextraction2)判斷獲取組次和局部級次:根據上面提到的格雷碼編碼兩個特性

23、,首先判斷出每根條紋的組次。然后根據條紋設計的規則:每相鄰3個條紋為一組且只出現一次;每兩個格雷碼組為一組且只出現一次這兩個原則判斷出局部級次和驗證已判斷出的組次。最后把組次和局部級次疊加,就可以獲得整場的相位級次。3)獲取展開相位:上面兩步中,已經單獨獲得了條紋的相位級次和條紋的截斷相位信息。把二者疊加即可以獲得條紋的展開相位。截取上面提到的圖像的第200行的一部分來說明算法的流程,如圖6所示。編碼顏色為白色的條紋在圖中使用黑色線畫出。圖6解碼流程。(a)截斷相位,(b)條紋邊緣,(c)HSV空間的條紋強度(曲線顏色為對應編碼顏色),(d)恢復的顏色色條,(e)判斷得到的相位級次,(f)展開

24、相位Fig.6Imageprocessingalgorithmflow.(a)wrappedphase,(b)fringeedge,(c)fringeintensity(colorsoflinecorrespondingtothecolorGraycode),(d)colorbars,(e)fringeorder,(f)unwrappedphase通過顏色校準、正弦條紋的非線性校正、正確判斷條紋邊緣和顏色的區域填充操作四個步驟,在解碼階段獲得正確的顏色色條信息,較好地解決了不能正確識別顏色信息的困難。11期麻 珂等: 分離物體三維測量的彩色結構光編碼新方法29233 實驗結果的分析與對比待測物

25、體為兩個空間位置不連續的物體,如圖7所示,左側為面具,右側為鼠標,面具和鼠標的高度大致相同。成像設備為佳能E503單反相機,投影儀采用三洋液晶投影儀。實際測量中,投影光柵編碼條紋的周期為8個像素,預先做了非線性校正,獲得的圖像如圖7(a)所示,顏色校準之后的圖像如圖7(b)所示,使用傅里葉變換方法獲得的截斷相位分布如圖7(c)所示,恢復的色條圖如圖7(d)所示。圖7圖像處理過程。(a)拍攝圖像,(b)顏色校準之后的圖像,(c)截斷相位分布,(d)色條圖Fig.7Processingstages.(a)pattenimage,(b)aftercolorcalibration,(c)wrapped

26、phase,(d)colorbarsextraction采用文中所述方法進行圖像處理,得到展開相位。展開結果和傳統的調制度排序相位展開算法所獲得的結果做對比。根據拍攝物體圖像的調制度做一個模板,分別與兩個展開相位圖相乘,得到如圖8所示的圖像。圖8測量結果。(a)使用文中方法展開的連續相位圖,(b)使用調制度排序算法展開的連續相位圖,(c)(a)的三維顯示,(d)(b)的三維顯示Fig.8Measurementresult.(a)unwrappedphasewithourmethod,(b)unwrappedphasewith2Dspaceunwrapmethod,(c)3Dsurfaceof(

27、a),(d)3Dsurfaceof(b)把兩種方法分別獲得的截斷相位相減,并截取其中一行,如圖9所示。從圖9(a)可以看出,除去邊緣部分,二者在面具處的展開相位值吻合較好,在鼠標處的展開相位值則相差很多。圖9(b)為兩種方法分別展開相位的第300行。經過計算可知對應鼠標處的任意一點,本文方法和傳統的調制度排序相位展開算法得到展開相位的差值為6 ,也即調制度排序相位展開算法在無條紋處的相位展開有錯誤,恢復高度也將會發生錯誤。從實驗結果可以看出,使用本文方法獲取的展開相位,在空間連續處與基于調制度排序的截斷相位二維空間展開方法所獲得展開相位吻合較好,在空間不2924中 國 激 光37卷連續處也可以

28、較好地恢復物體的三維面形,能彌補和糾正空間相位展開中由于條紋級次的缺失而導致的展開錯誤(如本文實驗中的鼠標區域)。經過系統標定之后,就可以恢復物體的三維形貌。圖9兩種方法展開相位的比較。(a)展開相位的差,(b)展開相位第300行的差異Fig.9Contrastofthetwounwrappedphases.(a)differencebetweenthem,(b)comparisoninthesameline4 結 論提出了一種結合顏色、格雷碼和正弦光柵的新的編碼方法。該方法只使用一幅圖,快速準確地用兩級級次疊加的方法獲取條紋相位級次,與正弦光場所攜帶的截斷相位疊加,可以較好地完成相位展開,恢

29、復被測分離物體的三維面形。對兩個空間分離的物體進行了三維面形的恢復重建,得到了比較滿意的結果,并且與基于調制度排序的截斷相位二維空間展開結果作了比較,證明提出的方法是正確可行的。參考文獻1LiYong,SuXianyu.NewmethodforsystemcalibrationinphasemeasurementprofilometrywithlargeviewfieldJ.ActaOpticaSinica,2006,26(8):11621166李 勇,蘇顯渝.一種大視場相位測量輪廓術系統標定方法J.光學學報,2006,26(8):116211662MaoXianfu,ChenWenjing,

30、SuXianyu.AnalysisonanimprovedFouriertransformprofilometryJ.ChineseJ.Lasers,2007,34(1):99104毛先富,陳文靜,蘇顯渝.傅里葉變換輪廓術新理論研究J.中國激光,2007,34(1):991043MaoXianfu,SuXianyu,ChenWenjingetal.AnalysisonmeasurementmethodofimprovedFouriertransformsprofilometryJ.ActaOpticaSinica,2008,28(7):12911295 毛先富,蘇顯渝,陳文靜等.改進傅里葉變換

31、輪廓術的測量算法研究J.光學學報,2008,28(7):129112954WenYongfu,SuXianyu,ZhangQican.UniversalcalculationformulaandsystemcalibrationmethodinFouriertransformprofilometryJ.ChineseJ.Lasers,2009,36(8):20942098 文永富,蘇顯渝,張啟燦.傅里葉變換輪廓術中一種普適的計算公式和系統標定方法J.中國激光,2009,36(8):209420985ZhangQican,SuXianyu,CaoYipingetal.Three dimensio

32、nalshapemeasurementforrotatingbladeusingstroboscopicstructuredilluminationJ.ActaOpticaSinica,2005,25(2):207211張啟燦,蘇顯渝,曹益平等.利用頻閃結構光測量旋轉葉片的三維面形J.光學學報,2005,25(2):2072116WeihongSu.Projectedfringeprofilometryusingthearea encodedalgorithmforspatiallyisolatedanddynamicobjectJ.Opt.Express,2008,16(4):2590259

33、67HuangHongqiang,FengHuajun,XuZhihai.3 DimagingbasedoncolorencodedstructurelightJ.J.ZhejiangUniversity(EngineeringScience),2001,35(6):588590黃紅強,馮華君,徐之海.彩色結構光三維成像技術J.浙江大學學報(工學版),2001,35(6):5885908GaiShaoyan,DaFeipeng.AnewfastphaseunwrappingmethodJ.ActaOpticaSinica,2008,28(2):259267蓋紹彥,達飛鵬.一種新的快速解相位方法

34、J.光學學報,2008,28(2):2592679WangQingfeng,ZhangQican,LiuYuankun.Three dimensionalmeasurementofobjectinwaterbytrackingphasevalueJ.ActaOpticaSinica,2009,29(6):15701576王慶豐,張啟燦,劉元坤.基于相位追蹤的水中物體三維面形測量J.光學學報,2009,29(6):1570157610L.Zhang,B.Curless,S.M.Seitz.Rapidshapeacquisitionusingcolorstructuredlightandmulti passdynamicp