基于視場(chǎng)拼接的全視差三維顯示方法

0旋轉(zhuǎn)屏下三維顯示系統(tǒng)集成優(yōu)化設(shè)計(jì)3d顯示技術(shù)通常分為兩種類(lèi)型：全景圖意義圖像顯示和非全景圖意義圖像。一般有三種表示三維圖像的方法：體視圖技術(shù)、綜合成像技術(shù)和體素法（3d鋼筆）。2007年，以360三維顯示系統(tǒng)為基礎(chǔ)，采用高速投影和旋轉(zhuǎn)屏幕技術(shù)實(shí)現(xiàn)了三維全景的三維顯示。以hilashin和yasutirot為例，研究團(tuán)隊(duì)提出了一種非常自然、三維顯示設(shè)備。然而，許多3d顯示系統(tǒng)需要高速旋轉(zhuǎn)，只能顯示橫向透視，并且小的角度擴(kuò)展圖像。由于結(jié)構(gòu)和圖像效果較差，系統(tǒng)占據(jù)了很大的空間，因此存在許多可以改進(jìn)的空間。然而，傳統(tǒng)的三維顯示系統(tǒng)的最佳圖像區(qū)域幾乎位于屏幕前的小區(qū)域，因此顯示亮度問(wèn)題沒(méi)有得到很好的解決。從商業(yè)角度來(lái)看，基于自由三維顯示技術(shù)的三維顯示設(shè)備也在市場(chǎng)上，但需要進(jìn)一步解決視覺(jué)角度、舒適度和集成度等問(wèn)題。浙江大學(xué)在2009年國(guó)際信息顯示學(xué)會(huì)年會(huì)上提出了一種橫向視場(chǎng)拼接的體視三維顯示方法.本文在此基礎(chǔ)上深入研究,提出了一種新型基于視場(chǎng)拼接的全視差三維顯示方法及裝置并對(duì)其進(jìn)行了集成優(yōu)化.該系統(tǒng)無(wú)轉(zhuǎn)動(dòng)裝置、機(jī)構(gòu)設(shè)計(jì)簡(jiǎn)單,實(shí)現(xiàn)了橫向和縱向的全視差顯示效果,并且具有較大的孔徑光闌,可以顯示較為明亮的三維圖像.1柱面光柵屏的定向散射拼接視場(chǎng)的方法源于對(duì)集成成像法的改進(jìn),可以顯示超多視點(diǎn)并且視角間隔極小的三維圖像.該全視差三維顯示的硬件核心裝置包括投影機(jī)陣列與定向散射屏.所述的投影機(jī)陣列可由顯示屏陣列與透鏡陣列構(gòu)成,其中任一臺(tái)投影機(jī)都是由顯示屏陣列中的一個(gè)顯示屏與其正前方的一個(gè)透鏡對(duì)應(yīng)構(gòu)成,定向散射屏由兩組正交分布的柱面光柵構(gòu)成.為說(shuō)明原理,假定m行n列的投影機(jī)P11-Pmn各自向定向散射屏上的同一位置投影圖像,正交分布的柱面光柵柵線方向分別平行于x軸和y軸,由于定向散射屏的獨(dú)特散射特性,在屏幕右側(cè)對(duì)應(yīng)形成V11-Vmn個(gè)視點(diǎn),如圖1.以散射屏上的一小塊區(qū)域?yàn)槔?在不同視點(diǎn)V11-Vmn可以觀看到不同的圖像.同理可推知,在右方觀察區(qū)域內(nèi)任意一個(gè)視點(diǎn)觀察到的完整圖像都是由每臺(tái)投影機(jī)各自投影的一小塊圖像拼接形成,這樣在不同視點(diǎn)就可以觀察到三維物體對(duì)應(yīng)視點(diǎn)的視圖,各個(gè)視點(diǎn)的圖像連續(xù)變化,從而可以給觀看者提供橫向視差和縱向視差,形成三維感知.如圖2,橫向間距為D的兩臺(tái)投影機(jī)Pa、Pb分別向投影距離設(shè)置為L(zhǎng)p的柱面光柵屏投影,由此可推知系統(tǒng)所需的柱面光柵屏的散射特性.相對(duì)于投影距離Lp及觀察距離Lv,不妨將投影機(jī)的出瞳和人眼瞳孔可近似看作一點(diǎn),若柱面光柵屏的散射角度為0,則由于光線的直線傳播在視點(diǎn)V處只能看到a、b兩個(gè)點(diǎn),此時(shí)只要控制柱面光柵的散射角在合適的范圍內(nèi),理論上當(dāng)柱面光柵屏定向散射角度θ增加到與投影機(jī)角度間隔δ相等,a、b兩點(diǎn)會(huì)被擴(kuò)展成兩塊,那么觀察者就可在光柵屏上觀察到來(lái)自投影機(jī)Pa、Pb的兩塊圖像恰好在c點(diǎn)處拼接到一起,這樣便可構(gòu)成更寬幅的圖像.當(dāng)系統(tǒng)參量設(shè)置Lp>>D時(shí),邊緣視場(chǎng)斜投影的關(guān)系式同樣可近似用式(1)表示,根據(jù)數(shù)學(xué)上三角關(guān)系可得δ2≈arctan(D/2Lp)(1)δ2≈arctan(D/2Lp)(1)縱向視角顯示原理與此一致,這里不再贅述.2圖像分割和拼接重組根據(jù)上述原理,在一個(gè)視點(diǎn)觀看該三維顯示裝置,看到的完整視圖是由許多相同大小的方塊形小圖像拼接起來(lái)的,為方便說(shuō)明圖像關(guān)系稱(chēng)之為圖像區(qū)塊,每個(gè)圖像區(qū)塊的成像光路與投影機(jī)陣列中的投影機(jī)一一對(duì)應(yīng).如圖3,液晶顯示屏陣列、透鏡陣列及定向散射屏構(gòu)成基本的成像系統(tǒng),在視點(diǎn)V觀察到的視圖包含了分別來(lái)自于三個(gè)不同顯示屏的不同位置的圖像區(qū)塊A、B、C.同理可知,送入任意一臺(tái)投影機(jī)的圖像也是不同圖像區(qū)塊拼接起來(lái)的,分別來(lái)自于從不同視點(diǎn)拍攝三維物體獲得的視圖.圖像源生成部分需要對(duì)各個(gè)視角的圖像進(jìn)行剪裁和重新拼接組合.設(shè)重組后的投影圖像為Pab(x,y),表示橫向第a、縱向第b臺(tái)投影機(jī)所對(duì)應(yīng)第x行、第y列的投影圖像區(qū)塊,各視角分割后的圖像區(qū)塊為Sij(p,q),表示第i縱向視角、第j橫向視角的第p行、第q列的視角圖像,于是根據(jù)成像關(guān)系遍歷可得∑a=1n∑b=1nPab(x,y)=∑i=1n∑j=1nSij(p,q)(2)∑a=1n∑b=1nΡab(x,y)=∑i=1n∑j=1nSij(p,q)(2)其中{x=(n?i)n+(p?1)(n?1)?n(a?1)(3)y=(n?j)n+(q?1)(n?1)?n(b?1)(4){x=(n-i)n+(p-1)(n-1)-n(a-1)(3)y=(n-j)n+(q-1)(n-1)-n(b-1)(4)n表示橫向/縱向視角數(shù),p,q取值為1~n.以3×3(即n=3)的圖像分割和拼接方式進(jìn)行說(shuō)明,首先將每一個(gè)視角獲得的圖像進(jìn)行3×3的切割,然后將每一幅圖像的指定區(qū)域A1~A9取出,以每一幅圖像相對(duì)于中心的位置關(guān)系重新組合,如圖4(a)為需要呈現(xiàn)的視角圖像,每一種顏色灰級(jí)表示一個(gè)視角的圖像塊,圖4(b)為與式(2)相對(duì)應(yīng)的分割和重組規(guī)則,圖4(c)為實(shí)際三維物體圖像拼接重組示意.通過(guò)這樣的拼接重組方式可獲得中心投影機(jī)的圖像源.同理,其他視角的圖像源也是按照相似的位置關(guān)系進(jìn)行切割和拼接重組.通過(guò)式(3)和(4)所表達(dá)的關(guān)系進(jìn)行切割和重組,所得到的圖像源經(jīng)過(guò)投影系統(tǒng)的成像將滿足對(duì)應(yīng)視角的觀看要求并真實(shí)地還原三維物體.為實(shí)現(xiàn)投影所需的三維模型場(chǎng)景模擬與獲取,該算法將三維物體的中心放置在視場(chǎng)的中央,從視場(chǎng)中心前方一定位置平面上不同角度模擬攝像機(jī)進(jìn)行拍攝獲取了m×n個(gè)視角的圖像,攝像機(jī)陣列的排布與系統(tǒng)微投影機(jī)陣列排布對(duì)應(yīng),相當(dāng)于人眼從不同角度的視點(diǎn)觀察位于視場(chǎng)中央的三維物體.然后將這些圖像送入圖像處理程序模塊進(jìn)行重新切割和組合并生成拼接后的m×n幅圖像作為投影圖像源,考慮到算法的實(shí)用性,圖像轉(zhuǎn)換是基于OpenGL的算法實(shí)現(xiàn),通過(guò)調(diào)用Matlab工程軟件實(shí)現(xiàn)原始圖像源的拼接和生成.通過(guò)算法的改進(jìn)預(yù)先對(duì)多幀圖像進(jìn)行循環(huán)獲取與拼接,進(jìn)而通過(guò)多幀圖像合成與連續(xù)播放的模式獲得動(dòng)態(tài)顯示效果.3系統(tǒng)測(cè)試及結(jié)果分析把23inch液晶顯示器圖像區(qū)域分割成分辨率為225×225的45個(gè)小圖像(由于商用23inch液晶顯示器分辨率受限,橫向兩側(cè)邊緣視場(chǎng)像素利用率為173×225,縱向兩側(cè)邊緣視場(chǎng)像素利用率為225×203),和45個(gè)焦距100mm的菲涅耳透鏡相配合作為微投影陣列,正交的透射式柱面光柵作為定向散射屏,并配以背投式反射光路優(yōu)化系統(tǒng)結(jié)構(gòu)開(kāi)發(fā)出了一臺(tái)實(shí)驗(yàn)樣機(jī),如圖5,二維圖像經(jīng)透鏡陣列及傾斜45°設(shè)置的反射鏡投影到橫向和縱向散射角度均為4.77°的散射屏上.系統(tǒng)主要器件及參量如表1.在1.2m觀察距離以CCD拍攝的方式獲取了樣機(jī)系統(tǒng)上、下、左、右及中心等5個(gè)不同視角靜態(tài)顯示效果,如圖6.采用CCD拍攝的方式對(duì)樣機(jī)系統(tǒng)顯示效果進(jìn)行測(cè)試的結(jié)果表明樣機(jī)系統(tǒng)最佳視角范圍為水平方向35°、垂直方向20°內(nèi).該系統(tǒng)相較于先前的橫向視差拼接三維顯示方法采用了更大的孔徑光闌,因此可以顯示更為明亮且均勻性較好的三維圖像,在一定程度上改善了傳統(tǒng)集成成像三維顯示的一些不足.但現(xiàn)有顯示效果存在一定程度的拼接痕跡,并且在視場(chǎng)邊緣圖像出現(xiàn)了一定程度的模糊.視場(chǎng)邊緣的菲涅爾透鏡斜投影到散射屏上成像質(zhì)量較差,反映到散射角度偏大造成視角信息可能的重疊等都可能引致系統(tǒng)成像效果不佳.測(cè)試結(jié)果還發(fā)現(xiàn),現(xiàn)有柱面光柵屏材質(zhì)存在一定程度的正色散,柱面光柵屏對(duì)不同色光的散射角度的不同既造成了拼接圖像信息重合或者不連續(xù),也降低了屏幕的顯示對(duì)比度.另外,上文所述拼接方法采用的工程近似對(duì)成像效果的影響程度也需要進(jìn)一步考慮.拼接不連續(xù)及散射屏散射角度控制不準(zhǔn)確的問(wèn)題可以通過(guò)增加更多數(shù)量的微投影機(jī)以及使用更精細(xì)的制作工藝得到大大改善.用于投影的透鏡可以采用優(yōu)化過(guò)的樹(shù)脂鏡片組,在可控范圍內(nèi)減少投影成像的像差影響.視點(diǎn)數(shù)目理論上可無(wú)限增加且視角間隔可以做到很小,相關(guān)研究稱(chēng)視角間隔小有助于這種多視點(diǎn)型自體視三維顯示裝置減輕觀察者視覺(jué)疲勞.這些將作為下一步研究的重點(diǎn).該方法的另一個(gè)創(chuàng)新之處在于對(duì)自體視三維顯示系統(tǒng)集成化和商業(yè)化的嘗試,平板顯示器和透鏡陣列的組合替代投影機(jī)陣列、以及背投式反射光路的運(yùn)用,在很大程度上優(yōu)化了系統(tǒng)結(jié)構(gòu)、減少了系統(tǒng)硬件占用空間的同時(shí)降低了開(kāi)發(fā)成本.4平板顯示器和背投反射式光路的應(yīng)用本文演示了一種利用視場(chǎng)拼接獲得全視差三維顯示圖像的新途徑、新方法.根據(jù)成像原理和投影關(guān)系,分析了定向散射屏的散射特性