1、光場成像技術1. 前言光場是空間中同時包含位置和方向信息的四維光輻射場的參數化表示，光場數據的獲取為計算成像提供了很多新的發展方向。傳統成像方式在拍攝高速運動或者多主體較大間距物體時，容易出現失焦、跑焦現象。對于高速運動物體來說，想抓住精彩一瞬的同時對準焦是非常困難的。此外，要減少高速運動物體帶來的運動模糊，如果減少曝光時間則導致圖像太暗，增大孔徑則造成景深太小，背景模糊。而對多主體目標物來說，焦點往往對準在中心物體上，其他目標由于景深過小往往看不清細節。調小光圈的方法在光線充足的情況下可以使用，但是在拍攝光線不足的室內條件下會帶來曝光不足的問題。光場成像通過記錄光輻射在傳播過程中的四維位置和

2、方向的信息，相比只記錄二維的傳統成像方式多出2個自由度，因而在圖像重建過程中，能夠獲得更加豐富的圖像信息。此外，還能通過數字重聚焦技術解決特殊場合圖像的失焦、背景目標過多等問題; 通過合成孔徑技術實現“透視”監視; 在與顯微技術融合后，還能得到多視角大景深顯微圖像，以及重建后的三維立體圖。2. 光場成像的發展光場成像的雛形可以追溯到1903年Ives 發明的雙目視差顯示系統中運用的針孔成像技術，通過在主透鏡的像面處放置針孔面陣列，從而使原像面處的光輻射按角度進行重分布后記錄在光探測器上，避免了角度信息的丟失。1908 年，Lippman 發明集成照相術( integral photograph

3、y，IP)，后來被廣泛運用于三維全息成像通過用微透鏡陣列代替針孔面陣列，在底片上接收到有微小差別的一系列基元圖像，消除了Ives 裝置中的彌散斑。Gershun 在1936年提出光場的概念，將其定義為光輻射在空間各個位置向各個方向的傳播3。他認為，到達空間不同點處的光輻射量連續變化，能夠通過幾何分析進而積分的方法來計算像面上每點的光輻射量。但是，由于計算量龐大，能夠進行高次運算的計算機尚未出現，所以當時未能對其理論進行驗證。1948 年，Gabor 利用2 束相干光干涉記錄下物體衍射未聚焦的波前，獲得第一張全息圖。如果把這張全息圖看作是包含方向和位置信息的光輻射函數，那么這其實也是一張特殊的光

4、場圖像，而非傳統只記錄強度信息的二維圖像。20 世紀六七十年代，Okoshi、Dudnikov、Dudley、Montebello等學者對IP 技術進行了不斷的改進，微透鏡陣列在成像方面的作用也得以凸顯。隨著計算機技術的不斷發展和微透鏡制作精度的提高，Adelson 于1992年將光場理論成功運用到計算機視覺，并提出全光場理論( plenoptic theory)。光場理論的進一步完善歸功于1996 年Levoy 的光場渲染理論( light field rendering，LFR)，他將光場進行參數化表示，并提出計算成像公式。在此基礎上，2005 年，Ng 發明了第一臺手持式光場相機，其原理

5、簡單，使用方便。2006 年，Levoy 將LFR 理論運用于顯微成像，并研制出光場顯微鏡( lightfield microscopy，LFM) ，能夠一次曝光得到多個視角多組焦平面圖像，從而得到大景深的顯微圖片，并可進行三維重建。目前，隨著光電技術及器件的發展和光場理論的進一步完善，光場成像正逐步滲透到航空拍攝、動畫渲染、安全監視、科學儀器、攝影傳媒、立體顯示等各個領域，并朝著集成化、實用化、多元化的方向邁進。3. 光場的定義及其獲取方式3.1 光場的定義圖1. 光場的四維參數化光場實質上就是空間中所有光線光輻射函數的總體。光線攜帶二維位置信息( u，v) 和二維方向信息( ，) 在光場中

6、傳遞。根據Levoy 的光場渲染理論，空間中攜帶強度和方向信息的任意光線，都可以用2個平行平面來進行參數化表示( 圖1) ，光線與這2個平面相交于2點，形成一個四維光場函數L( u，v，x，y)。對光場的不同理解可形成不同的光場獲取方式。如果把光場看作是位置和角度信息的疊加，可以有比較簡單的獲取方式。比如，通過采用不同的觀察視角和不同位置的照明來抓拍一系列照片的方式。但是這2種方法太慢，而且操作不方便。采用針孔成像的方式原理最簡單，但是由于位置和角度之間不成線性關系，計算復雜，因而應用也不廣泛。3.2 光場的獲取方式目前獲取光場的手段主要分為以下3種:1) 微透鏡陣列。這是最常用的光場獲取方式

7、，實現方式也最簡單。在普通成像系統的一次像面處插入一個微透鏡陣列，每個微透鏡元記錄的光線對應相同位置不同視角的場景圖像，從而得到一個四維光場。微透鏡陣列所在平面可看作圖1 中的u-v 面，探測器面可看作x-y面。Adelson 的全光場相機，Ng 的手持光場相機，Levoy 的光場顯微鏡( LFM)，Fife 的光場“芯片”以及Georgiev 的Plenoptic Camera 2. 0等，都是采用微透鏡陣列來獲取四維光場數據，只是在u-v面和x-y面的處理上略有區別，從而實現不同的功能。其中，Adobe 公司的光場相機，采用透鏡和棱鏡陣列獲取光場數據，相比傳統的微透鏡陣列方式，可移植性更強

8、。它將透鏡和棱鏡集成為一個光學元件，外接在普通相機上即可實現，具有較高的圖像分辨率; 但是由于鏡頭外接，會引入新的像差。2) 相機陣列。它是指通過相機在空間的一定排布來同時抓取一系列視角略有差別的圖像，從而重構出光場數據的方法。比如斯坦福大學的128 相機陣列，采用不同空間排布，能夠獲得一些異于普通相機的特性，包括空間分辨率、動態范圍、景深、幀速、光譜敏感性等。其中大尺度空間排布的相機陣列主要用于合成孔徑成像實現“透視”監測，或通過拼接實現大視角全景成像，而緊密排布型則主要用于獲取高性能的動態場景。還有Isaksen 的單相機掃描系統，是通過相機在場景中特定移動獲取不同視角的圖像，它構建的初衷

9、在于研究光場數據的動態參量化。此外，比較成功的樣機還有MIT 的64 相機陣列，卡耐基 梅隆大學的“3D Room”等。3) 掩膜及其他。其共同點在于都是對相機的孔徑做相應處理，都能重構出光場數據。典型的有Veeraraghavan 的光場相機，通過在普通相機光路中插入一個掩膜實現。其獲取的圖像看似與普通相機類似，但經過變換到頻域后發現，其頻域呈規律性分布，與光場數據的頻域特性類似，也能處理得到四維光場信息。它的優點在于掩膜是非折射元件，不管是從后期成像質量還是硬件方面，都比微透鏡陣列更容易實現。可編程孔徑相機插入的是一個特殊的遮光板，它可以通過編碼來提高圖像的空間分辨率和景深，也可以重構出四

10、維光場。環形孔徑相機，結構比較復雜，須做退卷積處理，可達到較高的圖像分辨率。4. 基于光場的數字重聚焦技術4.1 計算成像原理光場相機的光學成像系統由3部分構成: 主透鏡系統、微透鏡陣列和光電探測器件。主透鏡系統相當于傳統相機的物鏡，在像面處放置微透鏡陣列，探測器放置在微透鏡的焦距處。成像原理為，物體上一點經過主透鏡系統后聚焦于微透鏡陣列平面，而后經單個微透鏡分散出強度和方向分量，到達探測器的不同面元，此即該物點的光場信息。如果把微透鏡看作成像器件，主透鏡的主面與探測器陣列滿足物象共軛關系。所以，主透鏡系統的光瞳經過單個微透鏡所成的像正好覆蓋光電探測器的若干像素點。達到最大的角分辨率，需保證主

11、透鏡系統的像方F 數與微透鏡陣列的F 數一致，否則會造成光場方向信息和成像目標空間分布的混疊 如圖1，將相機的光學系統抽象成四維光場，其中u -v 面是光學系統的主面，x-y 面是探測器所在平面 LF( x，y ，u，v ) 代表給定光線的光輻射量，下標F 代表兩平面之間的距離，像面上接受到的輻射量可表示為： （1）其中， 為光線LF( x，y，u，v) 與u-v 面法線的夾角，A( u，v ) 為光瞳函數假定x-y 和u-v 面無窮大，光瞳之外的光線LF( x，y ，u，v) = 0，引入近軸近似，將公式簡化為： （2）通過數值積分近似求解，便可得到一幅數字圖像。4.2 數字重聚焦原理圖2.

12、 數字重聚焦原理圖如圖2，x-y 面為重聚焦目標物所在的空間像平面，其接收到的光輻射量可表示為 （3）其中， = F'/F為變焦倍率。代入( 2) 式，定義切片算子f( x) = f(x) ，重聚焦后的圖像表達式為 （4）根據傅里葉切片定理的推論，x-y 面上得到的光輻射量是光場LF( x，y ，u，v) 的一個切片的投影積分。也就是說，通過一次曝光得到的4D 光場信息，可用于重建不同焦距處的圖像。文獻指出，當對一幅圖像進行多次重聚焦處理時，頻域的方法比空域更加簡便。將四維光場變換到頻域為 （5）經過切片處理后得到二維圖像頻譜: （6）逆變換后得到二維圖像表達式: （7）圖3 為空域和

13、頻域2 種算法及其復雜度示意。由于a 的連續變化，空域和頻域的計算復雜度分別集中在投影積分和二維切片階段。可以看出，頻域的O( n2 )比空域的O( n4 )，計算速度得到大大提高。圖3. 兩種重聚焦算法及計算復雜度示意圖除了上面的數字重聚焦技術，當然還有很多基于光場的其他技術，這里就不再一一介紹。5. 光場成像技術展望傳統相機在成像的同時，限制了圖片的重塑性; 而光場成像則保留了這種可能，因為它記錄的是包含位置和方向信息的四維數據。換句話說，即使不是圖像的拍攝者，也能對視角、遠近景，甚至是光線本身進行操縱，以獲得更為滿意的結果。比如機器視覺，機器是前臺執行拍攝的主體，它所“看”到的東西也許并

14、不是人所希望的，如果采用光場成像，便可以加入人對圖像的理解，最終得到的多媒體信息才能更靈活化、多元化。而且，隨著CPU 運算速度的爆炸式增長和重構算法的不斷改進，與計算機技術緊密聯系在一起的光場成像技術的發展前景也將非常樂觀。可以預見的應用范圍很廣: 對普通攝影愛好者來說，可以通過數字重聚焦技術提高聚焦能力，擺脫失焦、跑焦困擾，增加對圖片處理的靈活性; 對于高速運動場景、多主體距離較大場景以及光線不足的室內拍攝，有其獨特的優勢; 在安全及監控領域，通過合成孔徑技術實現“透視”監控; 在多媒體動畫及電視廣告領域，可以通過光場數據合成視角像來實現虛擬3D 顯示; 通過對光場數據的反演，還能數字化地校正光學系統像差，降低透鏡制作精度，大大降低光學系統設計和加工難度。目前獲取光場的手段開始朝著2 個極端方向發展: （1）大尺度的大規模相機陣列；（2）小尺度的光場顯微鏡。這就意味著能在更多的領域中運用光場成像技術，大到航空拍攝，小到微生物觀測，甚至延伸到目前所有能運用到光學成像的領域。世界是三維的，而傳統成像卻一直在用二維的方法記錄它，如果能把缺失的部分補全，那么，我們就可以看到一個更為真實的世界，不再因為“一葉障目，不見泰山”，這就是光場成像試圖去實現的目標然而，光場數據