1、江蘇大學碩士學位論文基于計算機視覺中雙目立體匹配技術研究姓名：裴聰申請學位級別：碩士專業：機械設計及理論指導教師：戴立玲20100604江蘇大學碩士學位論文摘要立體視覺技術是計算機視覺領域一個經典的研究課題，它以盡可能逼真的模仿人類的雙目視覺功能為目標。所謂雙目立體視覺，是從兩個不同的角度來觀察同一個景物，以獲取在不同視角下的感知圖像，通過成像幾何原理計算圖像像素之間的位置偏差（視差），進而獲取景物的三維信息。作為立體視覺領域的熱點，尤其是在排爆機器人確定危險目標，無人車自動避障，人造衛星的目標識別等領域，該課題的研究可以解決很多實質性問題。因此，對它進行進一步研究，將會非常有意義。雙目立體匹

2、配技術的實現可分為圖像獲取、攝像機標定、特征提取、立體匹配和三維重建幾個部分。論文針對雙目立體視覺的幾個關鍵技術進行了深入的研究。（）在攝像機參數標定中，采用了一種介于傳統標定方法和自標定方法之間的方法張正友的基于平面標定模板的攝像機標定方法（張氏標定法），通過手工方法和角點檢測獲取模板特征點的圖像坐標，進而通過實驗和計算來獲取攝像機的參數。（）立體匹配時尋找一個同一目標點在兩幅圖像中的成像位置，匹配特征的選取、匹配準則的確定、匹配算法的實現是立體匹配的三個重要步驟。在基于特征的立體匹配方法中，本課題采用基于算子的特征點提取和匹配算法進行編程，并且通過實驗獲得空間點數據。提出了基于算子的算子，

3、進而進行實驗驗證，通過與江蘇大學碩士學位論文原算子的比較，得到了預期的結果，并通過算子下的程序獲取了匹配點的圖像坐標。（）根據立體視覺基本原理及三維坐標計算方法，完成了三維坐標計算，將特征點的距離信息與激光傳感器測距進行比較獲得誤差，并對誤差原因進行了分析，最后根據測量結構生成了輪廓深度圖。論文中應用，進行基于實驗算法的編程。關鍵詞：雙目立體視覺；攝像機標定；算子；特征提取；立體匹配；三維重建江蘇大學碩士學位論文，（），江蘇大學碩士學位論文：；學位論文版權使用授權書本學位論文作者完全了解學校有關保留、使用學位論文的規定，同意學校保留并向國家有關部門或機構送交論文的復印件和電子版，允許論文被查閱

4、和借閱。本人授權江蘇大學可以將本學位論文的全部內容或部分內容編入有關數據庫進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。保密口，本學位論文屬于在年解密后適用本授權書。不保密函學位論文作者簽名：彩程指導教師簽名：蔫專晗，年石月乒日切年月斗日獨創性聲明本人鄭重聲明：所呈交的學位論文，是本人在導師的指導下，獨立進行研究工作所取得的成果。除文中已注明引用的內容以外，本論文不包含任何其他個人或集體已經發表或撰寫過的作品成果。對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標明。本人完全意識到本聲明的法律結果由本人承擔。學位論文作者簽名：啦移日期：山口年多月日江蘇大學碩士學位

5、論文第一章緒論計算機視覺技術介紹研究背景現實的世界是三維的空間，人類通過兩只眼睛去認識自然界物體的三維立體信息。經過攝像機成像后，對于很多信息都進行了剔除，包括距離，空間物體的被遮擋部分等諸多元素，變成了二維圖像。信號處理理論與計算機出現后，人們試圖用計算機獲取圖像并將這個圖像轉化成數字信號，用計算機實現對視覺信息處理的全過程，這樣，便形成了一門新的學科計算機視覺。計算機視覺中的一個很重要的分支，便是立體視覺，即從兩個或者多個視點去觀察同一場景，獲得在不同視角下的一組圖像，然后通過不同圖像中對應像素間的視差，推斷出場景中目標物體的空間幾何形狀和位置，這種方法就稱為立體視覺（），它是計算機視覺中

6、的核心內容。目前，立體視覺的技術已經廣泛的應用到了日常生活中，并且正在改變著生活的質量及方式，如美國“探索者登月衛星上的機器人視覺系統，數碼相機中的人臉捕捉，排爆機器人對危險物的識別，無人自動車的避障系統等，都將立體視覺技術進行了有效的應用，并且已經影響了日常的生活方式。因此，對立體視覺進行進一步研究，將會非常有意義。國內外發展概況及研究現狀和難點可視信息的處理地位非常重要，尤其是在人類的智能活動中，它關系到人類的思考方式，動機選擇等。計算機視覺的目的就是為了讓計算機能夠處理可視信息，以使其能夠從中提取空間結構的信息。年，計算機視覺這個名詞首先被提出來，迅速形成了一個研究計算機視覺的熱潮，接著

7、出現了許多各種各樣的模型和理論【。年代，美國麻省理工學院人工智能實驗室的提出了一種視覺計算理論，其核心是從圖像中恢復物體的三維形狀，該計算理論可以描述視覺過程，所以其理論影響非常深遠【】【】認為：視覺是一種復雜的信息處理過程。它的輸入和輸出非常明確，目的性較強。他提出：人類視覺信息的處理過程需要有三個層次表達（圖）這江蘇大學碩士學位論文三個層次分別為：要素圖、維圖，以及三維模型。而在這三個層次處理中，如何獲取維圖，一直是人們研究的熱點。圖的分層理論在的視覺計算理論的框架下，計算機視覺被應用到工業自動化、智能機器人、攝影測量、醫學診斷、自動車避障、排爆機器人、無人駕駛機等一些列領域，目前已經在多

8、個方向上獲得良好的成果，為人類的生活和學習帶來了巨大的便利。然而進入到九十年代后，計算機視覺研究的進展卻緩慢起來，在各個領域都沒有突破性的進展。這個時候，人們開始對的理論框架進行深入的思考，發現其中存在著很多問題，這些問題制約著計算機視覺前進的步伐【】【。近年來，不斷有學者提出新的理論框架，策略等，如基于模型的視覺、定性視覺、面向任務的視覺等。這些理論和思想都是通過強調場景和任務約束，通過一些先驗知識等手段，從而達到降低視覺處理的難度，促進視覺從研究走向應用。計算機視覺還是計算機科學和人工智能的一個分支，該領域的重點以及難點同樣是通過計算機來模擬生物的視覺功能，以便使計算機具有與人類水平相當的

9、視覺能力，因此計算機視覺最重要的研究目標就是使計算機具有通過二維圖像認知三維環境信息的能力，即對人眼視覺系統的一些功能模仿。通過這些功能模仿，不僅可以使機器能夠感知三維環境中物體的幾何信息，還包括其形狀、位置、姿態、運動以及其它參數信息，同時還可以對它們進行描述、存儲、識別和理解。例如目前使用的攝像機系統，只能對三維物體采集特征，最終以二維的形式保存、記錄下來，因此會丟掉很多信息諸如灰度、形狀特征、位置特征等等。而計算機立體視覺研究可以有效地解決部分問題，它是利用計算機技術和光學手段，從采集到的一幅或者多幅圖像中還原出被采集物體的立體形狀、空間位置、三維信息江蘇大學碩士學位論文等，進而獲得三維

10、空間數據值。目前，國內該領域也有一定的研究成果，如哈工大采用異構雙目活動視覺系統實現全自主足球機器人導航【。該機器人的視覺采樣系統是一個固定的攝像機和一個水平可以旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時監視不同方位視點，以獲取來自不同方向的信息數據。通過資源的分配以及協調機制，可以使機器人的視野范圍、測距精度及處理速度方面達到最佳匹配效果，對于信息的篩選和定位有很大的幫助。雙目協調技術可以使機器人同時捕捉多個目標，通過第三方程序平臺，可以對有效目標進行篩選，觀測相同目標時通過數據融合，也可以提高測量精度。在實際比賽中，即使其它傳感器失效，在雙目協調的情況下仍然可以實現全自主足球機

11、器人的導航，仍然可以進行比賽。目前，計算機視覺系統還處在實驗室研究階段，但是，隨著視覺理論和大規模集成電路的發展，以及計算機計算能力的飛躍提高，我們相信，在不久的將來，視覺技術會如現在的計算機技術一樣，深入到我們生活中的每一個方面。雙目立體視覺技術雙目立體視覺概述雙目立體視覺就是從兩個視點觀察同一個場景，以獲取在不同視點上的兩幅圖像，通過影像匹配與三角測量原理計算同一場景在兩幅圖像上成像的偏差，以此來獲取景物的位置信息。如圖。這一過程與人類視覺的立體感知過程是非常相似，它可以模擬人類雙眼處理景物的方式，簡便可靠，在許多領域均有應用價值，如三維測量學、虛擬現實、微操作系統的位姿檢測與控制、機器人

12、導航與航測等一個雙目立體視覺系統通常應該包括以下幾個部分：圖像獲取、圖像預處理、攝像機標定（相對定向）、立體匹配、三維內插和高度計算等幾個部分。江蘇大學碩士學位論文圖雙日立體圖像獲取系統圖像獲取雙目立體視覺的圖像獲取是由不同位置的兩臺或者一臺攝像機（）經過移動或者旋轉拍攝同一幅場景，獲取立體圈相對。圖像預處理采集圖像時，兩臺攝像機所處的方位不同。因此不同視角接收到的光強也不同，又由于各攝像機的增益、電平不能保證完全一致，圖像采集卡不同遙道之間的噪音也不完全相同等等這些原因將導致在實際獲得的立體圖像對中相同場景點的像素灰度值存在著差異。如果在立體匹配之前沒有對這些差異進行消除，將會對立體匹配的結

13、果產生很不利的影響。因此，在進行立體匹配之前先要對圖像對進行預處理。圖像預處理主要是對相機獲取的圖像進行圖像增強、圖像恢復、噪聲平滑濾波、幾何校難等處理。攝像機標定攝像機標定是為了確定攝像機的位置、屬性參數和建立成像模型，以便確定空間坐標系中物理點同它在圖像平面上像點之間的對應關系。攝像機標定方法可分為兩大類，第一類是直接估計攝像機位置、光軸方向、焦距等參數：第二類是通過最小二乘擬合，確定二維空間點映射為二維圖像點的變換矩陣。建立一個有效江蘇大學碩士學位論文的攝像機模型，除了能夠精確地恢復出空間景物的三維信息外，還有利于解決立體匹配問題。對于雙目立體視覺而言，攝像機、數碼相機是利用計算機技術對

14、物理世界進行重建前的基本測量工具，對它們的標定是實現立體視覺基本而關鍵的一步。通常先采用單攝像機的標定方法，分別得到兩個攝像機的內外參數，再通過同一世界坐標系中的一組定標點來建立兩個攝像機之間的位置關系。傳統的攝像機標定法利用至少個參數描述攝像機與三維物體空間的約束關系，計算量非常大。目前常用的單攝像機標定方法主要有：直接線性變換法。涉及的參數少，便于計算。透視變換矩陣法。從透視變換的角度來建立攝像機的成像模型，無需初始值，可進行實時計算。相機標定的兩步法。首先采用透視矩陣變換的方法求解線性系統的攝像機參數，再以求得的參數為初始值，考慮畸變因素，利用最優化方法求得非線性解，標定精度較高。雙平面

15、標定法在雙攝像機標定中，需要精確的外部參數。由于結構配置很難準確，兩個攝像機的距離和視角受到限制，一般都需要至少個以上（建議取個以上）的已知世界坐標點，才能得到比較滿意的參數矩陣，所以實際測量過程不但復雜，而且效果并不一定理想，大大地限制了其應用范圍。此外雙攝像機標定還需考慮鏡頭的非線性校正、測量范圍和精度的問題，目前戶外的應用還很少。立體匹配立體匹配的目的是在圖像對的左右圖像上尋找到同名的點，并通過某種手段計算出視差。在實現三維立體再現的過程中，立體像對的匹配時最復雜，也是最重要的工作。按照匹配基元的劃分，立體匹配可以大致分為以下幾類：（）基于區域的相關匹配基于區域匹配的方法是以基準圖的待匹

16、配點為中心創建一個窗口，用領域像素的灰度值分布來表征該像素，然后在對準圖中根據匹配準則約束尋找這樣一個像素，以其為中心創建同樣的一個窗口，并用其鄰域像素的灰度值分布來表征它，然后依據適當的相似性測度，比較兩個窗口的灰度分布的相似性，兩者間的相似江蘇大學碩士學位論文性必須滿足一定的閡值條件，從而通過這一方式實現兩幅圖像的匹配，最終的匹配結果不受特征檢測精度的影響，可以獲得很高的定位精度和密集的視差表面，但是這種方法過分地依賴于圖像灰度統計特性，使得匹配對景物結構、光照反射和成像等都非常敏感，在空間景物表面缺乏足夠紋理細節、成像失真較大（如基線長度過大）的場合存在一定的困難，不能獲得滿意的結果；同

17、時，匹配窗口大小選擇沒有具體的標準，這使得無法對于計算量有一個確切的估計；該法的使用對于圖像的要求條件比較高。（）特征匹配基于圖像特征的匹配不直接利用灰度值進行匹配，而是利用狄度信息抽象得到的圖像特征實現匹配因此它對圖像的要求較低，對圖像的光照條件和噪聲影響不敏感，具有對外界的變化不敏感、穩定性好、精度高、匹配速度快等優點，獲得了較廣泛的應用。但是這種方法同樣也存在一些不足，特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場，特征的提取和定位過程直接影響匹配結果精確度，改善辦法是將特征匹配的魯棒性和基于灰度匹配的致密性充分結合，利用對高頻噪音不敏感的模型來提取和定位特征。（）基于相位的匹配算

18、法基于相位的匹配算法是利用多尺度的空間頻率分析方法，提取圖像不同頻段的信息進行匹配，視差精度可到亞像素級，視差場密集。最常用的相位匹配方法有相位相關法和相位差頻率法。由于相位本身反映的是信號的結構信息，因此，對圖像的高頻噪聲有很好的抑制作用。相位匹配適于并行處理，對幾何畸變和輻射畸變有很好的抵抗能力，能獲得亞像素級精度的致密視差。但是，當局部結構存在的假設不成立時，相位匹配算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點問題。此外，相位匹配算法的收斂范圍與帶通濾波器的波長有關，通常要考慮相位卷繞，隨視差范圍的增大，其精確性會有所下降。三維內插介紹要對空間點進行重建，必須獲得兩

19、個方面的參數，一個是空間任一點在兩個圖像中的對應坐標，另一個就是兩臺攝像機參數矩陣。這樣就可以獲得個線性江蘇大學碩士學位論文方程，這個方程式可以該點在世界坐標中的參數，通過使用最小二乘法，可以求解這個線性方程，繼而獲得該點的世界坐標。在實際重建中，通常采用外極限約束法來實現這一目的。所謂極線，就是指空間點和兩個攝像機的光心，這三點組成的平面分別與兩個成像平面產生交線，這個交線稱為該空間點在這兩個成像平面中得極線。通過對兩攝像機的內外參數的確定，利用兩個成像平面上的極線之間的約束關系建立起一個對應點之問的關系，再通過聯立方程，即可以求出圖像點的世界坐標值。對于具體的目標，可以通過使用圖像的全像素

20、三維重建來實現，但是這樣計算量大且效果不明顯，在實際使用中并不理想。由于通過圖像匹配，僅僅能獲得比較稀疏的視差表面，因此需要尋求另一途徑來解決這個問題。選擇使用內插的方法恢復出密集的視差表面，并將視差數據轉換為三維數據。雙目立體視覺系統的理想模型圖給出了一個理想的雙目立體視覺模型。圖理想的雙目立體視覺模型圖中，、分別表示不同視點下的圖像平面，、分別為攝像機的光心位置。通過以下公式可以推導出空間任一物點的距離公式：江蘇大學碩士學位論文：五一而（）為攝像機光心之間的距離，也是基線長度；廠是攝像機焦距，在上面模型中，兩個攝像機的焦距相同；、恐分別為空間某一物點在圖像平面上形成像點異、只沿掃描線方向的

21、坐標，為視差。通過上面的計算公式可以看出，距離計算的公式相對比較簡單，但是要通過某一途徑尋找出空間任一物點在左右影像上的視差卻比較困難。而對于雙目立體匹配來說，其核心問題就是要尋求某一途徑來尋找同名點（），并求出該同名點的視差。論文主要工作立體視覺技術研究范圍廣泛，應用領域也日益增多。本文的研究重點是在標定部分跟特征匹配部分，其中在標定部分中，通過實驗結果的對比，探索出一種適合于本課題背景的標定方法，以精確獲得攝像機的內外部參數：而在特征匹配部分，通過對特征算子的改進，獲得一種優化算法，并且通過程序的編譯，以驗證改進算子更加適合應用于本課題的特征匹配及提取。全文一共由五章組成，論文的主要內容和

22、組織如下：第一章緒論主要介紹了的視覺計算理論，立體視覺技術的發展以及雙目立體視覺技術的原理及組成。第二章攝像機標定技術對攝像機標定技術進行了研究與綜述，討論了攝像機的成像模型、典型的攝像機標定方法、雙目立體攝像機標定方法，并對本文中使用的一種新的立體影像對的校正方法做了介紹，通過對兩步法與張正友提出的張氏標定法進行比較，選取了最適合本研究領域的標定方法一張氏標定法，并且基于張氏標定法的思想，進行平臺下的程序編譯，選定標定模板，通過模板實驗，最終獲得攝像機的內外部參數。第三章立體匹配技術的研究介紹了常用的立體匹配算法，并且通過對基于區域和基于特征的立體匹配算法的討論，提出了基于邊緣特征約束及高斯

23、核徑向基函數網絡的視差估計算法。本章重點詳述了這樣一個相當優秀的檢測算子，它對光照變化、尺度變化和旋轉等具有良好的不變性、穩定性，對于目標的運動、江蘇大學碩士學位論文遮擋、噪音等因素也保持了較好的匹配性。基于此，本文在算法的基礎上進行了簡化，提出了基于算子的算法，詳細介紹了算法的過程，然后基于該算法的原理進行程序編譯，實驗中通過程序運行，獲得實驗結果。與基于算法下的程序匹配結果進行對比，下的程序在降低了匹配點的數量的同時，也較大的提高了計算機處理的實時性，與預期的結果相同。第四章三維數據的獲取及三維重建重點闡述了立體視覺的基本原理和三維空間坐標的計算方法，最后對于實驗圖像進行三維高程數據的采集

24、，以及獲取空間點坐標。通過對常用空間點重建方法的比較，選擇了一種新的空間點的坐標求取方法，并對該方法進行了實驗驗證，以及分析比較。并在平臺下進行程序編譯，通過實驗，獲得待重建圖片的三維輪廓圖，得到了預期的效果。第五章總結與展望總結了全文的研究工作，對該課題的進一步完善和研究方向進行了更深一步的探討，同時對下一階段的研究工作做了一些展望。最后是致謝和參考文獻列表。江蘇大學碩士學位論文第二章雙目立體視覺系統的數學模型和攝像機的標定在三維視覺系統中，三維物體的位置、形狀等幾何信息都是從攝像機獲取的圖像信息中得到的。為了獲取空間點到攝像機圖像像素點的對應關系，首先必須對攝像機進行標定。因此，雙目立體視

25、覺系統的標定時建立在被測對象表面點的二維投影圖像坐標與三維世界坐標之間的橋梁，是實現三維模型重構的基礎，也是立體視覺運用研究領域中的重點和難點之一。攝像機標定的目的是利用給定物體的參考點坐標和它的圖像坐標來確定攝像機內部的幾何和光學特性（內部參數），以及攝像機在三維世界中的坐標關系（外部參數）。內部參數包括鏡頭焦距，鏡頭畸變系數，坐標扭曲因子，圖像坐標原點等參數。外部參數包括攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量等參數。雙目立體視覺系統的數學模型如圖所示的雙目立體視覺系統【】在理想的針孔成像模型基礎上考慮了透鏡的徑向畸變因素。圖中，（。，匕，。）是三維世界坐標系仉。中的對象點；置磊和

26、，分別為左右攝像機的坐標系；坐標中心點和，分別為左右攝像機的光學中心；圖雙目立體視覺系統的理想模型和，軸分別與左右攝像機光軸重合；，和，分別是左右攝像機江蘇大學碩士學位論文成像平面的坐標系，圖像中心為光軸，與左攝像機圖像平面的交點，圖像中心為光軸，與右攝像機成像平面的交點；置和軸分別與左攝像機坐標系的而和奶軸平行，和軸分別與右攝像機坐標系的和”軸平行；，和，咋分別是左右攝像機的成像在計算機中的（幀存）圖像坐標系，采集到的圖像在計算機幀存中的坐標單位以像素數（）表示。（邑，）是點在理想針孔成像模型下的圖像坐標。（髟，匕）是點的實際圖像坐標，因透鏡的徑向變形而偏離了其理想圖像坐標（邑，匕）位置。有

27、效焦距廠是光學中心到圖像平以左攝像機的成像過程為例，將物體點的三維世界坐標（。，匕，。）變換到計（）從物體三維世界坐標（，匕，。）到攝像機三維坐標（，）的變換：三尺耋崔割，江蘇大學碩士學位論文廠一仫平移矢量丁瓦弓，則表明了攝像機相對于世界坐標系的位置關系。（）攝像機三維坐標（，）在理想的小孔成像模型下經投影變換至圖像（邑，）：邑廠蘭廠上（）（）考慮攝像機透鏡的徑向畸變因素，將理想圖像坐標（。，）轉換成實際圖像坐標（，虼）：邑。（）一匕（打）（）其中，在公式（）中，、云可，它表示圖像中心到實際圖像坐標（，匕）的距離；表示透鏡徑向畸變系數。攝像機鏡頭的非線性畸變包括徑向畸變，離心畸變和薄棱鏡畸變。

28、經過實驗驗證，表吲：一般情況下，非線性攝像機模型只需采用上述第一項徑向畸變已能足夠描述非線性畸變因素的影響。如果考慮更多的非線性畸變參數（如離心畸變和薄棱鏡畸變）會使攝像機標定問題的求解需要使用非線性優化算法。過多的非線性參數的引入不但不能提高精度，反而會引起求解過程的不穩定。（）實際圖像坐標（邑，匕）到計算機圖像坐標（，）的變換：跖邑虬（）虬其中，（，）表示圖像中心的計算機圖像坐標（）：虬，虬表示圖像平江蘇大學碩士學位論文面上單元距離內包含的像素數。從物體三維世界坐標（，匕，）到計算機圖像坐標（甜，）的變換表示了三維物體在單個攝像機中的成像過程。根據立體視覺的三角測量原理可知，由左右兩臺攝像

29、機對空間物體進行觀察所獲取的兩幅圖像（其計算機圖像坐標分別用（，）和（“，屹）表示）。則可以唯一確定物體的空間三維位置（。，匕，。）（）以上四個步驟表示了單攝像機在考慮徑向畸變因素時的透視投影變換過程，以下是雙攝像機立體視覺系統在考慮徑向畸變的情況下，由對象點的左右二維圖像坐標（，）年（，）恢復三維世界坐標。，匕，。）的過程。為了便于稱呼，分別用和“，來表示左右攝像機的相關參數。對于左邊的攝像機，（）可以表述如下所示：臥展開成方程組的形式：五（）吃（）吃（），（乞（）（）匿剄沼）而（）。，匕）（），餳匕仫。弓毛（）。）。）。互由（）式可以得到：（）量：芷墨±芷鱉±芷互

30、77;互毛（）（）。吩互筮：壘！蘭！±型！玉±壘竺芻±互！毛（）在（）式中，里面包含了所有攝像機的參數互、弓、屈、乃（這些都成為攝像機的外部參數），他們可以確定左邊攝像機相對于世界坐標系的位置和姿態。將（）式和（）式代入（）式，可以得到：江蘇大學碩士學位論文島掣¨（蛩（釧她島蛩¨（蛩（蛩詈（）在上米阿尼公式中，、島是為方便公式推導而設定的中間參數；（，）是對象點在左圖像平面上的像素坐標。（）式中的參數包含有，、。、虬。、。、五、白，這些都屬于攝像機的內部參數，它們表示了攝像機的內部特性。由上可得，（）式可以寫成：口糍籌糍經過變換，（）式可以簡寫

31、成：盔竹。匕，其中，一（）。，（）。釅。）。（）（）畋。匕，吒譬一口搿，巷一罐，程一蠼，搿一島搿蠼島蠼么口互。一互，對于右邊的攝像機，同樣有：瓔一島搿島。一弓如。匕。（），匕，寧一口搿一口搿鴨程一口蟛，醬一吃搿江蘇大學碩士學位論文瑤一蟛曙一搿鏟掣卜（蛩（蛩）去如蛩卜（蛩）（蛩）三萎象戛耋萎鴨他，口口（，一他一。口外。（）矩陣和中的元素包含了攝像機的內部，以及外部的所有參數。其中對于左攝像機來說，有、層、乃、乏。、，、虬、虬、五、毛。對于右攝像機來說，口：、展、跏互：、弓：、：、虬、厶、屯，一共有個參數在以上系列方程中。由式（）可以求得對象點三維坐標（。，匕，。）的最小二乘解：腳栩場攝像機標定弦

32、在立體視覺系統中，三維計算機視覺系統應該能夠從攝像機獲取的圖像信息江蘇大學碩士學位論文出發，計算三維環境中物體的位置、形狀等幾何信息，并由此識別環境中的物體。圖像上的每一點的亮度反映了空間物體表面某點反射光的強度，而該點在圖像上的位置則與空間物體表面的相應點的幾何位置有關。這些位置的相互關系，由攝像機成像幾何模型所決定。該幾何模型的參數稱為攝像機參數，這些參數必須通過實驗與計算來確定，這種實驗與計算的過程稱為攝像機的標定。攝像機標定的結果將直接影響到后面的三維重建的精度，因而實現立體攝像機對的標定工作是三維重建系統中必不可少的一步【。攝像機的標定首先在攝影測量學中提出來，隨著計算機視覺的發展，

33、已經成為該領域的研究熱點之一。計算機視覺系統是建立在攝像機標定基礎之上的三維測量系統。攝像機標定的目的是確定三維物體的世界坐標系到攝像機上圖像坐標系的映射關系，其中包括攝像機成像系統內外幾何及光學參數的標定和兩個或者多個攝像機之間的相對位置關系的標定。攝像機標定的精度是決定立體視覺系統三維重建精度的關鍵因素之一，也是系統誤差的主要來源之一。攝像機成像模型（）世界坐標系、攝像機坐標系和圖像坐標系攝像機采集的圖像以標準電視信號的形式輸入到計算機，轉換成數字圖像。每幅數字圖像在計算機內為數組，行列的圖像中的每一個元素（稱為像素）的數值就是圖像點的亮度（或者稱為灰度）。如圖所示，在圖像上定義直角坐標系

34、、每一個像素的坐標（，）分別是該像素在數組中的行數和列數。所以（，）是以像素為單位的圖像坐標系的坐標。必須指出，（，）并沒有用物理單位表示出該像素在圖像中的位置，因而需要再建立以物理單位（例如毫米）表示的圖像坐標系。該坐標系以圖像內某一點，為坐標原點，軸和軸分別與、軸平行。這里的（，）表示以毫米為單位的圖像坐標系。在，坐標系中，原點定義在攝像機的光軸與圖像平面的交點，該點一般位于圖像的中心處，但是由于攝像機制作的原因，也可能有些偏離。若在，坐標系中的坐標為，），每一個像素在軸與軸方向上的物理尺寸為，則圖像中任意一個像素在這兩個坐標系下的坐標有以下關系【：江蘇大學碩士學位論文，姜方圖圖像坐標系用

35、齊次坐標與矩陣的形式表示以上式子：加；一如“土匆籪囂蝴（），砭，）舯吶躲竺一淼，刪與圖槲刪疆簍的？。一：二蛹，像平面的交點，由點與。，軸組成網且用翌。”“，黑？器囂刪怖舶謝如彬竺鬈簍篡世：蛹辨讎腳稈鯽芝竺，罷等霧姜州桫讞泵司一剖系下的齊次坐標如果設定為岱，匕江蘇大學碩士學位論文。三，匕匕（）傳統的攝像機標定方法傳統的攝像機標定的基本方法是在一定的攝像機模型下，基于特定的實驗條件如形狀、尺寸等已知的參照物。經過對其進行圖像處理，利用一系列數學變換和計算方法，求取攝像機模型內部參數和外部參數。按照其算法思路可以分成線性方法，非線性優化法，兩步法，雙平面方法，張正友標定以及其他的一些方法等【。線性方

36、法一般的線性求解方法是透鏡變換方法和直接線性變換方法（）。方法與透視變換線性標定方法類似，但是相差一個比例因子。該法的優點是不需要迭代，速度較快，計算優勢比較明顯。缺點是不能進行系統誤差的修正，標定精度不是很高。非線性優化方法當鏡頭畸變較明顯，線性模型不能準確地描述成像幾何過程，這就引入非線性模型。在計算機視覺中，對非線性問題進行優化求解的方法，通常分為兩大類，一類是擬線性化方法，一類是完全非線性法。兩步法（）給出了一種基于徑向約束的標定方法兩步法（）。在該法求解攝像機參數的過程中分為兩步。第步是利用最小二乘法解超定線性方程，給出外部參數；第二步求解內部參數，如果攝像機無透鏡畸變，可以由一個超

37、定線性方程解出。反之，如果存在徑向畸變，則可結合非線性優化的方法獲得全部參數【。兩步法的優點是迭代參數較少，能夠提供較好的初始值，求解速度快，精度比較高。平均精度可以達到，深度方向精度可以達到。它同時具有求解速度快和非線性優化計算準確的優點，目前，在兩者都能兼容的算法中，它是比較好的一種方法。張正友標定法江蘇大學碩士學位論文張氏標定發用的是針孔模型，但是其標定的具體方法是在自標定和傳統標定之間采用的一個妥協的方法。該方法假設標定用平面圖板在世界坐標系中，通過線性模型分析計算得出攝像機參數的優化解，然后用基于最大似然法進行非線性求精。在這個過程中標定出考慮鏡頭畸變的目標函數，最后求出所需的攝像機

38、內、外部參數。這種標定方法的優點是具有良好的魯棒性，不需要昂貴的精制標定塊，實用性很強。缺點是在廣角鏡畸變比較大的情況下，校正效果偏差比較大。雙平面定標法等研究小組首先提出了雙平面模型，該模型不像針孔模型那樣要求所有投射到成像平面上的光線必須經過光心。給定成像平面上的任意一個圖像點，便能夠計算出兩個定標平面上的相應點，從而確定了投射到成像平面上產生該圖像點的光線。對每一個定標平面，利用一組定標點，建立彼此獨立的插值公式。這種方法的優點是利用線性方法就可以解有關參數。雙平面定標法的缺點是要求解大量的未知參數，存在過分參數化的傾向，從而增加大量的計算，損耗硬件資源。自標定技術傳統的攝像機標定法可以

39、獲得較高的標定精度，但不適用于一些無法使用標定物場合。在很多情況下，尤其存在經常性調整攝像機的要求，而且設置已知的定標參照物也不現實，這時就需要一種不依賴定標參照物的方法，即攝像機自定標方法【。自標定（），試圖僅利用攝像機在運動過程中周圍環境的圖像與圖像之間的對應關系對攝像機進行標定。其優點在于不依賴于標定裝置而在線進行。目前已有的自標定技術可以分為利用絕對二次曲線和極線變換性質解方程的攝像機自標定方法、分層逐步標定法、基于二次曲面的自標定方法、基于主動視覺的攝像機自標定技術以及其他改進的攝像機自標定技術。以小孔模型為例，攝像機的自標定可以在三個層次上進行。在對外部參數一無所知的條件下，即對空

40、間結構不做任何假設，攝像機的運動參數也不能被量化描述，這種情況下，自標定只能給出投影矩陣，而不能從一系列參數中分解粗話攝像機的內外參數，這個就是射影意義下的標定。如果假設成像深度足夠大，即可以滿足平行投影條件，這時可以進行仿射意義下的標定，其結果是由無窮遠點引入的江蘇大學碩士學位論文同形矩陣（）。如果能精確得到攝像機運動的外部參數，投影矩陣的分解就可能獲得唯一的參數，這時可以得到攝像機的內部參數，這種情況是最理想的【。對于理想情況下的自標定細節，詳細論述可以參閱文獻【。相對于傳統方法來說，攝像機自標定法有著更好的靈活性和實用性，但在精度方面，目前還不是太理想，有待進一步的提高。兩步法在絕大多數

41、情況下，線性模型不能準確的表示出攝像機的成像幾何關系，因此，在實際應用中，為提高攝像機標定的準確性，從而提高立體視覺的重建系統精確性，大部分是采用的非線性模型。其中影響最大，效果最好的就是的“兩步法”。它的基本思想是：第一步采用常規的線性模型，通過相關的計算方法以求解出攝像機的全部或部分參數作為近似初值；第二步以求得的參數為初始值，利用其它方法計算出畸變系數以及一些別的參數，并進一步提高第一步得到的攝像機內外參數精尉。算法基本原理如圖所示。定義空間任一點，該點在世界坐標系中的坐標是（，兒，），在攝像機坐標系中的坐標為（五，）；設點在理想針孔線性模型下的成像點是見（吒，咒），在一階徑向畸變模型下

42、，該點的實際成像點為（勤，兒）；（甜，）則是實際成像點的坐標，該坐標為該點在計算機圖像坐標系中的坐標。從世界坐標系（，）到（，）的變換，通過非齊次模型表示，可以分為四步：（）世界坐標系到攝像機坐標系的轉換莖尺耋一）其中，為的正交旋轉單位矩陣，為的平移向量。江蘇大學碩士學位論文圖攝像機坐標系與世界坐標系關系（）針孔模型下的理想投影變換吒，羔乙兒一乙（）咒，（）采用的畸變模型吒（斫）咒（砑）（）成像平面坐標到計算機圖像坐標的變換（）一（），一虼江蘇大學碩士學位論文設：旦：，亟墮則局暢方其中，為尺度因子。由此可見，除了六個外部參數以外，還需要標定六個內部參數，廠，其中內部參數，可以進行預標定。在徑向

43、的方向上，由于存在畸變，即實際投影點在主點與理想投影點之間的連線上，所以，在實際上，矢量耵和矢量萬，以及矢量硒的方向相同，這些就是所謂的徑向排列約束，設尺蘭薹薹，蘭則有：，吃。吩乞（）咒，乙勺：巧屹吩氣乞經過上式的轉化，約束可以表示成：立：生量盤±壘！芝±堡三絲±壘：暨二（）。吃氣勺移項整理得到：（）其中，行矢量【），。氣兒兒一勤。劫。一，的各項參數是已知的組成的而列向量彤一一。彤一一“一一“一一一吩一勺吃一下是由待求參數江蘇大學碩士學位論文對于每一個目標點。已知其，就可以通過公式（），列出一個方程，通過該方程，就直觀地獲得已知量與未知量。因此，如果選取空間個點，

44、就可以接觸列向量的個分量，由于是正交單位矩陣，僅有三個自由度，再加上，乞，一共有六個獨立變量，因此可以唯一確定旋轉矩陣和屯，。標定過程：求解旋轉矩陣，平移矩陣的乞，分量以及圖像尺度因子。（）拍攝幾幅具有不同已知高度若干共面特征點的標定模塊或模塊圖像，利用圖像處理方法確定各個特征點的圖像坐標，設（）個點，圖像坐標為；，（），并設這些點相應的世界坐標為（，），衍，衍）。則：勤一竺凸；一芏監工（）（）對每一個點只可列出一個方程，聯立這個方程，得到：嘞利用最小二乘法解這個超定方程組，可得到如下變量：（）鏟等，曠等，弓，三口勺，口：豆（）利用是單位正交矩陣的性質，計算得出：，一（口，十口。口；）（口：），求得后，還需要確定。的符號。通過成像的幾何關系，可以得知，與。符江蘇大學碩士學位論文號相同，與符號相同，由此可以推斷出的符號。任選一個特征點，（，以，），首先假定為正號。計算下式吒等，吃等，吩等，弘。例加例，勺，乞等，乞，。吩氣