1、1.攝像機標定技術的發展和研究現狀計算機視覺的研究目標是使計算機能通過二維圖像認知三維環境，并從中獲取需要的信息用于重建和識別物體。真實的3D場景與攝像機所拍攝的2D圖像之間有一種映射關系，這種關系是由攝像機的幾何模型或者參數決定的。求解這些參數的過程就稱為攝像機標定。攝像機標定實質上是確定攝像機內外參數的一個過程，其中內部參數的標定是指確定攝像機固有的、與位置參數無關的內部幾何與光學參數，包括圖像中心坐標、焦距、比例因子和鏡頭畸變等；而外部參數的標定是指確定攝像機坐標系相對于某一世界坐標系的三維位置和方向關系。總的來說, 攝像機標定可以分為兩個大類: 傳統的攝像機標定方法和攝像機自標定法。傳

2、統攝像機標定的基本方法是, 在一定的攝像機模型下, 基于特定的實驗條件如形狀、尺寸已知的參照物, 經過對其進行圖像處理, 利用一系列數學變換和計算方法, 求取攝像機模型內部參數和外部參數。 另外, 由于許多情況下存在經常性調整攝像機的需求, 而且設置已知的參照物也不現實, 這時就需要一種不依賴參照物的所謂攝像機自標定方法。這種攝像機自標定法是利用了攝像機本身參數之間的約束關系來標定的, 與場景和攝像機的運動無關, 所以相比較下更為靈活。1966年，B. Hallert研究了相機標定和鏡頭畸變兩個方面的內容，并首次使用了最小二乘方法，得到了精度很高的測量結果。1975年，學者W. Faig建立的

3、一種較為復雜的相機成像模型，并應用非線性優化算法對其進行精確求解，但是仍存在兩個缺點，一是由于加入了優化算法導致速度變慢，二是標定精度對相機模型參數的初始值的選擇有嚴重的依賴性，這兩個缺點就導致了該標定方法不適于實時標定。1986年Faugeras提出基于三維立方體標定物通過拍攝其單幅圖像的標定方法，該方法是基于理想線性模型的，標定精度較高，但是對標定立方體的制作和加工的精度要求太高，維護起來困難且并未考慮畸變參數的影響。1986年，在非線性優化標定理論的基礎上R. Y. Tsai提出了Tsai攝像機模型，對應這種Tsai攝像機模型提出了經典的Tsai兩步標定法。Tsai兩步標定法的主要思想是

4、：為了使迭代次數明顯減少，計算速度也就得到加快，所以采用了除了少數標定參數利用了非線性的迭代方法求解，而標定過程中其他大部分參數則采用了常規的線性方法直接求解。不過這種Tsai兩步標定法設定的相機模型畸變量較簡單，沒辦法解決實際中比較復雜的畸變標定問題。由于Tsai兩步標定法中存在的明顯不足，J. Weng對Tsai的畸變模型進行改進之后，在此基礎上對應的標定方法就能夠很好的進行運用和實現較好的標定效果。1999年，微軟研究院的張正友提出了一種基于移動平面模板的攝像機標定方法，該方法縮小了相機標定的成本，而且簡單明了，并且標定的精度也明顯提高了很多。目前已有的自標定技術大致可以分為幾種：利用絕

5、對二次曲線和極線變換性質解Kruppa方程的攝像機自標定方法、分層逐步標定法、基于二次曲面的自標定方法、基于主動視覺的攝像機自標定技術以及其他改進的攝像機自標定技術。20世紀90年代初，Faugeras，Luong，Maybank等首先提出了自標定的概念, 使得在場景未知和攝像機任意運動的一般情形下標定成為可能。Faugeras等從射影幾何的角度出發證明了每兩幅圖像間存在著兩個形如Kruppa方程的二次非線性約束，通過直接求解Kruppa方程組可以解出內參數。鑒于直接求解Kruppa方程的困難，人們又提出了分層逐步標定的思想，即首先對圖像序列做射影重建，在此基礎上再仿射標定和歐氏標定。分層逐步

6、標定的方法以Hartley的QR分解法，Triggs的絕對二次曲面法，Pollefeys的模約束法等為代表。由于我們的需求總是在不斷發生變化，研究效率需要不斷提高，因此我們需要使用更靈活方便、運算更快、精度更高的標定方法，同時這也意味著我們需要更好地解決優化問題中存在的缺陷，這也是目前學者們不斷提高標定技術的主要方向和研究的重要內容，而所說的優化缺陷指的就是冗余參數、模型表達、方程病態等問題。2.視覺測量的基礎理論2.1 坐標系定義一、世界坐標系（World Coordinate System）用戶定義的三維坐標系，用來描述真實物理世界中的物體坐標。二、攝像機坐標系（Camera Coordi

7、nate System）原點為攝像機光心，一般為鏡頭中心點。軸沿光軸指向景物方向，軸和軸分別與像素行和列平行。三、像平面坐標系（Image Coordinate System）原點為光軸與像平面的交點，軸和軸分別與軸和軸平行且指向相同。四、像素坐標系（Pixel Coordinate System）像素坐標（，）實際上是像點在像素陣列中的行數與列數，選擇軸和軸分別平行于軸和軸且方向相同，原點位于像素陣列的一個角上，陣列內所有像素的和坐標為正值。2.2 坐標系轉換攝像機的成像模型一般采用針孔模型（Pin-Hole Model），是一個簡單的線性模型，與我們中學時學的小孔成像是一個原理，如圖1所示

8、。圖1  兩千多年前，墨子和學生進行了世界上第一個小孔成像實驗如圖2左邊所示，為了把成像模型解釋清楚，我們來仔細看看攝像機的成像幾何關系。同時我們把成像平面放到了小孔的前面，這樣成像就是正立著的而不像上圖那樣倒立了。圖2  左：針孔成像模型；右：圖像坐標系 點稱為攝像機的光心，由點O與、軸組成攝像機坐標系。 I是成像平面（圖像平面），我們把鏡頭對焦后，物體就成像在這個平面。圖像平面構成了一個像平面坐標系，橫坐標為，縱坐標為。 軸和軸與圖像的軸與軸平行，軸為攝像機的光軸，它與圖像平面垂直。光軸與圖像平面的交點，即為像平面坐標系的原點。 點和點之間的長度為攝

9、像機焦距。如圖2右邊所示，像平面坐標系以Oxy為原點，由x、y軸組成，單位是mm。然而，在實際的相機中，并不是以物理單位（如mm）來表示某個成像點的位置的，而是用像素的索引。比如一臺相機的像素是1600×1200，說明圖像傳感器（也就是以前的膠片）橫向有1600個捕捉點，縱向有1200個，合計192萬個。對于某個成像點，實際上都是這樣表示的：橫坐標第個點，縱坐標第個點（而不是橫坐標x mm，縱坐標y mm）。假設Oxy在u、v坐標系中的坐標為，每一個像素在x軸與y軸方向上的物理尺寸為寬mm，高mm，則圖像中任意一個像素的索引坐標與物理坐標滿足下面的換算關系： （1

10、）將上式寫成矩陣的形式：      （2）這里把之前的坐標和都轉成齊次坐標和了。齊次坐標（Homogeneous Coordinate）的好處是：即使乘個系數，仍對應于原來的同一個點。同時，還便于幾何變換（旋轉、縮放、平移），只需用一個大一號的矩陣即可將變換矩陣的乘法（旋轉、縮放）和加法（平移）合并到一塊。此外，齊次坐標還可表示不同的無窮遠點。如圖2左邊所示，空間上任何一點在圖像上的投影位置為光心與點的連線與圖像平面的交點，這種關系也被稱為中心射影或透視投影。由幾何比例關系可得出： （3）    （4） 

11、 （5）其中為p的圖像坐標，為空間點P在攝像機坐標系下的坐標。攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R與平移向量t來描述，即： （6）其中為3×3的矩陣；為3×1的向量；為4×4的矩陣，也被稱為攝像機外部參數矩陣。我們將公式（2）和公式（5）代入公式（6），就可以得到P點在世界坐標系下的坐標與其在圖像平面的投影點p的坐標的關系： （7）其中，；為3×4矩陣，稱為投影矩陣；完全由、決定的攝像機內部結構（如焦距、光心）有關，稱為攝像機內部參數；完全由攝像機相對于世界坐標系的方位（如擺放位置和拍攝角度）決定，稱為攝像機外部參數。確定某一攝像機的內部和

12、外部參數，就被稱為攝像機標定（Calibration）。注意，很多情況下的攝像機定標僅指確定攝像機的內部參數。3.張正友標定法 該方法最早由微軟研究院的Zhengyou Zhang教授提出，1998年發表在IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，論文題目為：A Flexible New Technique for Camera Calibration。（一） 標定平面到圖像平面的單應性單應性(homography)：在計算機視覺中被定義為一個平面到另一個平面的投影映射。首先看一下，圖像平面與標定物棋盤格平面的

13、單應性。符號定義：，表示像平面二維點，增廣形式；，表示空間三維點，增廣形式。轉換關系：， （8）其中，是尺度因子，對于齊次坐標，尺度因子不會改變坐標值的；表示攝像機的內參數；因為像素不是規規矩矩的正方形，代表像素點在方向上尺度的偏差。因為標定物是平面，所以我們可以把世界坐標系構造在Z=0的平面上。然后進行單應性計算。令Z=0可以將上式轉換為如下形式： （9）既然，此變化屬于單應性變化。那么我們可以給一個名字：單應性矩陣，用來表示， （10）是一個3×3的矩陣，并且有一個元素是作為齊次坐標。因此，有8個未知量待解。現在有8個未知量需要求解，所以我們至少需要八個方程。所以需要四個對應點。

14、四點即可算出圖像平面到世界平面的單應性矩陣。（2）利用約束條件求解內參矩陣  從上面可知，應用4個點我們可以獲得單應性矩陣。但是，是內參陣和外參陣的合體。我們想要最終分別獲得內參和外參。所以需要想個辦法，先把內參求出來。然后外參也就隨之解出了。定義，由（10）可知，式中是尺度因子。因為，可得兩個基本限制條件 （11） （12）式子中，, 是通過單應性求解出來的那么未知量就僅僅剩下，內參矩陣了。內參陣包含5個參數：，。那么如果我們想完全解出這五個未知量，則需要3個單應性矩陣。3個單應性矩陣在2個約束下可以產生6個方程。這樣可以解出全部的五個內參了。那我們怎樣才能獲得三個不同的單應性矩陣

15、呢？答案就是，用三幅標定物平面的照片。我們可以通過改變攝像機與標定板間的相對位置來獲得三張不同的照片。（當然也可以用兩張照片，但這樣的話就要舍棄掉一個內參了）定義（13）注意到矩陣是對稱陣，于是全部未知元素定義成一個6D矢量 （14）矩陣的第列為，得到 （15）其中，。因此，約束條件（11）、（12）可以寫成如下形式 （16）通過至少含一個棋盤格的三幅圖像，應用上述公式我們就可以估算出了。得到后，我們通過cholesky分解 ，就可以輕松地得到攝像機的內參陣。 （17）（3）已知內參矩陣求解外部參數從（10）可知，（4）非線性模型的標定之前考慮的都是理性化的針孔相機模型，真實的攝像機

16、鏡頭總是存在著幾何畸變。目前考慮較多并且對成像影響較大的是徑向畸變。那么如何得到精度更高的標定結果呢？張氏標定法采用了最大似然估計的方法。評價函數： （18）其中，是圖片張數，是特征點個數。使（18）最小是一個非線性優化問題，使用Levenberg-Marquardt算法可以解出。該方法需要較準確的初值，可以由前述方法給出。（5）總結張氏標定的過程：       1.      打印一張棋盤格，把它貼在一個平面上，作為標定物。       2.      通過調整標定物或攝像機的方向，為標定物拍攝一些不同方向的照片。  &#