第五章三維注冊與虛實融合5.1虛實融合原理5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合增強顯示案例：中聯(lián)重科增強現(xiàn)實.mp4

（1’28’’)

增強顯示案例：中聯(lián)重科增強現(xiàn)實.mp45.1虛實融合原理5.1虛實融合原理增強現(xiàn)實系統(tǒng)必須能夠實時地檢測出觀測者(或攝像機)相對于真實場景的位置和方向角，以及成像系統(tǒng)(攝像機)的內部參數(shù)(焦距和成像屏幕大小等)。根據(jù)這些信息實時確定所要添加的虛擬信息在投影系統(tǒng)中的大小、方向和映射位置。在用戶看來，無論從任何角度觀察，都應該使虛擬物體與真實場景保持三維歐氏空間的幾何一致性。這就是AR中的三維注冊(Registration)所要完成的任務。5.1虛實融合原理增強現(xiàn)實系統(tǒng)必須能夠實時地檢測出觀測者(或攝像機)相對于真實實現(xiàn)虛實融合的關鍵技術，是相機標定與三維注冊技術，通過精準的相機標定與三維注冊，使虛擬物體可以與真實世界進行無縫融合。在真實世界中人為地設定世界坐標系的原點、X坐標、y坐標、Z坐標，并測量出多個標志點的三維坐標值。對攝像機攝取的圖像進行視覺識別，找到各標志點在圖像顯示坐標系中的二維坐標值。通過各個標志點在世界坐標系中的三維坐標值和在顯示坐標系中的二維坐標值，實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)。識別出通過提取給定的一幅或多幅圖像的特征點來計算攝像機在真實世界的相對位置和方向，根據(jù)這些信息實時確定系統(tǒng)中要添加的虛擬物體在真實環(huán)境中的正確位置。使用基于計算機視覺的相機標定技術對標識進行識別，實現(xiàn)系統(tǒng)中的三維注冊。三維注冊子模塊以圖像檢測模塊的輸出結果為數(shù)據(jù)的輸入，通過相機標定內部參數(shù)和外部參數(shù)的算法，將程序中所用到標記的三維位置和姿態(tài)計算出來。相機的外部參數(shù)作為輸出結果輸入到虛實融合子模塊，用DirectX或openGL中的虛擬相機模擬真實世界中的相機，產生良好的虛實環(huán)境無縫融合的場景。將三維的虛擬動畫模型渲染到特定的標識物上，實現(xiàn)增強現(xiàn)實的效果。5.1虛實融合原理實現(xiàn)虛實融合的關鍵技術，是相機標定與三維注冊技術，通過精準的根據(jù)實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)設定虛擬相機。通過虛擬相機對三維虛擬場景進行變換。（1）將變換后的虛擬場景的影像疊加到實際場景的影像中，實現(xiàn)虛實融合。將虛實融合后的圖像通過頭盔或投影機顯示出來，觀察者看到的是虛實融合后的場景。（2）將三維的虛擬動畫貼圖渲染到真實世界的標識物上，實現(xiàn)增強現(xiàn)實的效果。

如：“別克汽車十城市巡展潘多拉項目.MOV”

5.1虛實融合原理根據(jù)實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐第五章三維注冊與虛實融合

5.1虛實融合原理

5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合5.2相機標定技術通過相機標定技術實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)。相機標定技術與四個坐標系統(tǒng)有關，分別是世界坐標系，成像平面坐標系，相機坐標系和圖像顯示坐標系。5.2相機標定技術通過相機標定技術實時計算出攝像機的焦距四個坐標系的關系世界坐標系：選擇一個基準坐標系來描述攝像機安放在現(xiàn)實世界的位置，并用它描述世界環(huán)境中任何物體的位置，由基準觀測原點和X軸、Y軸、Z軸組成。成像平面坐標系：相機的焦點為坐標系的原點o1，成像平面的中軸為x1、y1軸。相機坐標系：o點是攝像機(camera)的光心，x軸和y軸與成像坐標系x1、y1軸平行，z軸為攝像機的光軸，與成像平面垂直。由o點、x、y、z軸組成的直角坐標系稱為攝像機坐標系。圖像顯示坐標系：

顯示在計算機屏幕上的圖像坐標u、v，左上角為坐標原點。u、v分別與x1、y1軸平行。四個坐標系的關系世界坐標系：選擇一個基準坐標系來描述攝四個坐標系的關系四個坐標系的關系世界坐標系與攝像機坐標系的關系R為旋轉矩陣，表示兩個坐標系各坐標軸之間旋轉向量，t是平移向量，也是世界坐標系原點在相機坐標系中的坐標值

x=r11X+r12Y+r13Z+t1

y=r21X+r22Y+r23Z+t2

z=r31X+r32Y+r33Z+t1R=t=世界坐標系與攝像機坐標系的關系R為旋轉矩陣，表示兩個坐標系各成像平面坐標系與攝像機坐標系的關系上式用齊次方程表示：三角形OO1P1和OO2P相似：f/z=O1P1/O2P2=x1/x=y1/y

成像平面坐標系與攝像機坐標系的關系上式用齊次方程表示：三角形成像平面坐標系與圖像顯示坐標系的關系上式用齊次方程表示：O1為成像平面坐標原點，是攝像機光軸與圖像平面的交點dx和dy表示一個像素在x1軸與y1軸方向上的大小。u=v=成像平面坐標系與圖像顯示坐標系的關系上式用齊次方程表示：O1綜合以上三個關系式，得sx=1/dxsx

為水平方向上的圖像尺度因子sy=1/dysy為垂直方向上的圖像尺度因子綜合以上三個關系式，得sx=1/dxsx為水平方向P稱為投影矩陣，含有五個未知數(shù)，反映相機的內部參數(shù)：f，即相機的焦距，單位是毫米，Sx即水平方向上的圖像尺度因子，單位是像素/毫米Sy即垂直方向上的圖像尺度因子，單位是像素/毫米

(u。，v。)表示圖像屏幕中心點像素所處的行數(shù)和列數(shù)。D稱為旋轉平移矩陣，六個未知數(shù)，反映相機的外部參數(shù)：R含有的三個旋轉角t含有的世界坐標系原點在相機坐標系中的坐標值四個坐標系的關系P稱為投影矩陣，含有五個未知數(shù)，反映相機的內部參數(shù)：四個坐標當相機選定后，內部參數(shù)不變。當相機的位置和角度固定后，外部參數(shù)不變。根據(jù)若干已知二維點與其對應三維點的坐標值，求解P矩陣和D矩陣中含有的11個未知數(shù)，從而確定攝像機的內部參數(shù)和外部參數(shù)。相機參數(shù)的求取當相機選定后，內部參數(shù)不變。相機參數(shù)的求取上述含有P、D的矩陣關系可以改寫為：相機參數(shù)的求取寫成方程式：上述含有P、D的矩陣關系可以改寫為：相機參數(shù)的求取寫成方程式將第3式代入1、2式：相機參數(shù)的求取由一個已知的二維點的坐標與其對應的三維點的坐標，我們可以獲得兩個方程，由于方程中有12個未知數(shù)，我們至少要知道6組這樣的點。將第3式代入1、2式：相機參數(shù)的求取由一個已知的二維點的坐標當選擇多于6個特征點時，就會有多組解。這些解有一定誤差，但應該誤差不大對每個求得的系數(shù)算均值，再用各系數(shù)誤差的平方和最小的一組解作為最佳的一組解。相機參數(shù)的求取當選擇多于6個特征點時，就會有多組解。這些解有一定誤差，但應第五章三維注冊與虛實融合

5.1虛實融合原理5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合在增強現(xiàn)實系統(tǒng)中，經過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結果用于標識識別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標識，同時給出標識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入參數(shù)的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的標記上，實現(xiàn)對真實環(huán)境的增強。標識分為兩類，一類是人工設定好的標識，一類是場景中自然具備的。人工設定好的標識一般由具有一定寬度的黑色封閉的矩形框和內部的各種圖形或文字兩部分構成。5.3圖像的標識識別在增強現(xiàn)實系統(tǒng)中，經過圖像分割、邊緣檢測和輪廓提取之后，我們對于人工設定好的標識通過對視頻中的每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結構，記錄視頻圖像中所有標識所在區(qū)域和坐標。分別提取各個標識四邊形的邊緣像素坐標，找出四邊形標識四個頂點坐標，計算出標識邊緣的直線方程(屏幕坐標)。由于系統(tǒng)中使用的標識記是事先設計的有規(guī)則的標識，所以能夠快速獲得檢測結果。5.3圖像的標識識別對于人工設定好的標識5.3圖像的標識識別對于人工設定好的標識標識所代表的具體信息用標識內部的圖形或文字表示，如表示何種目標或在此應顯示何種虛擬物體。具體的標識內部圖像可以根據(jù)需要手動選擇任意的圖像作為標識物，可以通過幾種圖元的組合自動生成工程中所需要標識。進行模板匹配，來實現(xiàn)標識識別。在做標識匹配前，需要進行圖像正規(guī)化。5.3圖像的標識識別對于人工設定好的標識5.3圖像的標識識別圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時候處于隨機的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標識物的平面是平行的，攝像頭的光軸也并不一定是垂直于標識物。所以采集到的圖像也是不規(guī)則的，標識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉、縮放仿射變形等。為了用預先制作的模版和圖像進行匹配，從而識別標識物的ID號碼，需要對圖像進行幾何變換，使圖像正規(guī)化5.3圖像的標識識別圖像正規(guī)化5.3圖像的標識識別圖像正規(guī)化將從攝像頭獲取的標識圖像轉變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標識物時拍攝的視頻圖像。一般情況下，由于由攝像機引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設條件下，變形圖像點的坐標(X,Y)與原圖像上點的坐標(x,y)之間的關系是:5.3圖像的標識識別圖像正規(guī)化5.3圖像的標識識別其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，所以只要確定了變形圖像上的3個點以及在沒有變形圖像上與它們對應的3個點的坐標，就可以代入方程組，求出方程中的六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對應關系。5.3圖像的標識識別其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，模板匹配圖像匹配技術是數(shù)字圖像處理領域的一項重要研究。根據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中搜尋目標，己知該圖中有要找的目標，通過一定的算法可以在圖中找到目標，確定其坐標位置。圖像的模板匹配技術可以分成直接基于灰度值的方法以及基于特征提取的方法兩大類。5.3圖像的標識識別模板匹配5.3圖像的標識識別一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數(shù)學上常用向量的范數(shù)做為一個尺度。假設輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個距離標量，表示兩個向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯誤的情況，一般會在應用中設置一個閥值，當d小于某個閥值時，認為兩幅圖像有一定可比的相似度，當d大于某個閥值時，認為兩幅圖像不具有可比的相似度，不參與d值的比較。5.3圖像的標識識別一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數(shù)學上常由于在拍攝圖像的時候，會因為光照強度不同，獲取的圖像在灰度級的分布上會不同，這種情況使得兩張原本形狀相似的圖像被檢測為不相似。為了避免這種情況，實際應用中使用兩個向量的夾角這個標準來衡量兩個圖像的相似度，公式如下:系統(tǒng)中采用標準相似度來進行模版匹配。所采用的特征是圖像的標識物區(qū)域的面積比幾何特征。面積比計算比較簡單，實時性好;同時在圖像進行線性變換的過程中面積比特征不會改變。在對系統(tǒng)的標識物事先設定好的情況下會有較高的精度。5.3圖像的標識識別由于在拍攝圖像的時候，會因為光照強度不同，獲取的圖像在灰度級第五章三維注冊與虛實融合

5.1虛實融合原理5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合5.4虛實融合對虛擬的三維物體進行投影變換等三維注冊操作后，其大小、朝向、位置等都與實際場景匹配。直接將變換后的虛擬場景的影像疊加到實際場景的影像中，實現(xiàn)虛實融合，或者將三維的虛擬動畫貼圖渲染到真實世界的標識物上，實現(xiàn)增強現(xiàn)實的效果，都沒有大的問題。為了取得更好的效果，虛實融合模塊除完成前景和虛景融合外，還要進行遮擋處理、邊緣融合等工作。虛實融合模塊還要將光照、陰影、前景色彩增強等視覺效果根據(jù)環(huán)境的需要和真實世界的場景加入到系統(tǒng)中，使得增強現(xiàn)實系統(tǒng)中的場景更加逼真。5.4虛實融合對虛擬的三維物體進行投影變換等三維注冊操作5.4虛實融合在系統(tǒng)中，為了達到逼真的虛實融合的效果，正確顯示虛擬物體和真實物體的遮擋關系，需要將深度檢測模塊的輸出結果傳入虛實結合子?？?，虛實結合子模塊根據(jù)真實場景中的物體與虛擬物體的遮擋關系進行虛擬場景與真實場景的無縫融合。虛實融合模塊處理虛擬物體與真實物體之間的遮擋關系的具體步驟如下:5.4虛實融合在系統(tǒng)中，為了達到逼真的虛實融合的效果，正5.4虛實融合如果物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控區(qū)域中虛擬物體的深度信息進行比較。如果真實場景中物體的深度大于虛擬投影三維模型的深度信息，從固定攝像機的視角看，真實場景中的物體與虛擬物體的空間位置關系是真實場景的物體在后，虛擬物體在前，那么就直接將三維虛擬的模型投影在標記物上。如果真實場景中物體的深度小于虛擬投影的三維模型的深度信息，真實場景的物體在前，虛擬物體在后，那么就將三維虛擬的模型投影在標記物上之后，將高斯摳圖得到的真實物體的圖像渲染到虛擬三維模型之上，顯示真實物體與虛擬物體的遮擋關系。5.4虛實融合如果物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控5.4虛實融合由計算機視覺的相機標定技術可以知道，一幅圖像中的一個點確定空間中一條直線與這個點相對應，為了在系統(tǒng)中求取圖像上一點的深度信息，需要兩幅圖像或多幅圖像。計算一個點在多幅圖像上深度信息的直線方程，然后聯(lián)方程，用最小二乘法計算出圖像點的深度信息。5.4虛實融合由計算機視覺的相機標定技術可以知道，一幅圖5.4虛實融合深度檢測模塊的流程圖5.4虛實融合深度檢測模塊的流程圖5.4虛實融合根據(jù)深度信息進行虛實融合的案例

周大福.mp45.4虛實融合根據(jù)深度信息進行虛實融合的案例5.4虛實融合摳像技術Alpha通道的設置與視頻效果5.4虛實融合摳像技術第五章三維注冊與虛實融合5.1虛實融合原理5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合增強顯示案例：中聯(lián)重科增強現(xiàn)實.mp4

（1’28’’)

增強顯示案例：中聯(lián)重科增強現(xiàn)實.mp45.1虛實融合原理5.1虛實融合原理增強現(xiàn)實系統(tǒng)必須能夠實時地檢測出觀測者(或攝像機)相對于真實場景的位置和方向角，以及成像系統(tǒng)(攝像機)的內部參數(shù)(焦距和成像屏幕大小等)。根據(jù)這些信息實時確定所要添加的虛擬信息在投影系統(tǒng)中的大小、方向和映射位置。在用戶看來，無論從任何角度觀察，都應該使虛擬物體與真實場景保持三維歐氏空間的幾何一致性。這就是AR中的三維注冊(Registration)所要完成的任務。5.1虛實融合原理增強現(xiàn)實系統(tǒng)必須能夠實時地檢測出觀測者(或攝像機)相對于真實實現(xiàn)虛實融合的關鍵技術，是相機標定與三維注冊技術，通過精準的相機標定與三維注冊，使虛擬物體可以與真實世界進行無縫融合。在真實世界中人為地設定世界坐標系的原點、X坐標、y坐標、Z坐標，并測量出多個標志點的三維坐標值。對攝像機攝取的圖像進行視覺識別，找到各標志點在圖像顯示坐標系中的二維坐標值。通過各個標志點在世界坐標系中的三維坐標值和在顯示坐標系中的二維坐標值，實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)。識別出通過提取給定的一幅或多幅圖像的特征點來計算攝像機在真實世界的相對位置和方向，根據(jù)這些信息實時確定系統(tǒng)中要添加的虛擬物體在真實環(huán)境中的正確位置。使用基于計算機視覺的相機標定技術對標識進行識別，實現(xiàn)系統(tǒng)中的三維注冊。三維注冊子模塊以圖像檢測模塊的輸出結果為數(shù)據(jù)的輸入，通過相機標定內部參數(shù)和外部參數(shù)的算法，將程序中所用到標記的三維位置和姿態(tài)計算出來。相機的外部參數(shù)作為輸出結果輸入到虛實融合子模塊，用DirectX或openGL中的虛擬相機模擬真實世界中的相機，產生良好的虛實環(huán)境無縫融合的場景。將三維的虛擬動畫模型渲染到特定的標識物上，實現(xiàn)增強現(xiàn)實的效果。5.1虛實融合原理實現(xiàn)虛實融合的關鍵技術，是相機標定與三維注冊技術，通過精準的根據(jù)實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)設定虛擬相機。通過虛擬相機對三維虛擬場景進行變換。（1）將變換后的虛擬場景的影像疊加到實際場景的影像中，實現(xiàn)虛實融合。將虛實融合后的圖像通過頭盔或投影機顯示出來，觀察者看到的是虛實融合后的場景。（2）將三維的虛擬動畫貼圖渲染到真實世界的標識物上，實現(xiàn)增強現(xiàn)實的效果。

如：“別克汽車十城市巡展潘多拉項目.MOV”

5.1虛實融合原理根據(jù)實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐第五章三維注冊與虛實融合

5.1虛實融合原理

5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合5.2相機標定技術通過相機標定技術實時計算出攝像機的焦距、成像屏幕大小等內部參數(shù)、在世界坐標系中的位置和方向角等外部參數(shù)。相機標定技術與四個坐標系統(tǒng)有關，分別是世界坐標系，成像平面坐標系，相機坐標系和圖像顯示坐標系。5.2相機標定技術通過相機標定技術實時計算出攝像機的焦距四個坐標系的關系世界坐標系：選擇一個基準坐標系來描述攝像機安放在現(xiàn)實世界的位置，并用它描述世界環(huán)境中任何物體的位置，由基準觀測原點和X軸、Y軸、Z軸組成。成像平面坐標系：相機的焦點為坐標系的原點o1，成像平面的中軸為x1、y1軸。相機坐標系：o點是攝像機(camera)的光心，x軸和y軸與成像坐標系x1、y1軸平行，z軸為攝像機的光軸，與成像平面垂直。由o點、x、y、z軸組成的直角坐標系稱為攝像機坐標系。圖像顯示坐標系：

顯示在計算機屏幕上的圖像坐標u、v，左上角為坐標原點。u、v分別與x1、y1軸平行。四個坐標系的關系世界坐標系：選擇一個基準坐標系來描述攝四個坐標系的關系四個坐標系的關系世界坐標系與攝像機坐標系的關系R為旋轉矩陣，表示兩個坐標系各坐標軸之間旋轉向量，t是平移向量，也是世界坐標系原點在相機坐標系中的坐標值

x=r11X+r12Y+r13Z+t1

y=r21X+r22Y+r23Z+t2

z=r31X+r32Y+r33Z+t1R=t=世界坐標系與攝像機坐標系的關系R為旋轉矩陣，表示兩個坐標系各成像平面坐標系與攝像機坐標系的關系上式用齊次方程表示：三角形OO1P1和OO2P相似：f/z=O1P1/O2P2=x1/x=y1/y

成像平面坐標系與攝像機坐標系的關系上式用齊次方程表示：三角形成像平面坐標系與圖像顯示坐標系的關系上式用齊次方程表示：O1為成像平面坐標原點，是攝像機光軸與圖像平面的交點dx和dy表示一個像素在x1軸與y1軸方向上的大小。u=v=成像平面坐標系與圖像顯示坐標系的關系上式用齊次方程表示：O1綜合以上三個關系式，得sx=1/dxsx

為水平方向上的圖像尺度因子sy=1/dysy為垂直方向上的圖像尺度因子綜合以上三個關系式，得sx=1/dxsx為水平方向P稱為投影矩陣，含有五個未知數(shù)，反映相機的內部參數(shù)：f，即相機的焦距，單位是毫米，Sx即水平方向上的圖像尺度因子，單位是像素/毫米Sy即垂直方向上的圖像尺度因子，單位是像素/毫米

(u。，v。)表示圖像屏幕中心點像素所處的行數(shù)和列數(shù)。D稱為旋轉平移矩陣，六個未知數(shù)，反映相機的外部參數(shù)：R含有的三個旋轉角t含有的世界坐標系原點在相機坐標系中的坐標值四個坐標系的關系P稱為投影矩陣，含有五個未知數(shù)，反映相機的內部參數(shù)：四個坐標當相機選定后，內部參數(shù)不變。當相機的位置和角度固定后，外部參數(shù)不變。根據(jù)若干已知二維點與其對應三維點的坐標值，求解P矩陣和D矩陣中含有的11個未知數(shù)，從而確定攝像機的內部參數(shù)和外部參數(shù)。相機參數(shù)的求取當相機選定后，內部參數(shù)不變。相機參數(shù)的求取上述含有P、D的矩陣關系可以改寫為：相機參數(shù)的求取寫成方程式：上述含有P、D的矩陣關系可以改寫為：相機參數(shù)的求取寫成方程式將第3式代入1、2式：相機參數(shù)的求取由一個已知的二維點的坐標與其對應的三維點的坐標，我們可以獲得兩個方程，由于方程中有12個未知數(shù)，我們至少要知道6組這樣的點。將第3式代入1、2式：相機參數(shù)的求取由一個已知的二維點的坐標當選擇多于6個特征點時，就會有多組解。這些解有一定誤差，但應該誤差不大對每個求得的系數(shù)算均值，再用各系數(shù)誤差的平方和最小的一組解作為最佳的一組解。相機參數(shù)的求取當選擇多于6個特征點時，就會有多組解。這些解有一定誤差，但應第五章三維注冊與虛實融合

5.1虛實融合原理5.2相機標定技術5.3圖像的標識識別5.4虛實融合第五章三維注冊與虛實融合在增強現(xiàn)實系統(tǒng)中，經過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結果用于標識識別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標識，同時給出標識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入參數(shù)的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的標記上，實現(xiàn)對真實環(huán)境的增強。標識分為兩類，一類是人工設定好的標識，一類是場景中自然具備的。人工設定好的標識一般由具有一定寬度的黑色封閉的矩形框和內部的各種圖形或文字兩部分構成。5.3圖像的標識識別在增強現(xiàn)實系統(tǒng)中，經過圖像分割、邊緣檢測和輪廓提取之后，我們對于人工設定好的標識通過對視頻中的每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結構，記錄視頻圖像中所有標識所在區(qū)域和坐標。分別提取各個標識四邊形的邊緣像素坐標，找出四邊形標識四個頂點坐標，計算出標識邊緣的直線方程(屏幕坐標)。由于系統(tǒng)中使用的標識記是事先設計的有規(guī)則的標識，所以能夠快速獲得檢測結果。5.3圖像的標識識別對于人工設定好的標識5.3圖像的標識識別對于人工設定好的標識標識所代表的具體信息用標識內部的圖形或文字表示，如表示何種目標或在此應顯示何種虛擬物體。具體的標識內部圖像可以根據(jù)需要手動選擇任意的圖像作為標識物，可以通過幾種圖元的組合自動生成工程中所需要標識。進行模板匹配，來實現(xiàn)標識識別。在做標識匹配前，需要進行圖像正規(guī)化。5.3圖像的標識識別對于人工設定好的標識5.3圖像的標識識別圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時候處于隨機的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標識物的平面是平行的，攝像頭的光軸也并不一定是垂直于標識物。所以采集到的圖像也是不規(guī)則的，標識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉、縮放仿射變形等。為了用預先制作的模版和圖像進行匹配，從而識別標識物的ID號碼，需要對圖像進行幾何變換，使圖像正規(guī)化5.3圖像的標識識別圖像正規(guī)化5.3圖像的標識識別圖像正規(guī)化將從攝像頭獲取的標識圖像轉變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標識物時拍攝的視頻圖像。一般情況下，由于由攝像機引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設條件下，變形圖像點的坐標(X,Y)與原圖像上點的坐標(x,y)之間的關系是:5.3圖像的標識識別圖像正規(guī)化5.3圖像的標識識別其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，所以只要確定了變形圖像上的3個點以及在沒有變形圖像上與它們對應的3個點的坐標，就可以代入方程組，求出方程中的六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對應關系。5.3圖像的標識識別其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，模板匹配圖像匹配技術是數(shù)字圖像處理領域的一項重要研究。根據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中搜尋目標，己知該圖中有要找的目標，通過一定的算法可以在圖中找到目標，確定其坐標位置。圖像的模板匹配技術可以分成直接基于灰度值的方法以及基于特征提取的方法兩大類。5.3圖像的標識識別模板匹配5.3圖像的標識識別一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數(shù)學上常用向量的范數(shù)做為一個尺度。假設輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個距離標量，表示兩個向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯誤的情況，一般會在應用中設置一個閥值，當d小于某個閥值時，認為兩幅圖像有一定可比的相似度，當d大于某個閥值時，認為兩幅圖像不具有可比的相似度，不參與d值的比較。5.3圖像的標識識別一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數(shù)學上常由于在拍攝圖像的時候，會因為光照強度不同，獲取的圖像在灰度級的分布上會不同，這種情況使得兩張原本形狀相似的圖像被檢測為不相似。為了避免這種情況，實際應用中使用兩個向量的夾角這個標準來衡量兩個圖像的相似度，公式如下:系統(tǒng)中采用標準相似度來進行