計算機視覺的多視幾何

吳毅紅

中國科學院自動化研究所

模式識別國家重點實驗室

主要內容

?1.單視幾何（應用單幅圖像測量）

?2.兩視幾何（EpipolarGeometry約束）

空間平面與Homography

?3.二視幾何（TrifocalGeometry約束）

1.單視幾何

xzmz=K[R5t]Mz

1.單視測量

?目標、內容

?研究的意義

?國內外研究的現狀

?算法

1.單視測量

目標、內容

?從單幅圖像中恢復場景的全部或部分三

維信息\

?運用射影幾何理論，探索利用單幅圖像

實現場景測量所需的圖像信息以及場景

信息，從而實現對場景中距離、面積、

體積等的測量

1.單視測量

研究的意義

?利用超聲波、激光等來測量，很容易受

到外界不可預測反射等因素的影響

?基于圖像的測量技術，因其所需的只是

場景圖像，所以更靈活、方便、即時、

準確

?具有非常廣泛的應用前景，如法庭取證、

交通事故現場的測量、建筑物測量等等

很多方面

研究現狀/單視測量

?用兩幅或多幅圖像對場景進行重建以后

進行測量的方法以及攝影測量學的方法

有很大的局限性

?利用單幅圖像對場景進行測量，已引起

人們的關注

?A.CriminisiUniversityofOxford

?目前，國內外在此方面還沒有系統的研

究

,單視測量

算法1

平面測量

攝

像

機

坐

標

系

空間平面與其圖像間的關系可由平面Homography:

H來表示（一個3x3的矩陣）.一般將空間平面假設

為Z，”=0即KY平面,則：

r

M=[XM,YM,\]

吊二[〃,刈/■

1.單視測量

算法___________

平面測量

如果4個空間點M,已知，則由它們可線性求解H:

smi=HMZ;123,4

然后通過將圖像點反投到空間平面，實現空間平面上的測量

55M5=Hm5s6M6=HTm6

o距離'面積'夾角

1.單視測量

算法

空間測量

已知一個空間平面的homography和此平面法向

量方向的一組平行線、某個線段的距離，或已知

另一個平面的位置，可測：

體積、身高、兩個平面的距離、兩個平

面內的兩個點之間的距離

1.單視測量

算法

物體體積的測量結果:

Realvolume:109265.0cm3

Measuredvalue:110018.9cm3

Relativeerror:0.69%.

Realvolume:26826.7cm3

Measuredvalue:26628.2cm3

Relativeerror:0.74%

2.兩視幾何

主要內容

?夕卜(對)極幾何(Epipolargeometry)

?基本矩陣、本質矩陣

?重建

?景物平面與單應矩陣(Homography)

2.兩視幾何

外極幾何________________________________________

外極幾何是研究兩幅圖像之間存在的幾何。它和場

景結構無關，只依賴于攝像機的內外參數。研究這

種幾何可以用在圖像匹配、三維重建方面。

基本概念：

基線；外極點；外極線；外極平面；基本矩陣；本質矩陣

2-兩視幾何

外極幾何

2.兩視幾何

外極幾何

?基線：連接兩個攝象機光心o(o')的直線

?外極點：基線與像平面的交點

?外極平面：過基線的平面

?外極線：對極平面與圖像平面的交線

?基本矩陣F：對應點對之間的約束mTFm=0

2.兩視幾何

世界坐標系

總m'=KIR/]M,

如果將世界坐標系取在第一個攝像機

坐標系上，貝

ximi=K[I90]MZ-

Hm,產

2.兩視幾何

外極幾何

光心：0=[0001『O!=[-Rrt,l]r

基本矩陣F：F=K'-^tLRK-1

是一秩為2的3X3矩陣，自由度為7

外極點：：

e=PO-p[-Rt9if?KRt，=P'O=P[。00『=Kt

2.兩視幾何

外極幾何

=K[I,0]M,=PMZ

==P'M,

./11

m'TFm

二0

對象的數學表達:0,?O,

外極線:1=exmr=eW（用法向量表示）

本質矩陣E：E=[t]xR

是一秩為2的3X3矩陣，自由度為5

對象之間的關系式：

1=Frm1=FmFe=0eTF=0

2.兩視幾何

外極幾何

Fe=0e，rF=0F=KrEK1

如果，m,nf是一對對應點，貝！J：mrrFm=0

反之，不成立。

2.兩視幾何

基本矩陣

毛m,=K[I,O]M,=PMZ*m,=K[R,t]Mz=P'M”

-r-1

F=K'[t]xRK

巧叫=K[I,O]HM,=PHMZx\m\=K[R,t]HM,=P'H〃

H是一個4x4射影變換矩陣，投影矩陣對(P,P)和

(PH,PH)對應相同的基本矩陣F=K'"[t]xRKT。

2.兩視幾何

基本矩陣的變換作用

1=Frm1=FmFe=0e'rF=0

在兩幅圖像之間，基本矩陣將點m映射為對應的對極線,

將對極點映射為0。不能提供對應點間的一一對應。

0

2.兩視幾何

基本矩陣的代數推導

空間中一點屈=/『在兩幅圖像上的成像分別為:

7

sm=P[Xl]=KXs'mf=P\x1\=K'RX+Kft

極點

d=pc=p[oooiy=K't

極線

/=[，]x4=K4[KM+KY]

,Ti

=K-[t]xRK-m=Fm

因此:KhRK-m

cc

—mTFm—0

2.兩視幾何

基本矩陣F的估計方法

基于代數誤差的線性估計一8、7點算法

基于幾何誤差的非線性優化

基于RANSAC思想的自動估計算法

2.兩視幾何

基本矩陣F的估計方法8點算法:

一對對應點in,=[%#"了,「=[”，口正之間滿

足約束：m/Fm,=0

f215-f22^23

_f31^32^33

展開可以得到約束方程為:

%1+U\V/2+〃:耳3+V、”￡1+V、4&2+V1凡3+

+匕82+%二°

2.兩視幾何

基本矩陣F的估計方法8點算法:

對于n對對應的圖像點對m,一m.Z-1..72

可得到〃個這樣的方程

構造向量:f=[耳1，耳2，耳3『21『22『23』31』32禺3],

u\%u\V]u\V；u}V；4V；ux%1

構造矩陣:A=

%%%%%VnVnV；UnVn!

從而:Af=0

當n>=8時，可以線性求解f。

2.兩視幾何

基本矩陣F的估計方法8點算法:__________

?基于代數誤差的估計方法是滿足某些約束下使

|Af||最小的算法

?8點算法：min||^/||約束條件川=1

?步驟：1)由對應點(〃>=8)集構造矩陣，；2)對

A進行將異值分解/=u。尸，由向量/=%構造

r

矩陣F(3)對F進彳丁SVD分解尸=UdhgGs253)K

r

得到基本矩陣的估計F-Udiag(sxs20)K

2.兩視幾何

基本矩陣F的估計方法8點算法:

?8點算法估計基本矩陣F的結果與圖像點的

坐標系有關。當圖像數據有噪聲，即對應點

不精確時，由8點算法給出的基本矩陣F的

解精度很低。

?存在一種規一化坐標系，在此坐標系下估計

的基本矩陣優于其它坐標系。

2.兩視幾何

基本矩陣F的估計方法8點算法:

?規一化變換：1）對圖像點做位移變換，使得圖像

的原點位于圖像點集的質心；2）對圖像點做縮放

變換，使得圖像點分布在以質心為圓心半徑為行

的圓內。

H

2.兩視幾何

基本矩陣F的估計方法8點算法:__________

?規一化8點算法：由對應點叫一m：,求F

L1/\

1）對兩幅圖像分別做規一化變換H,得到新的

對應點集;

2）有新的對應點集和8點算法估計京；

3）基本矩陣F=H，TfHT

2.兩視幾何

基本矩陣F的估計方法7點算法：

?如果求解的基本矩陣F不滿足約束det(F)=O,

即det(F)wO那么不存在向量e使得Fe=O,則

在圖像中的對極線不交于同一點(對極點e)。

?由于基本矩陣的秩為2,因此基本矩陣僅具有7

個自由度，所以已知7對匹配點便足以確定基本

矩陣。

2.兩視幾何

基本矩陣F的估計方法7點算法:__________

?利用SVD分解的方法得到兩個對應于系數矩陣A

的右零空間的基向量L和f2的矩陣基可和F2，

然后利用det(F)=O性質來解出F通解尸=畿耳+(1-6Z)F2

中的比例因子a來確定所要估計的基本矩陣。

?由于基本矩陣行列式為零所對應的約束是一個

三次方程，因此最后所可能得到的基本矩陣的

解的個數對應于上述三次方程實數解的個數，

最多可以得到3個解。

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優化:

將估計基本矩陣的問題化為數學的最優化問題，然

后使用某種優化迭代算法求解.算法如下:

(1)構造基于幾何意義的目標函數

(2)選取8點算法的結果作為迭代算法的初始值

(3)選取一種迭代方法(L?M方法)，迭代求解最

小化問題

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優化:

構造基于幾何意義的目標函數

常用準則：(1)點到對應極線距離的平方和

(2)反投影距離

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優化:

準則⑴點到對應極線距離的平方和

n

2

Z(d)2+d(m；,Fmz))=

iy((m/Fm.(mrFm,)2

7

+(Fm,)；商mB產i原

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優化:

基于準則(2)步驟：

1.由線性算法求出基本矩陣的初始值F；

2.由對應點m,一叫和基本矩陣F射影重建得

到三維空間點坐標而，；

3.由三維空間點得到新的圖像點：m,^mz.

2.兩視幾何

基本矩陣F的估計方法RANSAC估計

例：利用RANSAC思想估計直線

給定7點，找最匹配的直線，使有效點到直線的距離

小于0.8個單位,找到的點集為{1,2,3,4,5,6},然后

用最小二乘法計算直線方程。.________

POINT；XY

100

21

32

4￥2

53〕3

644

7102

2-兩視幾何

基本矩陣F的估計方法RANSAC估計

?前面所講的所有的方法都假設沒有錯誤匹配點

(Outliers)o實際處理過程中可能會出現錯誤的

匹配點。可以用RANSAC方法剔除錯誤的匹配點

?基本思想：1.通過迭代地隨機抽取最小點集來找

出能夠使得所謂Inliers所占比例最高的最小點集

2.用此最小點集估計的基本矩陣和所識別出的

Inliers一起進行進一步非線性優化，從而得到最

終的基本矩陣估計值

2.兩視幾何

本質矩陣E

本質矩陣E(EssentialMatrix)由攝像機的外參

數確定，與攝像機內參數無關。

E=[t]xR\-

2.兩視幾何

本質矩陣E

當攝像機內參數K已知時，當F被求出時，重

建即要求出R,仁\

x

m=PX=K[R[t]Mi=Km=[R,t]M

P=[l,o]P=[R,t]

F=K'-^tLRK-1-E=KTFK

IER=[t]x[t]：

E=[t]R

Rxt

2,兩視幾何

重建

?給定一基本矩陣F,構造投影矩陣對

P=[0]P'=[[e]xFe;

?有了投影矩陣和圖像點就可以通過三角化實現重建

2m=PMM

2m=PM

2,兩視幾何

重建

H是一個4X4的可逆射影變換矩陣，則

sm=PM=(PH)(H1)M

P=[lo]P'=[[e]xFe\

h叫

K[L0]K[R51]

2.兩視幾何

景物平面與單應矩陣

?概念

?已知基本矩陣F確定單應矩陣H

?已知單應矩陣H確定基本矩陣F

?無窮遠平面的單應矩陣

2.兩視幾何

景物平面與單應矩陣概念

建立世界坐標系，使得星丫平面為空間平面，即

為2=o平面，則

2m=H二HMm=

1M=[YX,1]

2.兩何

景物平面與單應矩陣概念

m=H]Xm=H2Xm=電再喘

?若m=,vifm=?vif是空間平面上的點

在兩幅圖像上對應點對，則存在矩陣H使得

sm=Hm

?s為非零常數因子，H是一3X3矩陣，一般可由4對對

應點求得。

2.兩何

景物平面與單應矩陣概念

若兩視點投影矩陣為

P=K[IO]P=K[Rt]

則空間平面7r=(nTd)，的單應矩陣H可表示為

H=K(R-tnr/d)K1

2.兩何

景物平面與單應矩陣由F確定H

給定三對對應點：mzom；i=1,2,3

它們對應的空間的景物點為：Mi,M2,M3

則這三個景物點唯一確定了一個空間平面

如果F已求出，則這個平面的H也可以求出：

Fe=0e"F=0'e,e5

sm；=Hmzse=He'H

i=1,2,3

2.兩何

景物平面與單應矩陣由F確定H

2.兩視幾何

景物平面與單應矩陣由H確定F

由6個點，其中4個點共面，來求解基本矩陣F：

一.由共面的4對對應點求得H

二.由直線Hn^xm；和Hm6xm6確定極點e'

三?F=[e]H

2.兩幾何

景物平面與單應矩陣無窮遠平面的單應矩陣

?當空間平面為無窮遠平面時，對應的單應矩陣

為無窮遠平面的Hoc：\、

H=K(R-tnr/d)K1乩=limH=KRK1

?如果Hoc已知后，則可進行標定、重建。

KH^K=R

r

H00KleH以=KK

3?三視幾何

主要內容

?引言

?點、線關聯關系

?基本矩陣、投影矩陣

3.三視幾何

引言

?兩幅圖像之間存在約束：基本矩陣F；

?三幅圖像之間存在約束：三焦張量T(Trifocal

Tensor)；

?四幅或更多幅圖像之間不存在獨立的約束，它

們可以由F和T生成。

上三視幾何

引言

kssa幾何

引言

三焦張量由三個3x3矩陣｛%,T2,T3｝組成。

在兩幅圖像之間有約束：m"Fm=0

Tr

在三幅圖像之間有約束：i=i,[T1