圓環(huán)點(diǎn)(the

circularpoints)平面上任何圓與無(wú)窮遠(yuǎn)直線的交點(diǎn)：3點(diǎn)+2圓環(huán)點(diǎn)=5點(diǎn)確定一個(gè)圓1圓環(huán)點(diǎn)(thecircularpoints)平面上任何圓絕對(duì)二次曲線(TheAbsoluteConic)

歐氏空間中,無(wú)窮遠(yuǎn)平面上的二次曲線:

稱(chēng)為絕對(duì)二次曲線.它都由虛點(diǎn)構(gòu)成。任意一個(gè)球與無(wú)窮遠(yuǎn)平面的交點(diǎn)：2絕對(duì)二次曲線(TheAbsoluteConic)AC性質(zhì)無(wú)窮遠(yuǎn)直線交絕對(duì)二次曲線于兩點(diǎn)，這兩個(gè)點(diǎn)是通過(guò)該無(wú)窮遠(yuǎn)線的平面的圓環(huán)點(diǎn)。絕對(duì)二次曲線是空間中所有平面的圓環(huán)點(diǎn)所構(gòu)成的集合，因而任意一個(gè)圓與絕對(duì)二次曲線交于兩個(gè)圓環(huán)點(diǎn)。設(shè)絕對(duì)二次曲線在無(wú)窮遠(yuǎn)平面上的矩陣表示為，則它的任一點(diǎn)的切線為，反之。配極對(duì)應(yīng)也成立。3AC性質(zhì)無(wú)窮遠(yuǎn)直線交絕對(duì)二次曲線于兩點(diǎn)，這兩個(gè)點(diǎn)是通過(guò)該無(wú)窮

絕對(duì)二次曲線的像與照相機(jī)的內(nèi)參數(shù)緊密相連.假定照相機(jī)的內(nèi)參數(shù)為:

則絕對(duì)二次曲線的像是:

反之,如果絕對(duì)二次曲線的像已知,則K

可以被完全確定.4絕對(duì)二次曲線的像與照相機(jī)的內(nèi)參數(shù)緊密相連.假定照相機(jī)如果圓環(huán)點(diǎn)的像已知，也可以對(duì)照相機(jī)的內(nèi)參數(shù)構(gòu)成約束，通過(guò)解方程組來(lái)得到內(nèi)參數(shù)的值。假定m是圓環(huán)點(diǎn)的像，則：5如果圓環(huán)點(diǎn)的像已知，也可以對(duì)照相機(jī)的內(nèi)參數(shù)構(gòu)成約束，通過(guò)解方三維射影幾何點(diǎn)、空間直線、平面二次曲面扭三次曲線：與三維重建中的退化情況緊密相連。6三維射影幾何點(diǎn)、空間直線、平面6計(jì)算機(jī)視覺(jué)的多視幾何7計(jì)算機(jī)視覺(jué)的多視幾何7主要內(nèi)容1.單視幾何（單幅圖像測(cè)量）2.兩視幾何（EpipolarGeometry約束）3.三視幾何（TrifocalGeometry約束）8主要內(nèi)容1.單視幾何（單幅圖像測(cè)量）81.單視幾何91.單視幾何91.單視幾何成像平面攝像機(jī)坐標(biāo)系ZXYOMm成像平面O101.單視幾何成像平面攝像機(jī)坐標(biāo)系ZXYOMm成像平面O101.單視測(cè)量從單幅圖像中恢復(fù)場(chǎng)景的全部或部分三維信息運(yùn)用射影幾何理論，探索利用單幅圖像實(shí)現(xiàn)場(chǎng)景測(cè)量所需的圖像信息以及場(chǎng)景信息，從而實(shí)現(xiàn)對(duì)場(chǎng)景中距離、面積、體積等的測(cè)量111.單視測(cè)量從單幅圖像中恢復(fù)場(chǎng)景的全部或部分三維信息111.單視測(cè)量利用超聲波、激光等來(lái)測(cè)量，很容易受到外界不可預(yù)測(cè)反射等因素的影響。基于圖像的測(cè)量技術(shù)，因其所需的只是場(chǎng)景圖像，所以更靈活、方便、即時(shí)、準(zhǔn)確。具有非常廣泛的應(yīng)用前景，如法庭取證、交通事故現(xiàn)場(chǎng)的測(cè)量、建筑物測(cè)量等等很多方面。121.單視測(cè)量利用超聲波、激光等來(lái)測(cè)量，很容易受到外界不可預(yù)1.單視測(cè)量131.單視測(cè)量13空間平面與其圖像平面間的關(guān)系可由平面Homography:H來(lái)表示(一個(gè)的矩陣).一般將空間平面假設(shè)為,即X-Y

平面,則：成像平面攝像機(jī)坐標(biāo)系ZXYOMmXwYw1.單視測(cè)量之平面測(cè)量14空間平面與其圖像平面間的關(guān)系可由平面Homography:1.

單視測(cè)量之平面測(cè)量

如果4個(gè)空間點(diǎn)已知，則由它們可線性求解H：然后通過(guò)將圖像點(diǎn)反投到空間平面，實(shí)現(xiàn)空間平面上的測(cè)量距離、面積、夾角151.單視測(cè)量之平面測(cè)量如果4個(gè)空間點(diǎn)已知，

已知一個(gè)空間平面的homography和此平面法向量方向的一組平行線、某個(gè)線段的距離，或已知另一個(gè)平面的位置，可測(cè)：體積、身高、兩個(gè)平面的距離、兩個(gè)平面內(nèi)的兩個(gè)點(diǎn)之間的距離1.單視測(cè)量之空間測(cè)量16已知一個(gè)空間平面的homography和此平面法向量方1.單視測(cè)量物體體積的測(cè)量結(jié)果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%171.單視測(cè)量物體體積的測(cè)量結(jié)果：172.兩視幾何182.兩視幾何182.兩視幾何192.兩視幾何192.兩視幾何外（對(duì)）極幾何（Epipolargeometry）基本矩陣F、本質(zhì)矩陣E202.兩視幾何外（對(duì)）極幾何（Epipolargeomet三個(gè)問(wèn)題CorrespondenceGeometry給定mi，mi’在哪里CameraGeometry(motion)給定mi～mi’,P,P’是什么？SceneGeometry(Structure)給定mi～mi’,P,P’,M在哪里？2.兩視幾何21三個(gè)問(wèn)題CorrespondenceGeometry2.2.兩視幾何之外極幾何外極幾何是研究?jī)煞鶊D像之間存在的幾何。它和場(chǎng)景結(jié)構(gòu)無(wú)關(guān)，只依賴(lài)于攝像機(jī)的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。222.兩視幾何之外極幾何外極幾何是研究?jī)煞鶊D像之間存在的幾何2.兩視幾何之外極幾何如果只知道C,C’,x的話，會(huì)得到什么？232.兩視幾何之外極幾何如果只知道C,C’,x的話，會(huì)得到什2.兩視幾何之基本概念基線：連接兩個(gè)攝象機(jī)光心O（O’）的直線外極點(diǎn)：基線與像平面的交點(diǎn)外極平面：過(guò)基線的平面外極線：對(duì)極平面與圖像平面的交線基本矩陣F：對(duì)應(yīng)點(diǎn)對(duì)之間的約束242.兩視幾何之基本概念基線：連接兩個(gè)攝象機(jī)光心O（O’）252526262.兩視幾何世界坐標(biāo)系Ou攝像機(jī)坐標(biāo)系v圖像坐標(biāo)系O’R0,t0R’,t’如果將世界坐標(biāo)系取在第一個(gè)攝像機(jī)坐標(biāo)系上，則：R,t272.兩視幾何世界坐標(biāo)系Ou攝像機(jī)坐標(biāo)系v圖像坐標(biāo)系O’R02.兩視幾何空間中一點(diǎn)在兩幅圖像上的成像分別為：極點(diǎn)極線基本矩陣的代數(shù)推導(dǎo)mm'l'ee'lCC'm'TFm=0M因此：282.兩視幾何空間中一點(diǎn)基本矩陣F：是一秩為2的3×3矩陣，自由度為72.兩視幾何Mmm'l'ee'lOO'm'TFm=0外極點(diǎn)：外極線：29基本矩陣F：2.兩視幾何Mmm'l'ee'lOO'm'2.兩視幾何在兩幅圖像之間，基本矩陣將點(diǎn)m映射為對(duì)應(yīng)的極線，將極點(diǎn)映射為0。不能提供對(duì)應(yīng)點(diǎn)間的一一對(duì)應(yīng)。基本矩陣的變換作用Mmm'l'ee'lOO'm'TFm=0F0F如果，m，m’是一對(duì)對(duì)應(yīng)點(diǎn)，則：反之，不成立。302.兩視幾何在兩幅圖像之間，基本矩陣將點(diǎn)m映射為對(duì)應(yīng)的2.兩視幾何H是一個(gè)射影變換矩陣，投影矩陣對(duì)和對(duì)應(yīng)相同的基本矩陣。基本矩陣312.兩視幾何H是一個(gè)射影變換矩陣，投影矩2.兩視幾何基于代數(shù)誤差的線性估計(jì)---8點(diǎn)、7點(diǎn)算法基于幾何誤差的非線性?xún)?yōu)化基于RANSAC（RANdomSampleConsensus）思想的自動(dòng)估計(jì)算法基本矩陣F的估計(jì)方法322.兩視幾何基于代數(shù)誤差的線性估計(jì)---8點(diǎn)、7點(diǎn)算法基本2.兩視幾何一對(duì)對(duì)應(yīng)點(diǎn)，之間滿(mǎn)足約束：展開(kāi)可以得到約束方程為：基本矩陣F的估計(jì)方法8點(diǎn)算法:332.兩視幾何一對(duì)對(duì)應(yīng)點(diǎn)2.兩視幾何當(dāng)n>=8時(shí)，可以線性求解f。對(duì)于n對(duì)對(duì)應(yīng)的圖像點(diǎn)對(duì)可得到n個(gè)這樣的方程構(gòu)造向量:構(gòu)造矩陣:從而:基本矩陣F的估計(jì)方法8點(diǎn)算法:342.兩視幾何當(dāng)n>=8時(shí)，可以線性求解f。對(duì)于n2.兩視幾何基于代數(shù)誤差的估計(jì)方法是滿(mǎn)足某些約束下使最小的算法8點(diǎn)算法：步驟：由對(duì)應(yīng)點(diǎn)(n>=8)集構(gòu)造矩陣A；對(duì)A進(jìn)行奇異值分解，由向量構(gòu)造矩陣F對(duì)F進(jìn)行SVD分解得到基本矩陣的估計(jì)基本矩陣F的估計(jì)方法8點(diǎn)算法:352.兩視幾何基于代數(shù)誤差的估計(jì)方法是滿(mǎn)足某些約束下使基本矩36362.兩視幾何基本矩陣F的估計(jì)方法8點(diǎn)算法存在的問(wèn)題:372.兩視幾何基本矩陣F的估計(jì)方法8點(diǎn)算法存在的問(wèn)題:37歸一化處理－規(guī)一化變換：對(duì)圖像點(diǎn)做位移變換，使得圖像的原點(diǎn)位于圖像點(diǎn)集的質(zhì)心；對(duì)圖像點(diǎn)做縮放變換，使得圖像點(diǎn)分布在以質(zhì)心為圓心半徑為的圓內(nèi)。38歸一化處理－規(guī)一化變換：38規(guī)一化8點(diǎn)算法：由對(duì)應(yīng)點(diǎn)，求F對(duì)兩幅圖像分別做規(guī)一化變換,得到新的對(duì)應(yīng)點(diǎn)集；有新的對(duì)應(yīng)點(diǎn)集和8點(diǎn)算法估計(jì)；基本矩陣

2.兩視幾何基本矩陣F的估計(jì)方法8點(diǎn)算法:39規(guī)一化8點(diǎn)算法：由對(duì)應(yīng)點(diǎn)左邊：未歸一化右邊：歸一化后40左邊：未歸一化右邊：歸一化后40左邊：未歸一化右邊：歸一化后41左邊：未歸一化右邊：歸一化后41上面曲線：未歸一化下面曲線：歸一化后點(diǎn)到極線的距離42上面曲線：未歸一化下面曲線：歸一化后點(diǎn)到極線的距離422.兩視幾何

如果求解的基本矩陣F不滿(mǎn)足約束，即那么不存在向量e使得Fe=0，則在圖像中的對(duì)極線不交于同一點(diǎn)(對(duì)極點(diǎn)e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個(gè)自由度，所以已知7對(duì)匹配點(diǎn)便足以確定基本矩陣。基本矩陣F的估計(jì)方法7點(diǎn)算法:432.兩視幾何如果求解的基本矩陣F不滿(mǎn)足約束2.兩視幾何基本矩陣F的估計(jì)方法7點(diǎn)算法:442.兩視幾何基本矩陣F的估計(jì)方法7點(diǎn)算法:442.兩視幾何將估計(jì)基本矩陣的問(wèn)題化為數(shù)學(xué)的最優(yōu)化問(wèn)題，然后使用某種優(yōu)化迭代算法求解.算法如下：構(gòu)造基于幾何意義的目標(biāo)函數(shù)選取8點(diǎn)算法的結(jié)果作為迭代算法的初始值選取一種迭代方法（Levenberg-Marquardt方法），迭代求解最小化問(wèn)題基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:http://www.ics.forth.gr/~lourakis/levmar/452.兩視幾何將估計(jì)基本矩陣的問(wèn)題化為數(shù)學(xué)的最優(yōu)化問(wèn)題，然后2.兩視幾何常用準(zhǔn)則：(1)點(diǎn)到對(duì)應(yīng)極線距離的平方和

(2)反投影距離基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:構(gòu)造基于幾何意義的目標(biāo)函數(shù)462.兩視幾何常用準(zhǔn)則：(1)點(diǎn)到對(duì)應(yīng)極線距離的平方和基本矩2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:準(zhǔn)則(1):點(diǎn)到對(duì)應(yīng)極線距離的平方和472.兩視幾何mm'l'ee'lOO’基本矩陣F的估計(jì)方法其中和是通過(guò)一定的方法進(jìn)行射影重建所得的空間點(diǎn)的反投影圖像點(diǎn).2.兩視幾何準(zhǔn)則(2):反投影距離基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:mm'ee'OO’48其中和是通過(guò)一定的方法進(jìn)行射影重建所得的基于準(zhǔn)則(2)步驟：由線性算法求出基本矩陣的初始值;由對(duì)應(yīng)點(diǎn)和基本矩陣射影重建得到三維空間點(diǎn)坐標(biāo)；由三維空間點(diǎn)得到新的圖像點(diǎn)：

.2.兩視幾何基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:49基于準(zhǔn)則(2)步驟：2.兩視幾何基本矩陣F的估計(jì)方法基前面所講的所有的方法都假設(shè)沒(méi)有錯(cuò)誤數(shù)據(jù)點(diǎn)(Outliers)。實(shí)際處理過(guò)程中可能會(huì)出現(xiàn)錯(cuò)誤的數(shù)據(jù)點(diǎn)。可用RANSAC方法(FischlerandBolles,1981)剔除錯(cuò)誤的數(shù)據(jù)點(diǎn)50前面所講的所有的方法都假設(shè)沒(méi)有錯(cuò)誤數(shù)據(jù)點(diǎn)(Outliers)2.兩視幾何例：利用RANSAC思想估計(jì)直線

基本矩陣F的估計(jì)方法RANSAC估計(jì)隨機(jī)選兩個(gè)點(diǎn)，作線測(cè)量每點(diǎn)support此線的程度(閾值)重復(fù)randomly選點(diǎn)(次數(shù))由眾多中選thelinewithmostsupport(多大)512.兩視幾何例：利用RANSAC思想估計(jì)直線基本矩陣2.兩視幾何基本思想通過(guò)迭代地隨機(jī)抽取最小點(diǎn)集來(lái)找出所謂的一致集(即Inliers所占比例最高的最小點(diǎn)集)

用此最小點(diǎn)集估計(jì)的基本矩陣和所識(shí)別出的Inliers一起進(jìn)行進(jìn)一步非線性?xún)?yōu)化，從而得到最終的基本矩陣估計(jì)值基本矩陣F的估計(jì)方法RANSAC估計(jì)522.兩視幾何基本思想基本矩陣F的估計(jì)方法RANSAC估計(jì)閾值t的確定經(jīng)驗(yàn)值如果度量誤差～，則～（m=codimensionofthemodel）53閾值t的確定經(jīng)驗(yàn)值～（m=codimensionofth采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(diǎn)(共S個(gè))都是inliers.以概率p(e.g.=99%)保證至少有一次。54采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(diǎn)(共S一致集的大小T55一致集的大小T55完整流程給定一對(duì)圖像Find基本矩陣F和對(duì)應(yīng)點(diǎn)對(duì)提取圖像點(diǎn)尋找對(duì)應(yīng)點(diǎn)對(duì)計(jì)算F,e56完整流程給定一對(duì)圖像56特征提取程序SIFT:http://www.cs.ubc.ca/~lowe/keypoints/?Scale-InvariantFeaturesTransform?FeaturedescriberKLT:/~stb/klt/?Kanade-Lucas-Tomasi?FeatureTracker57特征提取程序SIFT:57AutomaticcomputationofFInterestpointsPutativecorrespondencesRANSACrobustestimationNon-linearestimationGuidedmatchingRepeat4and5untilstable58AutomaticcomputationofFInte＝﹢59＝﹢59建議1.Donotuseunnormalizedalgorithms2.Quickandeasytoimplement:8-pointnormalized3.Better:enforcerank-2constraintduringminimization4.Best:MaximumLikelihoodEstimation(minimalparameterization,sparseimplementation)60建議1.Donotuseunnormalized2.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機(jī)的外參數(shù)確定，與攝像機(jī)內(nèi)參數(shù)無(wú)關(guān)。本質(zhì)矩陣EO攝像機(jī)坐標(biāo)系v圖像像素坐標(biāo)系O’uxymm’612.兩視幾何本質(zhì)矩陣E(EssentialMatri2.兩視幾何

本質(zhì)矩陣E當(dāng)攝像機(jī)內(nèi)參數(shù)K,K’已知時(shí)，當(dāng)F被求出時(shí)，可重建，即求出R，ttR622.兩視幾何本質(zhì)矩陣E當(dāng)攝像機(jī)內(nèi)參數(shù)K,K’已知時(shí)，如何從F中恢復(fù)P,P’?63如何從F中恢復(fù)P,P’?63如何從F中恢復(fù)P,P’?64如何從F中恢復(fù)P,P’?64如何從F中恢復(fù)P,P’?canoniccameramatrices:Rank=2,65如何從F中恢復(fù)P,P’?canoniccameramat給定一基本矩陣F，構(gòu)造投影矩陣對(duì)2.兩視幾何

有了投影矩陣和圖像點(diǎn)就可以通過(guò)三角化(Triangulation:computeintersectionoftwobackprojectedrays)實(shí)現(xiàn)重建射影重建66給定一基本矩陣F，構(gòu)造投影矩陣對(duì)2.兩視幾何有了投影理想情況下真實(shí)情況下67理想情況下真實(shí)情況下67LinearTriangulationmethodsSVD68LinearTriangulationmethodsSV幾何誤差possibilitytocomputeusingLM(for2ormorepoints)ordirectly(for2points)69幾何誤差possibilitytocomputeusiReconstructionambiguity:

projective70Reconstructionambiguity:

projTheprojectivereconstruction

theoremIfasetofpointcorrespondencesintwoviewsdeterminethefundamentalmatrixuniquely,thenthesceneandcamerasmaybereconstructedfromthesecorrespondencesalone,andanytwosuchreconstructionsfromthesecorrespondencesareprojectivelyequivalent71Theprojectivereconstruction

Findx,x’FindFFindP,P’FindX72Findx,x’72Stratifiedreconstruction(分層重建)ProjectivereconstructionAffinereconstructionMetricreconstruction73Stratifiedreconstruction(分層重建Affinereconstruction

仿射不變量：保持無(wú)窮遠(yuǎn)平面不變。反之，亦然。保持平行性。保持物體的體積比、平行圖形（或共面圖形）的面積比、平行線段（或共線線段）的長(zhǎng)度比不變12DOF74Affinereconstruction

仿射不變量：12Affinereconstruction

Buthowdoweobtainsoastoachieveaffinereconstruction?Anaffinereconstructioncanbesufficientdependingonapplications,e.g.calculatemid-point,centroid,parallelism75Affinereconstruction

ButhowTranslationalmotion(e.g.inacaronastraightroad,moon)Pointsatinfinityarefixedforapuretranslationreconstructionbythosexi?xiwhichareon,wecanobtainthe

andaffinereconstruction76Translationalmotion(e.g.inSceneConstraintsFind3pointswhichareknownto