基于雙目視覺圖像的三維重建人機交互課程基于雙目視覺圖像的三維重建人機交互課程1.引言2.基于圖像的三維重建

2.1攝像機標定2.2特征抽取與特征匹配2.3三維空間點定位2.4表面幾何建模2.5紋理映射3.三維重建效果與應用主要內容

1.引言主要內容

我們看到的世界是三維的。人機交互中計算機視覺方面的研究目的就是為了賦予計算機以人類的視覺認知功能，使計算機具有通過二維圖像認知三維世界的能力。1、引言1、引言

三維信息獲取的技術手段通常分三種：第一種：利用三維建模軟件（如3DSMAX，AutoCAD等）構造三維模型；第二種：人們通過儀器設備直接獲取三維信息；第三種：利用圖像或者視頻來重建三維模型；

最后一種基于圖像的三維建模方法，通過對物體實拍的圖像序列或者圖像對來恢復出物體模型。根據重建算法的復雜性，建模過程也越來越自動化，使得人工勞動強度越來越輕，降低了建模成本。而建模所需的設備只需要一個普通的相機，適用于任何場景的重構。基于雙目視覺的三維重建概要課件

基于圖像的三維重建常見算法：基于平面的三維重建；基于深度圖的三維重建；基于輪廓線的三維重建；基于立體視覺的三維重建；2、基于圖像的三維重建圖基于立體視覺的三維重建2、基于圖像的三維重建圖基于立體視覺的三維重建

基于立體視覺的三維重建流程原始圖像攝像機基礎矩陣攝像機標定特征點特征點對特征匹配特征點檢測對極線約束空間點定位點云模型表面幾何重建可見外殼紋理映射三維模型原始圖像攝像機攝像機標定特征點特征點對特征匹配特征點檢

2.1攝像機標定

2.1.1定義與幾何意義(1)定義：從攝像機獲取的圖像信息出發，計算三維空間中物體的幾何信息，并由此重建和識別物體，而空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系是由攝像機成像的幾何模型決定的，這些幾何模型參數就是攝像機參數。在大多數條件下，這些參數必須通過實驗與計算才能得到，這個過程被稱為攝像機定標(或稱為標定)。2.1攝像機標定(2)三個坐標系：

a、世界坐標系：

b、攝像機坐標系：c、圖像坐標系:

Ou攝像機坐標系yxv圖像坐標系世界坐標系(2)三個坐標系：a、世界坐標系：Ou攝像機坐標系y對圖像坐標系，如圖，原點定義為攝像機光軸與圖像平面的交點。若在u，v坐標系中的坐標為，每一個像素在x軸與y軸方向上的物理尺寸為dx,dy，則圖像中任意一個像素在坐標系下的坐標有如下關系：寫為齊次坐標形式圖圖像坐標系對圖像坐標系，如圖，原點定義為攝像機光軸與

o寫成齊次坐標形式為

（3）兩種攝像機模型

a、小孔成像模型o寫成齊次坐標形式為（3）兩種攝像機模型

a、小寫成齊次坐標形式為

of

b、中心透視投影模型寫成齊次坐標形式為of

b、中心透視投影模型

對于世界坐標系中的點進行變換，其過程包括兩個部分：一個是變換部分，一個是旋轉部分。所以攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R與平移矩陣t來描述。因此，空間中某一點P在世界坐標系與攝像機坐標系下的齊次坐標如果分別是與，于是存在如下關系：(4)世界坐標與攝像機坐標的關系(4)世界坐標與攝像機坐標的關系

由以上推導的公式

(5)幾何意義(5)幾何意義最終得到K蘊涵了攝像機的焦距等內部參數，被稱為內參矩陣；(R,t)則反映了攝像機坐標系相對于世界坐標系的方向和位置等外部參數，稱為外參矩陣。所以，求投影矩陣P的過程則成為攝像機的標定。最終得到2.1.2攝像機標定方法

由2.1.1中的推導，有圖像像素坐標系和世界坐標系的關系:

從公式上看，若求矩陣P，則應同時知道空間中若干M點的坐標以及圖像上對應點M1、M2的坐標。MM1M22.1.2攝像機標定方法MM1M2通常，可以采用在攝像機取景范圍內放置定標物體的方法進行攝像機定標，其中定標物體的三維形狀是已知的，即定標物體上標識點(也稱為參考點)相對于物體本身坐標系的三維坐標是已知的。目前廣為采用的定標物體是一塊畫有棋盤格的平板（如圖），只需要用攝像機從不同視角拍攝這個平板，對每幅圖像提取標識點(定標板上已經標記好位置)，從而獲得定標板標識點與圖像標識點間的對應關系，這樣，對每幅圖像就可以確定一個投影矩陣P，從而完成攝像機標定。通常，可以采用在攝像機取景范圍內放置定標物體的

2.2特征提取與特征匹配

2.2.1特征提取特征提取，就是要從大量的圖像數據中選擇最能反應景物屬性特征的因素，用于特征匹配。在目前的特征提取算法中，經常采用的是區域特征、邊緣特征和角點特征。2.2特征提取與特征匹配為空間點的定位重建，這里采取提取特征點。圖像特征點提取方法有很多，可以定義某種算子(Harris算子、DoG算子等)，通過在圖像上尋找該算子的極值來提取圖像的特征點；也可以通過從圖像中提取邊緣，然后，在邊緣上搜索曲率最大的點作為特征點等等。圖特征點的提取結果為空間點的定位重建，這里采取提取特征點。圖特征點的提2.2.2特征匹配

圖像匹配是圖像處理中的重要課題，也是三維重建的一個重要步驟。是為了尋找同一空間場景在不同視點下投影圖像像素間的對應關系。對特征提取出的特征點來說，匹配即是在不同視角的圖像中找出特征點的對應點，也稱對應基元匹配。2.2.2特征匹配（1）對極幾何約束設兩相機的中心分別為C和C’，兩圖像平面分別為I和I’，X1、X2為共同視域中的場景空間點，它們在兩幅圖像平面上的投影點分別為，。已知點C，C’，X1，X2構成一個平面，稱為對極平面；該平面與成像平面I和I’分別交于直線L和L’，稱為極線。對極幾何約束可以描述為：假設x和x’分別為同一場景空間點X在兩幅圖像平面I，I’上的像點，則x’必定位于x對應的極線L’上，反之亦然。（1）對極幾何約束（2）匹配約束條件a、唯一性：在給定的兩幅圖中，一幅圖中的一點，在另一幅圖中的對應匹配點至多只有一個，反之亦然。b、相似性：對應的特征應該具有相同的屬性。在某種度量下，同一物理特性在兩幅圖像中應該表現出相似的性質。c、連續性：與觀察點的距離相比，物體表面因凸凹不平引起的深度變化是緩慢的，因而，視差的變化也是緩慢的，或者說視差具有連續性。（2）匹配約束條件（3）常見算法：

a、區域匹配；b、相位匹配；c、特征點匹配；圖特征匹配結果（3）常見算法：圖特征匹配結果

2.3三維空間點定位圖三維空間點定位

如圖，m是提取的圖像特征點，通過特征匹配得到其在另一平面的匹配點為m’。由攝像機標定得知投影矩陣P和P’，故可以得到這對匹配點（m，m’）的反投影的兩條射線。當匹配點滿足對極幾何約束時，反投影射線會在空間中相交，交點M的坐標即為三維空間坐標。2.3三維空間點定位圖三維空間點定位如

通常情況下，像點坐標都存在測量誤差，使得對極幾何約束得不到滿足，無法使用反投影交點的方法得到三維空間坐標。因此，需要計算出三維空間坐標的最佳估計值，這個過程稱為三維空間點定位。可用最小二乘法求取坐標，或者用最大似然估計法最小化投影誤差。

2.4表面幾何建模

2.4.1點云模型的建立

概念：點云：三維景物外觀表面的點數據集合稱之為點云。面片：即三維景物表面某一部分的估計。由之前的方法重建出的空間三維點，每個三維點都會對應一組面片。根據PMVS點云生成算法，剔除錯誤的三維點對應的面片，從而得到點云模型。

2.4表面幾何建模2.4.2表面重建與實現對于散亂點云，尋找一種快速有效的曲面重建方法是當前的一個研究熱點。（1）根據重建曲面和數據點云之間的關系可以將曲面重建分為插值法和逼近法兩大類。前者得到的重建曲面完全通過原始數據點。后者得到的重建曲面是原始數據點的一個逼近。（2）根據重建曲面表示形式的不同可以將曲面重建分為五大類：參數曲面重建、隱式曲面重建、變形曲面重建、細分曲面重建和分片線性曲面重建。

2.4.2表面重建與實現

（3）根據曲面拓撲形式的不同可以將曲面重建方法分為兩大類：基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲面建模主要面向有序數據點云，而基于三角域的曲面建模則是面向散亂數據點云。這樣，經過曲面重建算法，可以得到三維模型的可見外殼（3）根據曲面拓撲形式的不同可以將曲面重建方法

2.5紋理映射2.5.1紋理映射定義在計算機圖形學中，為了使模型具有視覺上的真實感，常常預先定義一個紋理圖像，再通過某種映射算法建立物體表面點和紋理圖像像素點之間的對應關系，合理填充紋理圖像像素，最后將紋理圖像覆蓋到三維表面上，這一過程就是紋理映射。

2.5紋理映射2.5.2紋理映射基本思想紋理映射以多幅圖像為基礎，需要解決的問題是如何將存在于不同圖像中的紋理信息組織起來。這就需要將圖像中的有用信息提取出來，用一張紋理圖像進行表示。這部分工作通常包含兩個步驟：第一步是建立幾何模型與紋理圖像間的對應關系；第二步是根據對應關系合成紋理圖像。

圖紋理像素映射過程2.5.2紋理映射基本思想圖紋理像素映射

2.5.3模型優化可見外殼一般以網格形式表示。網格中三角面片數目的多少，對模型的顯示速度及模型所需的存儲空間都有非常大的影響。

目前人們熟知的網格優化技術包括網格平滑和網格簡化。在進行紋理映射之前，采用適當的平滑和簡化算法對網格結構進行優化，有利于提高映射精度。

圖可見外殼圖可見外殼2.5.4模型展開空間六面體可以按照一定的對應關系展開二維平面中。基于這個思想，選定一個可以包圍三維模型的六面體，將模型向空間六面體的六個面進行投影，再通過平面展開，就獲得了三維模型與二維平面間的對應關系。

圖模型平面參數化和柱面參數化圖六面體的一種展開方式2.5.4模型展開圖模型平面參數化和柱面參數化圖2.5.5最終紋理合成由同空間點定位的方法可知幾何模型與每幅彩色圖像之間的投影關系，我們可以計算出模型上的每一個三維點在各幅圖像上所對應的象素。經過一些處理（面片可見性判斷、加權平均），就獲得了所有三維模型在紋理圖上對應的紋理信息，也就臺成了模型的最終紋理圖像。在進行繪制的時候只需通過新合成的紋理圖對模型進行映射，就能正確的顯示出三維重建的最終結果。

2.5.5最終紋理合成紋理映射最終結果展示：紋理映射最終結果展示：3、三維重建效果及應用（1）

制