1、魔術眼鏡：從2D到3D,摘要,本文提出了一個由2D互聯網人臉圖像中的眼鏡實現虛擬的3D眼鏡試戴系統。本系統的主要的技術挑戰是從2D人臉的眼鏡自動重建3D眼鏡模型。,一、綜述,人體虛擬試穿是一個最重要的增強現實的應用。 虛擬試戴眼鏡 在現有的試戴系統-預定義的數據庫 互聯網圖片的眼鏡,第二部分回顧了現有的基于單一圖像的三維重建方法。 第三節介紹了我們的系統概述。 第四、第五、第六條將提供我們的系統在圖像提取、三維變形和虛擬試穿等方面的技術細節。 第七節實驗結果和討論在提出。 第八節總結的文件，并討論未來的工作。,2相關工作,1. 虛擬眼鏡試戴之前的研究工作 2. 提取人臉圖像感興趣區域 系統采用

2、了卷積神經網絡的合成數據進行訓練的分類，首先在像素級得到粗糙的標簽，然后將分類結果納入我們的水平集能量函數的邊緣信息，并獲得滿意的最終結果。 3. 從二維圖像重建三維模型 系統利用二維圖像的幾何形狀，直接指導三維模板的變形，從而可以得到視覺上可以接受的三維模型，包括分割步驟和變形步驟。,3系統概述,系統的輸入是一個眼鏡架的正面人臉圖像。其輸出是一個重建的可以放在用戶的臉上3D眼鏡模型。,過程,第一個模塊是2D眼鏡提取，從人臉圖像中提取干凈的2D眼鏡形狀。 提出了一個粗糙卷及神經網絡分類，迭代級集分割進行細化。我們將三維重建問題轉換為模板變形問題，簡化了計算，但產生了良好的結果。 最后一個模塊是

3、三維虛擬嘗試，這是建立在我們以前的工作基礎上。該模塊將重建的三維眼鏡放到用戶的臉上，并演示了重建的輸出。在用戶查看系統是一個軟件并且在電腦上配備Kinect攝像頭。,四、2D眼鏡提取,1.利用像素的卷積神經網絡分類器來大致確定是眼鏡的邊界 利用1000無遮擋的正面人臉圖像，由著名的FERET數據庫。同時， 200個戴眼鏡的圖像。這些圖像的眼鏡是用純背景干凈，這樣很容易得到相應的輪廓形狀的面具，面部圖像通過兩只眼睛的位置校準，眼鏡的圖像通過它的最左上點和最右上點的位置進行校準。,2.按水平集細化分割,(1)基于邊界的卷積神經網絡優先的有效輪廓模型的生成，眼鏡的框架可以看作三個輪廓的組合：兩內輪廓

4、和外輪廓。 (2)對稱性估計 內輪廓，左右兩邊的輪廓是對稱的，而對于外輪廓，左右部分是對稱的。,(3)內、外輪廓提取的細節 內輪廓相對于外輪廓通常有相對較少的雜亂區域： 使用公式6來擴張眼鏡的輪廓和適合眼鏡內輪廓。 外輪廓的情況更為復雜，通常是與眉毛，頭發等，為了減少這些干擾，初始輪廓由內輪廓的擴張后生成。然后采用經典的擴展水平集算法。 先擴張 再收縮,三維模型重建,1.首先進行模型檢索，從候選模型找到最合適的模型。 2.二維操作點的選擇 3.二維圖像三維模型變形 受幾何校正技術的啟發，提出了一種通過優化后的目標函數的點對點的模型變形算法 4.紋理映射,六、虛擬眼鏡試戴,1.面部跟蹤 基于主動

5、外觀模型（AAM）的人臉跟蹤系統，可以得到頭平移和旋轉。 2.阻塞求解 不同于基于特征點或三維重建的方法，在補償過程中我們添加了一個透明的通用人臉模型Candide-3解決遮擋問題。,七.仿真結果與討論,人臉合成過程中使用了FERET數據庫1000人臉數據。我們還創建了一個2D眼鏡的二進制圖像形狀數據庫，包括合成步驟中187個眼鏡形狀。正面人臉圖像和三維模板模型是在在互聯網上搜索得到的。,1.眼鏡提取的結果 卷積神經網絡的分析方法，給出了一個相當粗略的猜測眼鏡地區。 經過水平集的細化，我們可以輪廓光滑，自然的圖片。 利用人臉數據庫和眼鏡數據庫，同時充分利用圖像邊緣信息和對稱性信息。因此，提取的

6、眼鏡的形狀更加自然和完整。,2.三維變形的結果,有2個主要的影響因素：一個是輸入的輪廓與模板的二維投影（可在模型檢索階段）的相似性，另一個是模板模型的頂點分布。模板A有一個均勻分布的頂點并且幀之間的連接更順暢，所以變形結果通常更有利。,3.虛擬試穿的結果 圖13：三維變形結果及相應的虛擬試驗結果。第一行顯示輸入的人臉圖像與眼鏡。第二行顯示的輪廓圖像扭曲的三維模板的投影。第三行顯示處理點模板模型和提取輪廓。第四行顯示變形后的三維模型。最后一行顯示在3det系統中試戴的結果。所有這些變形的模型都是由模板生成的。,結論,我們的系統提供了3D眼鏡從一個單一的圖像生成系統重建虛擬試戴模型的新的解決方案。提出一個基于只有幾個有限的模板的有效