1、移動機器人在未知環境下的基于視覺系統上的地圖創建 2015年11月2日 論文的難點：如何從圖像中提取穩定的特征點，如何實現相鄰連續幀的特征點匹配。移動機器人的運動會引起攝像機位姿在三維模型中的變化，如何實時更新三維模型圖中攝像機的位姿。 論文的框架：攝像機成像模型以及標定方法機器人的位姿估計對相機進行標定并給出標定結果在構建三維虛擬場景中完成圖像的描繪圖像特征點提取和跟蹤Kinect介紹及標定Kinect是采用圖像辨識的方式，透過攝像頭和紅外線鏡頭獲取圖像，判斷使用者的位置和整體動作，甚至還能記錄實物畫面、以及辨識使用者性別。Kinect的工作原理 Kinect通過CMOS紅外傳感器的黑白光譜

2、來感知環境，純黑代表無限遠，純白代表無窮近。黑白之間的灰色地帶對應物體到傳感器的物理距離。它通過收集視野范圍內的每一點，形成一幅代表周圍環境的深度圖像。傳感器以每秒30幀的速度生產深度圖像流，通過對圖像流的處理可以實時3D的再現周圍環境。 Kinect標定由于制造工藝等外部因素，攝像機的成像過程不可能嚴格滿足理想情況下攝像機成像的條件。透鏡形狀會產生徑向畸變，而在整個攝像機的組裝過程會產生切向畸變。在成像過程中產生的畸變，導致物體在攝像頭成像平面上存在誤差。通過標定，可以將錯誤的圖像進行校正，減少圖像失真。序列圖像的特征提取和匹配 SLAM問題涉及到移動機器人自身的位姿狀態和外部環境的信息。本

3、課題的三維重建系統是基于特征點。序列圖像特征點提取實時重建三維場景確定攝像機相對位置和姿態相鄰圖像特征點跟蹤匹配相鄰圖像幀進行拼接 在SLAM系統中，通常用“路標特征”來表述參與定位和重建的特征點。路標特征具有特殊的性質。 這些特性我們概括為: 1，它必須是環境中自帶的特征； 2，它的運動情況必須己經知道，我們假設所有的環境特征都是靜止不動； 3，在發生視覺轉換時，仍能容易辨識，且很少被遮擋。 為了實現對序列圖像的跟蹤匹配，我們首先需要對圖像進行處理，提取圖像中容易識別的特征點。這些圖像特征應該是獨一無二的，或者至少接近獨一無二，一般是圖像中的斑點、邊緣點或角點。它便于與另一張圖像中的其它點或

4、者是相同點進行參數的比較。Harris算子、KLT算子、非尺度空間特征點檢測算子 Harris算子KLT算子 KLT算法為了得到Z矩陣，需要先進行灰度處理，再二階求導。根據Z矩陣兩個特征值大小判斷該點是否可以作為特征點。假設I表示灰度圖像，則Z矩陣表達式如下所示: 其中， 為某鄰域內一階x方向導數， 為對應的一階y方向導數。設 和 為Z矩陣的兩個特征值， 表示相鄰兩幀之間特定窗口上灰度誤差平方和。xIyI12 圖3-2描述KLT算子如何選擇選擇特征點：非尺度空間點特征檢測算法 傳統的算法非常消耗時間，對于在計算機視覺系統中的第一步特征點檢測步驟而言，得不償失。而不包含尺度空間的特征點算法卻能達

5、到很高的效率。Fast Corner是非尺度空間類別中的一種算法，只需利用周圍像素比較信息就能得到特征點。 Fast Corner認為，一個特征點的特征響應度與其圓形圖像域的自相似度有關。它的定義基于特征點周圍的圖像灰度值，檢測候選特征點周圍領域的像素值，如果候選點周圍領域內有足夠多的像素點與該候選點的灰度值差別夠大，則把該候選點為當作特征點。這個“周圍領域”由一個Bresenham圓來界定。 4.1投影矩陣的求解原理 第四章 三維信息獲取和環境地圖表示基于立體視覺的實時三維地圖構建 本文提出了由視差圖實時構建三維地圖的算法。視差圖到車體坐標系下的三維地圖重建建立全局坐標下的全局地圖車體坐標系

6、到全局坐標系的轉換 由于實時性要求，目前用于導航的地圖構建多基于雷達。 本文提出了基于立體視覺的實時三維地圖構建，與基于雷達的地圖構建相比，它有以下優點： 1攝像機價格較低，且屬于被動式，隱蔽性較好; 2此外一般的雷達不能真實的反映地形高度，而攝像機不存在這個問題; 3并且由于現今處理器速度的提高，基于立體視覺的三維地圖構建也能達到導航的實時性要求。三維場景重建 視差圖到攝像機坐標系下三維坐標的轉換 本文的視差圖已經由雙目立體匹配得到，利用視差圖的三維場景重建首先需要求得視差圖上各點在攝像機坐標系下的三維坐標。 對于三維空間中任意物點p在攝像機坐標系下z軸上的坐標可以由下式得到: 在得到深度信

7、息之后，可以由攝像機的線性成像幾何模型得到任意物點p在攝像機坐標系下的 和 分量。dbfZccXcY攝像機坐標系到車體坐標系的轉換 在攝像機坐標下描述的場景依賴于攝像機的安裝位置，即當攝像機安裝位置相對車體變動時，場景描述也會變動，因此需要實現攝像機坐標系到車體坐標系的轉換。轉換公式為： 其中 為攝像機坐標系下坐標， 為攝像機安裝的俯仰角， 為車體坐標系下坐標， 是攝像機相對于凍結坐標的平移向量。),(,cccZYX),(,wwwZYXTa三維柵格地形表示 直接利用式(3)和(4)來重建三維地貌，在表示場景時存在著如下問題: 1數據量龐大，存在大量冗余信息。 2攝像機成像時空間分辨率的不同，造

8、成遠近數據分布的不均勻。 3遮擋引起數據缺失。 解決方案：可以采用將場景等分成若干個小區域，區域內的高度可以根據落入該區域的高度數據來確定，即采用柵格法來描述地形。由于場景被量化成區域，對于場景中數據缺失的位置，其所在區域的高度可以用該區域內的其他數據來彌補。這樣，不但大大減少了數據量，而且使場景中每個區域都有高度數據。地圖構建 構建全局地圖首先必須確立全局坐標系，本文的全局坐標系由慣性導航系統和GPS共同確定。由于當前時刻的地形圖是在車體坐標系下，要把它融合到全局地圖中，必須要轉換到全局坐標系下。 實現車體坐標系到全局坐標系的轉換需要知道車體的姿態(附仰角，側滾角，航向角)和位置信息。附仰角，側滾角，航向角修正車體坐標系與全局坐標系的旋轉角度。車體位置實現車體坐標與全局坐標之間的平移。本文的車體姿態由慣導系統得到，車體位置由GPS得到。GW 是全局坐標系下的坐標， 是自主車在全局坐標系下的坐標 。利用全局坐標系下的即時時刻的地形圖我們就可以實時更新和擴充全局地圖。實驗：為驗證本