1、局部特征報告局部特征報告報告人：顏彬 -關于關于sift算法介紹算法介紹2什么是局部特征？局部特征從總體上說是圖像或在視覺領域中一些有局部特征從總體上說是圖像或在視覺領域中一些有別于其周圍的地方別于其周圍的地方 局部特征通常是描述一塊區域，使其能具有高可區局部特征通常是描述一塊區域，使其能具有高可區分度分度 局部特征的好壞直接會決定著后面分類、識別是否局部特征的好壞直接會決定著后面分類、識別是否會得到一個好的結果會得到一個好的結果 3局部特征需具備的特性重復性重復性 可區分性可區分性 準確性準確性 數量以及效率數量以及效率 不變性不變性 4局部特征提取算法-siftSIFT算法由算法由D.G.

2、Lowe 1999年提出，年提出，2004年完善總結。后來年完善總結。后來Y.Ke將其描述子部分將其描述子部分用用PCA代替直方圖的方式，對其進行改進。代替直方圖的方式，對其進行改進。SIFT算法是一種提取局部特征的算法，在尺度算法是一種提取局部特征的算法，在尺度空間尋找極值點，提取位置，尺度，旋轉不變空間尋找極值點，提取位置，尺度，旋轉不變量量5Sift算法主要特點SIFT特征是圖像的局部特征，其對旋轉、尺度縮特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性。噪聲也保持一定程度的穩定性

3、。 獨特性好，信息量豐富，適用于在海量特征數據庫獨特性好，信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配。中進行快速、準確的匹配。 多量性，即使少數的幾個物體也可以產生大量多量性，即使少數的幾個物體也可以產生大量SIFT特征向量。特征向量。 可擴展性，可以很方便的與其他形式的特征向量進可擴展性，可以很方便的與其他形式的特征向量進行聯合。行聯合。6SIFT算法步驟檢測尺度空間極值點檢測尺度空間極值點 精確定位極值點，去除低對比度點和不穩定邊緣點精確定位極值點，去除低對比度點和不穩定邊緣點為每個關鍵點指定方向參數為每個關鍵點指定方向參數關鍵點描述子的生成關鍵點描述子的生成7尺度空間理論：

4、尺度空間理論目的是模擬圖像數據的多尺度尺度空間理論目的是模擬圖像數據的多尺度特征特征 其基本思想是在視覺信息圖像信息處理模型其基本思想是在視覺信息圖像信息處理模型中引入一個被視為尺度的參數中引入一個被視為尺度的參數, 通過連續變通過連續變化尺度參數獲得不同尺度下的視覺處理信息化尺度參數獲得不同尺度下的視覺處理信息, 然后綜合這些信息以深入地挖掘圖像的本質然后綜合這些信息以深入地挖掘圖像的本質特征特征。 8線性尺度算子檢測極值點SIFT算法中使用的是線性尺度空間，高斯卷積核算法中使用的是線性尺度空間，高斯卷積核是實現線性尺度變換的唯一線性核是實現線性尺度變換的唯一線性核在在SIFT算法中，使用了

5、差分金字塔算子算法中，使用了差分金字塔算子DOGDOG算子計算簡單，是尺度歸一化的算子計算簡單，是尺度歸一化的LoG算子的算子的近似近似 （只差一個常數因子（只差一個常數因子k-1）中間的檢測點和它同尺度的中間的檢測點和它同尺度的8個相鄰點和上下相鄰個相鄰點和上下相鄰尺度對應的尺度對應的92個點共個點共26個點比較個點比較 ，如下圖所示，如下圖所示9圖1：DoG尺度空間局部極值檢測10圖2：由兩組高斯尺度空間圖像示例金字塔的構建， 第二組的第一副圖像由第一組的第一副到最后一副圖像由一個因子2壓采樣得到。11SIFT算法步驟檢測尺度空間極值點檢測尺度空間極值點 精確定位極值點，去除低對比度點和不

6、穩定邊緣點精確定位極值點，去除低對比度點和不穩定邊緣點為每個關鍵點指定方向參數為每個關鍵點指定方向參數關鍵點描述子的生成關鍵點描述子的生成12精確確定極值點位置在檢測到極值點后，對差分算子進行二階泰勒展開，求泰在檢測到極值點后，對差分算子進行二階泰勒展開，求泰勒公式的極大偏移量，精確定位檢測到的極值點。極大偏勒公式的極大偏移量，精確定位檢測到的極值點。極大偏移量如下式；在具體的算法實現中，可以利用移量如下式；在具體的算法實現中，可以利用Hessian矩矩陣和陣和D的一階矩陣來實現。的一階矩陣來實現。在求出極大偏移量后，若其值大于在求出極大偏移量后，若其值大于0.5則表示極值點更靠則表示極值點更

7、靠近相鄰的點。若小于近相鄰的點。若小于0.5則不動。則不動。122DDXXX 13去除低對比度極值點：由于線性尺度空間不能保證對比度不變性，因此在精由于線性尺度空間不能保證對比度不變性，因此在精確定位好后，通過上面求得的式子，要去除低對比度確定位好后，通過上面求得的式子，要去除低對比度點。計算公式如下：點。計算公式如下：在在Lowe的論文中提到當的論文中提到當D(X)小于小于0.3時就定義此極時就定義此極值點為低對比度點，此點將被去除掉；值點為低對比度點，此點將被去除掉；12TDD XDXX14邊緣響應的去除一個定義不好的高斯差分算子的極值在橫跨邊緣的一個定義不好的高斯差分算子的極值在橫跨邊緣

8、的地方有較大的主曲率，而在垂直邊緣的方向有較小地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。由于這樣的邊緣點容易受到圖像噪聲的的主曲率。由于這樣的邊緣點容易受到圖像噪聲的影響，因此也要去除這些不穩定的邊緣點。影響，因此也要去除這些不穩定的邊緣點。 主曲率通過一個主曲率通過一個2x2 的的Hessian矩陣矩陣H求出，在求出，在Hessian特征點檢測中有提到如何通過特征點檢測中有提到如何通過Hessian矩陣求邊緣點的方法矩陣求邊緣點的方法15SIFT算法步驟檢測尺度空間極值點檢測尺度空間極值點 精確定位極值點，去除低對比度點和不穩定邊緣點精確定位極值點，去除低對比度點和不穩定邊緣點為

9、每個關鍵點指定方向參數為每個關鍵點指定方向參數關鍵點描述子的生成關鍵點描述子的生成16關鍵點方向分配利用關鍵點鄰域像素的梯度方向分布特性為每個關利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。鍵點指定方向參數，使算子具備旋轉不變性。 以關鍵點為中心的鄰域窗口內采樣，并用直方圖統以關鍵點為中心的鄰域窗口內采樣，并用直方圖統計鄰域像素的梯度方向。梯度直方圖的范圍是計鄰域像素的梯度方向。梯度直方圖的范圍是0360度，其中每度，其中每10度一個柱，總共度一個柱，總共36個柱。個柱。 隨隨著距中心點越遠的領域其對直方圖的貢獻也響應減著距中心點越遠的領域其對直方圖的貢獻

10、也響應減小。小。Lowe論文中還提到要使用高斯函數對直方圖進行論文中還提到要使用高斯函數對直方圖進行平滑，減少突變的影響。平滑，減少突變的影響。17輔方向分配當存在另一個相當于主峰值當存在另一個相當于主峰值80%能量的峰值能量的峰值時，則將這個方向認為是該關鍵點的輔方向。一個時，則將這個方向認為是該關鍵點的輔方向。一個關鍵點可能會被指定具有多個方向（一個主方向，關鍵點可能會被指定具有多個方向（一個主方向，一個以上輔方向），從而生成多個不同方向的特征一個以上輔方向），從而生成多個不同方向的特征點。以此增強匹配的魯棒性點。以此增強匹配的魯棒性 。18SIFT算法步驟檢測尺度空間極值點檢測尺度空間極

11、值點 精確定位極值點，去除低對比度點和不穩定邊緣點精確定位極值點，去除低對比度點和不穩定邊緣點為每個關鍵點指定方向參數為每個關鍵點指定方向參數關鍵點描述子的生成關鍵點描述子的生成19特征描述子：在局部特征的設計中最關鍵的一步就是特征描述符在局部特征的設計中最關鍵的一步就是特征描述符的設計，而判斷一個特征描述符好壞的重要依據就的設計，而判斷一個特征描述符好壞的重要依據就是其高可區分性是其高可區分性有許多不同的特征描述符的技術用于描述圖像局部有許多不同的特征描述符的技術用于描述圖像局部特征。但在物體識別領域，當前最為流行的就是基特征。但在物體識別領域，當前最為流行的就是基于圖像外型結構特征的局部梯

12、度直方圖統計于圖像外型結構特征的局部梯度直方圖統計 20SIFT特征點描述子生成：將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性 對于一個關鍵點產生128個數據，即最終形成128維的SIFT特征向量將特征向量的長度歸一化，則可以進一步去除光照變化的影響。 歸一化歸一化處理處理生成描生成描述子述子 旋轉主旋轉主 方向方向 21描述子生成：以關鍵點為中心取以關鍵點為中心取1616的窗口；然后在每的窗口；然后在每44的小塊上計算的小塊上計算8個方向的梯度方向直方圖，個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種繪制每個梯度方向的累加值，即可形成一個種子點子點 ，如下圖：，如下圖：圖3

13、：關鍵點鄰域梯度信息生成特征向量 22描述子生成的細節以極值點為中心點，并且以此點所處于的高斯尺度以極值點為中心點，并且以此點所處于的高斯尺度sigma值作為半徑因子。對于遠離中心點的梯度值作為半徑因子。對于遠離中心點的梯度值降低對其所處區域的直方圖的貢獻，防止一些突值降低對其所處區域的直方圖的貢獻，防止一些突變的影響。變的影響。每個極值點對其進行三線性插值，這樣可以把此極每個極值點對其進行三線性插值，這樣可以把此極值點的貢獻均衡的分到直方圖中相鄰的柱子上值點的貢獻均衡的分到直方圖中相鄰的柱子上23SIFT特征點描述子生成：將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性 對于一個關鍵點產生128

14、個數據，即最終形成128維的SIFT特征向量將特征向量的長度歸一化，則可以進一步去除光照變化的影響。 歸一化歸一化處理處理生成描生成描述子述子 旋轉主旋轉主 方向方向 24歸一化處理在求出在求出4*4*8的的128維特征向量后，此時維特征向量后，此時SIFT特征向量已經去除了尺度變化、旋轉等幾何特征向量已經去除了尺度變化、旋轉等幾何變形因素的影響。而圖像的對比度變化相當于每個變形因素的影響。而圖像的對比度變化相當于每個像素點乘上一個因子，光照變化是每個像素點加上像素點乘上一個因子，光照變化是每個像素點加上一個值，但這些對圖像歸一化的梯度沒有影響。因一個值，但這些對圖像歸一化的梯度沒有影響。因此

15、將特征向量的長度歸一化，則可以進一步去除光此將特征向量的長度歸一化，則可以進一步去除光照變化的影響。照變化的影響。 25歸一化處理2：對于一些非線性的光照變化，對于一些非線性的光照變化，SIFT并不具備不并不具備不變性，但由于這類變化影響的主要是梯度的幅值變變性，但由于這類變化影響的主要是梯度的幅值變化，對梯度的方向影響較小，因此作者通過限制梯化，對梯度的方向影響較小，因此作者通過限制梯度幅值的值來減少這類變化造成的影響。度幅值的值來減少這類變化造成的影響。26實驗結果:27不同尺度下:原圖平滑后圖像28旋轉不變性29PCA-SIFT算法：PCA-SIFT與標準與標準SIFT有相同的亞像素位置，尺有相同的亞像素位置，尺度和主方向。但在第度和主方向。但在第4步計算描述子的設計，采用步計算描述子的設計，采用的主成分分析的技術。的主成分分析的技術。下面介紹一下其特征描述子計算的部分：下面介紹一下其特征描述子計算的部分：30PCA-SIFT特征描述子：用特征點周圍的用特征點周圍的4141的像斑計算它的主元，并用的像斑計算它的主元，并用PCA-SIFT將原來的將原來的23939維的向量降成維的向量降成20維，以達到更維，以達到更精確的表示方式。精確的表示方式。它的主要步驟為，對每一個關鍵點：在關鍵點周圍提取一