特征提取

—Harris算子匯報人：張琳特征提取

—Ha1目錄基本概念及所需知識Harris算子程序設計及實驗結果圖像變化特征點的作用角點基本思想數學表達改進的Harris算子目錄基本概念及所需知識Harris算子程序設計及實驗結果圖像2基本概念及所需知識

——圖像變化的類型幾何變化旋轉相似(旋轉+各向相同的尺度縮放)

仿射(非各向相同的尺度縮放)

適用于:物體局部為平面灰度變化仿射灰度變化(I

a

I+b)基本概念及所需知識

3基本概念及所需知識

——提取特征點的作用圖像的點特征是許多計算機視覺算法的基礎：使用特征點來代表圖像的內容運動目標跟蹤物體識別圖像配準全景圖像拼接三維重建基本概念及所需知識

4基本概念及所需知識

——特征點（角點）特征點在許多文獻中又被稱為興趣點(interestpoint)、角點(cornerpoint),對特征點目前還沒有統一的定義,一般認為特征點產生于兩條或多條相對直線交叉的區域。不同的檢測方法對特征點有不同的定義。角點（cornerpoints）：局部窗口沿各方向移動，均產生明顯變化的點圖像局部曲率突變的點典型的角點檢測算法：Harris角點檢測CSS角點檢測基本概念及所需知識

5一種好的局部特征應該具有以下性質:(1)可重復性:同一個物體或場景在不同的條件下(如視角、尺度發生變化),兩幅圖像中對應的特征越多越好。(2)獨特性:特征的幅值模式需要呈現多樣性,這樣的特征才能被區分和匹配。(3)局部性:特征應該是局部的,從而減少被遮擋的可能性,并且允許用簡單的模型來近似兩幅圖像間的幾何和成像變形。(4)數量性:一般來說,檢測到的特征數目一定要多,但是在圖像檢索中,特征太多,又會對檢索的實時性造成一定影響。理想情況是檢測到的特征數量在一個比較大的范圍內,然后可以通過一個簡單的預知就可以調整。而這個閾值的調整可以通過在檢索系統中的實驗得以確定。基本概念及所需知識

——特征點（角點）一種好的局部特征應該具有以下性質:基本概念及所需知識

6(5)準確性:得到的特征應該能夠被精確定位,包括圖像空間和尺度空間上的精確定位。(6)高效性:檢測和描述的時間越短越好,以便用于后續的實時應用。這6條性質中,最重要的是可重復性。Moravec[44]于1977年提出Moravec角點算法,是最早提出的角點檢測算法之一。該方法中,角點被定義為在各個方向(垂直、水平、對角線)都存在劇烈灰度變化的點基本概念及所需知識

——特征點（角點）(5)準確性:得到的特征應該能夠被精確定位,包括圖像空間7不同類型的角點不同類型的角點8Harris角點檢測基本思想從圖像局部的小窗口觀察圖像特征角點定義

窗口向任意方向的移動都導致圖像灰度的明顯變化Harris角點檢測基本思想從圖像局部的小窗口觀察圖像特征9Harris角點檢測基本思想平坦區域：

任意方向移動，無灰度變化邊緣：沿著邊緣方向移動，無灰度變化角點：沿任意方向移動，明顯灰度變化Harris角點檢測基本思想平坦區域：

任意方向移動，無灰度10Harris檢測：數學表達圖像灰度平移后的圖像灰度窗口函數將圖像窗口平移[u,v]產生灰度變化E(u,v)或窗口函數w(x,y)=Gaussian1inwindow,0outsideHarris檢測：數學表達圖像灰度平移后的圖像灰度窗口函數將11Harris檢測：數學表達寫成矩陣形式：式中，Ix為x方向的差分，Iy為y方向的差分，w(x,y)為高斯函數Harris檢測：數學表達寫成矩陣形式：式中，Ix為x方向的12Harris檢測：數學表達窗口移動導致的圖像變化：實對稱矩陣M的特征值分析

max,

min

M的特征值緩慢變化的方向快速變化的方向(

max)-1/2(

min)-1/2E(u,v)的橢圓形式Harris檢測：數學表達窗口移動導致的圖像變化：實對稱矩陣13Harris檢測：數學表達

1

2“Corner”

1

和

2

都較大且數值相當

1~

2;

圖像窗口在所有方向上移動都產生明顯灰度變化如果

1

和

2

都很小，圖像窗口在所有方向上移動都無明顯灰度變化“Edge”

1>>

2“Edge”

2>>

1“Flat”region通過M的兩個特征值的大小對圖像點進行分類:Harris檢測：數學表達12“Corner”

1和14Harris檢測：數學表達定義：角點響應函數R(k–empiricalconstant,k=0.04-0.06)Harris檢測：數學表達定義：角點響應函數R(k–em15Harris檢測：數學表達

1

2“Corner”“Edge”“Edge”“Flat”

R

只與M的特征值有關角點：R

為大數值正數

邊緣：R為大數值負數

平坦區：R為小數值R>0R<0R<0|R|smallHarris檢測：數學表達12“Corner”“Edge16Harris檢測：算法優化用

Harris

算法進行檢測，有三點不足：（1

）該算法不具有尺度不變性；（2

）該算法提取的角點是像素級的；（3

）該算法檢測時間不是很令人滿意。基于以上認識，主要針對第（3

）點對Harris

角點檢測算法提出了改進。

Harris檢測：算法優化用

Harris

17Harris檢測：算法優化Harris

角點檢測是基于圖像像素灰度值變化梯度的，

灰度值圖像的角點附近，是其像素灰度值變化非常大的區域，其梯度也非常大。換句話說，在非角點位置鄰域里，各點的像素值變化不大，甚至幾乎相等，其梯度相對也比較小。從這個角度著眼，提出了圖像區域像素的相似度的概念，它是指檢測窗口中心點灰度值與其周圍n

鄰域內其他像素點灰度值的相似程度，這種相似程度是用其灰度值之差來描述的。如果鄰域內點的灰度值與中心點Image

(i,j)

的灰度值之差的絕對值在一個閾值t范圍內，那就認為這個點與中心點是相似的。與此同時，屬于該Image

(i,j)

點的相似點計數器nlike(i,j)

也隨之加一。在

Image

(i,j)

點的n

鄰域

全部被遍歷一邊之后，就能得到

在這個鄰域范圍內與中心點相似的點個數的統計值nlike(i,j)

。根據nlike(i,j)

的大小，就可以判斷這個中心點是否可能為角點。Harris檢測：算法優化Harris

角點18Harris檢測：算法優化由于我選擇3*3

的檢測窗口，所以，

對于中心像素點

,

在下面的討論中只考慮其8

鄰域內像素點的相似度。

計算該范圍的像素點與中心像素點的灰度值之差的絕對值

(

記為

Δ

)

,

如果該值小于等于設定的閾值

(

記為

t)

,

則認為該像素點與目標像素點相似

。

nlike(i,j)=sum(R(i+x,j+y))從定義中可以看出

:0

≤

nlike(i,j)

≤

8

。

現在討論

nlike(i,j)

值的含義

。(1)

nlike(i,j)=8,

表示當前中心像素點的

8

鄰域范圍內都是與之相似的像素點

,

所以該像素點鄰域范圍內的梯度不會很大

,

因此角點檢測時

,

應該排除此類像素點，不將其作為角點的候選點。(2)

nlike(i,j)=0,

表示當前中心像素點的

8

鄰域范圍內沒有與之相似的像素點

,

所以該像素點為孤立像素點或者是噪聲點

,

因此角點檢測時

,

也應該排除此類像素點

。Harris檢測：算法優化由于我選擇3*3

的19Harris檢測：算法優化(3)

nlike(i,j)=7,

可以歸結為以下的兩者情況

,

其他情形都可以通過旋轉來得到

(

圖中黑色區域僅表示與中心像素相似

,

而兩個黑色區域像素可能是相似的

,

也可能不相似

)

。

對于圖

1

(a)中

,

可能的角點應該是中心像素點的正上方的那個像素點

,

1(b)

圖中可能的角點應該是中心像素點右上方的那個像素點

,

故這種情況下

,

中心像素點不應該作為角點的候選點

。圖1（a）圖1（b）Harris檢測：算法優化(3)

nlike(i,20Harris檢測：算法優化(4)

nlike(i,j)=1,

可以歸結為圖

2

中的兩種情況

(

圖中白色區域僅表示與中心像素不相似,

而兩個白色區域像素可能是相似的

,

也可能不相似

),

在這兩種情況下

,

中心像素點也不可能為角點

。圖2（a）圖2（b）(5)

2

≤

nlike(i,j)

≤

6,

情況比較復雜

,

無法確認像素點準確的性質。我采取的方法是先將其列入候選角點之列，對其進行計算CRF

等后續操作。Harris檢測：算法優化(4)

nlike(i,21Harris角點的性質旋轉不變性：橢圓轉過一定角度但是其形狀保持不變（特征值保持不變）角點響應函數

R

對于圖像的旋轉具有不變性Harris角點的性質旋轉不變性：橢圓轉過一定角度但是其形狀22Harris角點的性質對于圖像灰度的仿射變化具有部分的不變性

只使用了圖像導數=>對于灰度平移變化不變

I

I

+

b

對于圖像灰度的尺度變化:I

a

IRx

(imagecoordinate)閾值Rx

(imagecoordinate)Harris角點的性質對于圖像灰度的仿射變化具有部分的不變性23Harris角點的性質隨幾何尺度變化，Harris角點檢測的性能下降Repeatabilityrate:#correspondences

#possiblecorrespondenc