第8章圖像特征與理解8.1圖像的基本特征8.2角點特征8.3紋理分析8.4不變矩特征8.5圖像匹配8.6局部不變特征點提取習題8.1圖像的基本特征

8.1.1幾何方向

1.位置和方向

(1)圖像中物體(圖形或區域)的位置，定義為物體的面積中心。面積中心就是圖形的質心O(見圖8-1)。因二值圖像質量分布是均勻的，故質心和形心重合。若圖像中的物體對應的像素位置坐標為(xi，yj)(i=0，1，…，n－1；j=0，1，…，m－1)，則可用式(10-1)計算其質心位置坐標：(8-1)圖8-1物體位置由質心表示

2.方向

確定物體的方向有一定難度。如果物體是細長的，則可以把較長方向的軸定為物體的方向，如圖8-2所示。通常，將最小二階矩軸(最小慣量軸在二維平面上的等效軸)定義為較長物體的方向。也就是說，要找出一條直線，使下式定義的E值最小：(8-2)式中：r是點(x，y)到直線的垂直距離。圖8-2物體方向可由最小慣量軸定義2.周長

區域的周長定義為區域的邊界長度。區域的周長在區別具有簡單或復雜形狀物體時特別有用。一個形狀簡單的物體用相對較短的周長來包圍它所占有的面積。通常，測量這個距離時包含了許多90°的轉彎，從而擴大了周長值。

由于周長表示方法不同，因而計算方法不同，常用的簡便方法如下：

(1)當把圖像中的像素看做單位面積小方塊時，則圖像中的區域和背景均由小方塊組成。區域的周長即為區域和背景縫隙的長度和，此時，邊界用隙碼表示。因此，求周長就是計算隙碼的長度。

(2)當把像素看做一個個點時，則周長用鏈碼表示，求周長也即計算鏈碼長度。此時，當鏈碼值為奇數時，其長度記作；當鏈碼值為偶數時，其長度記作1。周長p表示為(8-3)式中：Ne、No分別是邊界鏈碼(8方向)中走偶步與走奇步的數目。周長也可以簡單地從物體分塊文件中通過計算邊界上相鄰像素的中心距離的和得到。

(3)周長用邊界所占面積表示，也即邊界點數之和，每個點占面積為1的一個小方塊。邊界的編碼方法請參考10.2.6節。以圖8-3所示的區域為例，采用上述三種計算周長的方法求得邊界的周長分別是：

(1)邊界用隙碼表示時，周長為24；

(2)邊界用鏈碼表示時，周長為10+5；

(3)邊界用面積表示時，周長為15。圖8-3周長計算實例3.面積

面積只與物體的邊界有關，而與其內部灰度級的變化無關。一個形狀簡單的物體用相對較短的周長來包圍它所占有的面積。

1.像素計數面積

最簡單的(未校準的)面積計算方法是統計邊界內部(也包括邊界上)的像素的數目。面積A計算公式見式(8-4)：(8-4)對二值圖像而言，若用1表示物體，用0表示背景，其面積就是統計f(x，y)=1的個數。

2.由邊界行程碼或鏈碼計算面積

由各種封閉邊界區域的描述來計算面積也很方便，可分如下情況：

(1)已知區域的行程編碼，只需把值為1的行程長度相加，即為區域面積。

(2)若給定封閉邊界的某種表示，則相應連通區域的面積應為區域外邊界包圍的面積減去它的內邊界包圍的面積(孔的面積)。

下面，以邊界鏈碼表示為例，說明通過邊界鏈碼求出所包圍面積的方法。設屏幕左上角為坐標原點，起始點坐標為(x0

，y0)，第k段鏈碼終端的y坐標為(8-5)式中：(8-6)εi是第i個碼元。設：則相應邊界所包圍的面積為(8-7)用式(8-7)求得的面積，即用鏈碼表示邊界時邊界內所包含的單元方格數。（3）用邊界坐標計算面積

Green定理表明，在x-y平面中的一個封閉曲線包圍的面積由其輪廓積分給定，即(8-8)其中，積分沿著該閉合曲線進行。將其離散化，式(8-8)變為(8-9)式中：Nb為邊界點的數目。4.長軸和短軸

當物體的邊界已知時，用其外接矩形的尺寸來刻畫它的基本形狀是最簡單的方法，如圖8-4(a)所示。求物體在坐標系方向上的外接矩形，只需計算物體邊界點的最大和最小坐標值，便可得到物體的水平和垂直跨度。但是，對任意朝向的物體，需要先確定物體的主軸，然后計算主軸方向上的長度和與之垂直方向上的寬度，這樣的外接矩形是物體最小外接矩形(MinimumEnclosingRectangle，MER)。計算MER的一種方法是，以每次3°左右的增量在90°范圍內旋轉物體邊界。每旋轉1次記錄外接矩形邊界點的最大和最小x，y值。旋轉到某一個角度后，外接矩形的面積達到最小，這時外接矩形的長度和寬度分別為長軸和短軸，如圖8-4(b)所示。此外，主軸可以通過矩(Moments)的計算得到，也可以用求物體的最佳擬合直線的方法求出。圖8-4MER法求物體的長軸和短軸5.距離

圖像中兩點P(x，y)和Q(u，v)之間的距離是重要的幾何性質，常用如下三種方法量測。

(1)歐幾里德距離：(8-10)(2)市區距離：(8-11)(3)棋盤距離：(8-12)顯然，歐幾里德距離為P、Q間的直線距離。以P為起點的市區距離小于等于t的點形成以P為中心的菱形，圖8-5(a)為t≤2時用點的距離表示的這些點。可見，d4(P，Q)是從P到Q最短的4路徑的長度。同樣，以P為起點的棋盤距離小于等于t的點形成以P為中心的正方形。例如，t≤2，用點的距離表示這些點時，如圖8-5(b)所示。同樣由圖8-5(b)可見，d8(P，Q)是從P到Q最短的8路徑的長度。

d4、d8計算簡便，且為正整數，因此常用來測量距離，而歐幾里德距離很少被采用。圖8-5兩種距離表示法8.1.2形狀特征

1.矩形度

矩形度反映物體對其外接矩形的充滿程度，用物體的面積與其最小外接矩形的面積之比來描述：(8-13)式中：AO是該物體的面積；AMER是MER的面積。

R的值在0～1之間。當物體為矩形時，R取得最大值1；圓形物體的R取值為π/4；細長的、彎曲的物體的R取值變小。

另外一個與形狀有關的特征是長寬比r：(8-14)r即為MER寬與長的比值。利用r可以將細長的物體與圓形或方形的物體區分開來。2.圓形度

圓形度用來刻畫物體邊界的復雜程度。有四種圓形度測度。

(1)致密度Co

度量圓形度最常用的是致密度，即周長(P)的平方與面積(A)的比：(8-15)

(2)邊界能量E

邊界能量是圓形度的另一個指標。假定物體的周長為P，用變量p表示邊界上的點到某一起始點的距離。邊界上任一點都有一個瞬時曲率半徑r(p)，它是該點與邊界相切圓的半徑(見圖8-6)。p點的曲率函數是：圖8-6曲率半徑函數K(p)是周期為P的周期函數。可用式(8-16)計算單位邊界長度的平均能量：(8-16)在面積相同的條件下，圓具有最小邊界能量E0＝(2π/P)2=(1/R)2，其中R為圓的半徑。曲率可以由鏈碼算出，因而邊界能量也可方便計算。

(3)圓形性

圓形性(Circularity)C是一個用區域R的所有邊界點定義的特征量，即(8-17)式中：μR是從區域重心到邊界點的平均距離；δR是從區域重心到邊界點的距離均方差：(8-18)(8-19)當區域R趨向圓形時，特征量C是單調遞增且趨向無窮的，它不受區域平移、旋轉和尺度變化的影響，可以推廣用以描述三維目標。

(4)面積與平均距離平方的比值

圓形度的第四個指標利用了物體內部的點到與其最近的邊界點的平均距離，即(8-20)式中：xi是從具有N個點的物體中的第i個點到與其最近的邊界點的距離。相應的形狀度量為(8-21)3.球狀性

球狀性(Sphericity)S既可以描述二維目標也可以描述三維目標，其定義為(8-22)在二維情況下，ri代表區域內切圓(InscribedCircle)的半徑，而rc代表區域外接圓(CircumscribedCircle)的半徑，兩個圓的圓心都在區域的重心上，如圖8-7所示。當區域為圓時，S達到最大值1.0，而當區域為其它形狀時，則有S＜1.0。S不受區域平移、旋轉和尺度變化的影響。圖8-7球狀性定義示意圖4.偏心率

偏心率(Eccentricity)E0也可叫伸長度(Elongation)，在一定程度上描述了區域的緊湊性。偏心率E0有多種計算公式。一種簡單方法是用區域主軸(長軸)長度與輔軸(短軸)長度的比值，如圖8-8所示。不過這種計算受物體形狀和噪聲影響較大。圖8-8偏心率度量另一種方法是計算慣性主軸比。Tenebaum提出計算偏心率的近似公式如下：(8-23)主軸方向角：(8-24)5.形狀描述子

對物體進行描述時，我們希望使用一些比單個參數更豐富的細節，但又比用圖像本身更緊湊的方法描述物體形狀。形狀描述子便能對物體形狀進行簡潔的描述，包括邊界鏈碼、

差分鏈碼、傅立葉描述子等。

1)邊界鏈碼

鏈碼是邊界點的一種編碼表示方法，其特點是利用一系列具有特定長度和方向的相連的直線段來表示目標的邊界。因為每個線段的長度固定而方向數目取為有限，所以，只有邊界的起點需要用絕對坐標表示，其余點均可只用接續方向來代表偏移量。由于表示一個方向數比表示一個坐標值所需比特數少，而且對每一個點只需一個方向數就可以代替兩個坐標值，因此，鏈碼表達可大大減少表示邊界的數據量。數字圖像一般是按固定間距的網格采集的，因此，最簡單的鏈碼是跟蹤邊界并賦給每兩個相鄰像素的連線一個方向值。常用的有4方向和8方向鏈碼，其方向定義分別如圖8-9(a)、(b)所示。

對圖8-9(c)所示邊界，若設起始點O的坐標為(5，5)，則分別用如下4方向和8方向鏈碼表示區域邊界：

4方向鏈碼：(5，5)11123232300；

8方向鏈碼：(5，5)222455600。圖8-9碼值與方向對應關系實際中直接對分割所得的目標邊界編碼有可能出現兩個問題：一是碼串比較長；二是噪聲等干擾會導致小的邊界變化從而使鏈碼發生與目標整體形狀無關的較大變動。常用的改進方法是對原邊界以較大的網格重新采樣，并把與原邊界點最接近的大網格點定為新的邊界點。這種方法也可用于消除目標尺度變化對鏈碼的影響。

鏈碼與選擇的起點有關。對同一個邊界，若用不同的邊界點作為鏈碼起點，則得到的鏈碼是不同的。為解決這個問題，可把鏈碼歸一化，下面介紹一種具體的做法。

給定一個從任意點開始而產生的鏈碼，可把它看做一個由各方向數構成的自然數。首先，將這些方向數依一個方向循環，以使它們所構成的自然數的值最小；然后，將轉換后所對應的鏈碼起點作為這個邊界的歸一化鏈碼的起點。

2)一階差分鏈碼

用鏈碼表示目標邊界時，若目標平移，鏈碼不會發生變化，而目標旋轉則鏈碼會發生變化。為解決這個問題，可利用鏈碼的一階差分來重新構造一個表示原鏈碼各段之間方向變化的新序列。這相當于把鏈碼進行旋轉歸一化。一階差分可用相鄰兩個方向數按反方向相減(后一個減去前一個)得到。如圖8-10所示，上面一行為原鏈碼(括號中為最右一個方向數循環到左邊)，下面一行為上面一行的數兩兩相減得到的差分碼(注意：若差為－1，則表示－1的相反方向3)。左邊的目標在逆時針旋轉90°后成為右邊的形狀，可見，原鏈碼發生了變化，但差分碼并沒有變化。圖8-10利用一階差分對鏈碼旋轉歸一化

3)傅立葉描述子

對邊界的離散傅立葉變換表達，可以作為定量描述邊界形狀的基礎。采用傅立葉描述的一個優點是將二維問題簡化為一維問題，即將x-y平面中的曲線段轉化為一維函數f(r)(在r-f(r)平面上)，也可將x-y平面中的曲線段轉化為復平面上的一個序列。具體就是將x-y平面與復平面u-v重合，其中實部u軸與x軸重合，虛部v軸與y軸重合，這樣可用復數u+jv的形

式來表示給定邊界上的每個點(x，y)。這兩種表示在本質上是一致的，是點點對應的(見圖8-11)。圖8-11邊界點的兩種表示方法現考慮一個由N個點組成的封閉邊界，從任一點開始繞邊界一周便得到一個復數序列:s(k)=u(k)+j

v(k)k=0,1,…,N-1s(k)的離散傅立葉變換是：ω=0,1,…,N-1(8-25)S(ω)可稱為邊界的傅立葉描述，它的傅立葉逆變換是：k=0,1,…,N-1(8-26)可見，離散傅立葉變換是個可逆線性變換，在變換過程中信息沒有任何增減。這為我們有選擇地描述邊界提供了方便。只取S(ω)的前M個系數即可得到s(k)的一個近似：k=0,1,…,N-1 (8-27)需注意，式(8-27)中k的范圍不變，即在近似邊界上的點數不變，但ω的范圍縮小了，即為重建邊界點所用的頻率項少了。傅立葉變換的高頻分量對應一些細節而低頻分量對應總體形狀，因此，用一些低頻分量的傅立葉系數足以近似描述邊界形狀。8.2角點特征

角點沒有一個準確的數學定義，通常認為角點是二維圖像亮度變化最劇烈或圖像邊緣曲線上曲率值最大的像素點。作為一個重要的局部特征，角點利用極少的像素，集中了圖像很多重要的形狀信息，具有旋轉不變的特點，且對光照變化不敏感。利用角點可以大大減少信息數據量，有效提高計算速度，因而在圖像匹配、攝像機標定、三維重建、運動物體的跟蹤及模式識別等領域有著重要的應用。角點檢測算法應滿足4個準則：①檢測性，即在不考慮噪聲的條件下，算法應能檢測出圖像中所有的角點；②定位性，即檢測出的角點位置應盡可能準確；③穩定性，即從同一場景的圖像序列中檢測到的角點應能互相對應；④復雜性，即應具有較低的計算復雜度，減少人工干預，

使得算法能快速實現。角點檢測方法可大致分為兩類：基于邊緣的檢測算法和基于灰度變化的檢測算法。基于邊緣的檢測算法先提取圖像的邊緣信息，然后尋找輪廓上曲率最大的點或拐點，或進行多邊形擬合尋找特征點。此類方法僅處理邊界像素，因此計算量小且運算速度快，但容易受噪聲影響，

且對邊緣提取結果具有依賴性。基于灰度的角點檢測算法通過對圖像的局部結果進行分析，直接利用角點本身的性質檢測，已成為角點檢測算法的主要趨勢。本節將介紹Moravec、Harris和SUSAN等3個基于灰度變化的角點檢測算法。8.2.1Moravec算法

Moravec在1977年提出了基于灰度變化的角點提取算法。它通過判斷一個窗中各個方向的灰度值的變化來檢測角點，當各個方向的灰度值均有較大的變化時，則認為存在一個角點。以像素點(xo，yo)為中心的局部窗口中沿(u，v)方向的圖像灰度變化E(u，v)可表示為（8-28）

Moravec算法的思想具有合理性。如圖8-12所示，例如，當該窗口周圍為一個光滑區域時，其在各個方向的灰度變化都小；當該窗口周圍為邊結構時，沿著邊界方向的灰度值變化較小；而當該窗口周圍為一個角結構時，其在各個方向的灰度值都有較大的變化，因此Moravec算法能

將角點檢測出來。但是，Moravec算法雖然簡單，但計算復雜度高，效率低。由于該算法只對四個方向進行取樣并取極小值，所以對圖像邊緣、孤立點和噪聲點特別敏感，誤檢測率很高。圖8-12Moravec算法檢測角點示意圖8.2.2Harris算法

1988年，Harris在Moravec算法的基礎上，提出了一種新的角點檢測算法。為了克服噪聲的影響，Harris考慮了窗口中不同位置的點對圖像灰度變化統計的影響，將式(8-28)改寫為(8-29)根據全微分公式，對式(8-29)右邊I(x+u，y+v)項進行泰勒展開：

將上式代入式（8-29），并整理成矩陣相乘的形式，得到下式：(8-30)(8-31)其中矩陣M稱為Harris矩陣，它決定了圖像在各個方向的能量變化。矩陣M的性質由其兩個特征值λ1和λ2所決定。圖8-13顯示了λ1和λ2與圖像特征之間的關系。圖8-13矩陣M的特征值與圖像特征間的對應關系根據矩陣的特征值與圖像特征的對應關系，Harris采用矩陣的行列式和跡檢測角，定義如下：

R=det(M)-k·(trace(M))2（8-32）

式中：det(M)=ab-c2；trace(M)=a+b；k是一個常量，通常取0.04~0.06。當R大于某個給定的閾值，并且是一個局部極大值時，即認為相應局部窗口的中心點是一個角點。

OpenCV提供了Harris角點檢測算法，實現函數為cornerHarris。圖8-14是對一幅建筑物場景的角點檢測結果。Harris角點檢測的完整代碼請讀者登錄出版社網站下載，文件路徑：

code＼src＼chapter08＼code08

01harrisCorDet.cpp。圖8-14Harris角點檢測結果8.2.3SUSAN算法

SUSAN算法是1997年由Smith和Brady提出的一種直接利用灰度值進行角點檢測的算法。它基于一個圓形模板，統計每個以像素為中心的模板鄰域的灰度值與中心點灰度值相近點的個數，稱為SUSAN面積。如果SUSAN面積小于某個閾值，則認為該點是一個候選角點。

SUSAN設計了一個半徑為3的圓形模板，含37個像素。如圖8-15(a)所示，模板中心點稱為核子，表示待檢測的點。如圖8-15(b)所示，將模板在圖像的每個像素點上移動，當模板核子位于圖像中亮度一致的區域內時，SUSAN面積最大，其值為圓形模板的面積；隨著模板核子離圖像邊緣越來越近，其面積越來越小；當模板中心靠近角點時，其面積值進一步減少，當模板中心落在角點上時，其面積達到局部最小值。圖8-15SUSAN角點檢測算法

SUSAN檢測角點的算法過程如下：

（1）將SUSAN模板在圖像上滑動，遍歷整個圖像，在每個位置上比較模板核子與鄰域內位置的灰度值：(8-33)式中，r0是模板的核子；r是模板內的其他點；I為圖像的灰度值；t為判斷兩個點灰度值是否相似的閾值；c(r0，r)是判斷r是否屬于SUSAN區域的判別函數。式(8-34)是另一種常用的判別函數：（8-34）（2）統計模板內與核子灰度值相近的像素總數：

（8-35）

（3）根據設置的閾值g，得到角點響應值：

（8-36）

（4）將具有局部極大值的點認為是角點。圖8-16是利用SUSAN算法檢測的角點結果。SUSAN算法的優點在于直接對像素的鄰域灰度值比較進行角點檢測，不需要計算梯度，不需插值而且不依賴于圖像分割的結果。因此，其計算復雜度低于Harris算法，在圖像處理中得到廣泛的應用。但它限制角點檢測區域在相似亮度的集中范圍，這與角點的分布定義有一定的沖突。另外，SUSUAN方法只能提供角點的位置，無法給出角點的尺度和方向，這給后續的圖像匹配帶來一定的局限性。圖8-16SUSAN角點檢測結果

8.3紋理分析

當物體在紋理上與其周圍背景或其他物體有較大差別時，圖像分割必須以紋理為基礎。目前對紋理尚無統一的定義。紋理(Texture)一詞最初指纖維物的外觀，一般來說，可以認為紋理是由許多相互接近的、互相編織的元素構成的，它們富有周期性。因此，可將紋理定義為“任

何事物構成成分的分布或特征，尤其是涉及外觀或觸覺的品質”。與圖像分析直接有關的定義是：一種反映一個區域中像素灰度級的空間分布的屬性。紋理可分為人工紋理和自然紋理。人工紋理是某種符號的有序排列，這些符號可以是線條、點和字母等，是有規則的。自然紋理是具有重復排列現象的自然景象，如磚墻、森林和草地等照片，往往是無規則的。圖8-17(a)是人工紋理圖例，圖8-17(b)是自然紋理圖例。圖8-17人工紋理與自然紋理認識紋理有兩種方法：一是憑人們的直觀印象，二是憑圖像本身的結構。從直觀印象的觀點出發，便會產生多種不同的統計紋理特征，當然可以采用統計方法對紋理進行分析。從圖像結構的觀點出發，則認為紋理是結構，紋理分析應該采用句法結構方法。一般常用如下三種方法來描述和度量紋理：統計法、結構法和頻譜法。下面分別介紹這三種方法。8.3.1統計法

1.灰度差分統計法

設(x，y)為圖像中的一點，該點與和它只有微小距離的點(x+Δx，y+Δy)的灰度差分值為

gΔ(x，y)=g(x，y)－g(x+Δx

，y+Δy) （8-37）

式中，gΔ為灰度差分。設灰度差分的所有可能取值共有

m級，令點(x，y)在整幅圖像上移動，累計出gΔ(x，y)取各個數值的次數，由此便可以作出gΔ(x，y)的直方圖。由直方圖可以知道gΔ(x，y)取值的概率pΔ(i)，i在1～m間取值。該方法采用如下參數描述紋理圖像的特征：

(8-38)

(8-39)

(8-40)

(8-41)（1）對比度：（2）角度方向二階矩：（3）熵：（4）平均值：

2.行程長度統計法

設點(x，

y)的灰度值為g，與其相鄰點的灰度值也可能為g。統計出從任一點出發沿θ方向上連續n個點均具有灰度值g發生的概率，記為p(g，n)。在同一方向上具有相同灰度值的像素個數n稱為行程長度。由p(g，n)可以定義出如下參數，這些參數能夠較好地描述紋理特征。(8-42)(8-43)（1）長行程加重法：（2）灰度值分布：（1）長行程加重法：（2）灰度值分布：(8-44)(8-45)式中：N2為像素總數。8.3.2空間自相關函數紋理測度

紋理常用它的粗糙度來描述。例如，在相同觀察條件下，毛料織物要比絲織品粗糙。粗糙度的大小與局部結構的空間重復周期有關，周期越小紋理越細。這種感覺上的粗糙與否不足以定量紋理的測度，但可說明紋理測度的變化傾向。即小數值的紋理測度表示細紋理，大數值的紋理測度表示粗紋理。空間自相關函數可以作為紋理測度，具體方法如下。設圖像為f(m，n)，自相關函數可由式（8-46）定義：（8-46）式（8-46）對(2w+1)×(2w+1)窗口內的每一個像素點(j，k)與偏離值為ε

，η=0，±1，±2，…，±T的像素之間的相關值進行計算。給定偏離(ε，η)時，一般紋理區的相關性比細紋

理區高，因而紋理粗糙性與自相關函數的擴展成正比。自相關函數擴展的一種測度是二階矩，即(8-47)紋理越粗糙則T越大，因此，可以用T作為度量粗糙度的一種參數。8.3.3頻譜法

頻譜法借助于傅立葉頻譜的頻率特性，來描述周期的或近似周期的二維圖像模式的方向性。常用的３個性質是：(1)傅立葉頻譜中突起的峰值對應紋理模式的主方向；(2)頻譜中的峰在頻域平面的位置對應模式的基本

周期；

(3)若用濾波去除周期性成分，則剩下的非周期性部分可用統計方法來描述。實際檢測中，為簡便起見可將頻譜轉化到極坐標系中，此時頻譜可用函數S(r，θ)表示，如圖8-18所示。對每個確定的方向θ，S(r，θ)是一個一維函數Sθ(r)；對每個確定的頻率r，S(r，θ)是一個一維函數Sr(θ)。對給定的θ，分析Sθ(r)可得到頻譜沿原點射出方向的行為特性；對給定的r，分析Sr(θ)可得到頻譜在以原點為中心的圓上的行為特性。如果將這些函數對下標求和則可得到更為全局性的描述：(8-48)(8-49)式中：

R為以原點為中心的圓的半徑。

S(r)和S(θ)構成整個圖像或圖像區域紋理頻譜能量的描述。圖8-18(a)、(b)給出兩個紋理區域和頻譜示意圖，比較兩條頻譜曲線可看出兩種紋理的朝向區別，還可從頻譜曲線計算其最大值的位置等。圖8-18紋理和對應的頻譜示意圖圖8-19為一個簡單示例。圖8-19(a)為原圖像，灰度級為16級，為使聯合概率矩陣簡單些，首先將其灰度級數減為4級。這樣，圖8-19(a)變為圖8-19(b)的形式。(g1，g2)分別取值為0、1、2、3，由此，將(g1，g2)各種組合出現的次數排列起來，便可得到圖8-19(c)～圖8-19(e)所示的聯合概率矩陣。圖8-19聯合概率矩陣計算示例可見，距離差分值(a，b)取不同的數值組合，便可得到不同情況下的聯合概率矩陣。(a，b)取值要根據紋理周

期分布的特性來選擇，對于較細的紋理，選取(1，0)、(1，1)、(2，0)等小的差分值。當(a，b)取值較小時，對應于變化緩慢的紋理圖像，其聯合概率矩陣對角線上的數

值較大；當紋理變化越快時，則對角線上的數值越小，

而對角線兩側上的元素值越大。為了能描述紋理的狀況，需要選取能綜合表現聯合概率矩陣狀況的參數，典型參數如下：(8-50)(8-51)(8-52)(8-53)式中Q1～Q4代表的圖像特征并不是很直觀，但它們是描述紋理特征相當有效的參數。8.3.5紋理的句法結構分析法

在紋理的句法結構分析中，把紋理定義為結構基元按某種規則重復分布所構成的模式。為了分析紋理結構，可按如下兩個步驟描述結構基元的分布規則：①從輸入圖像中提取結構基元并描述其特征；②描述結構基元的分布規則。具體做法如下：首先，把一幅紋理圖片分成許多窗口，也就是形成子紋理。最小的小塊就是最基本的子紋理，即基元。紋理基元可以是一個像素，也可以是4個或9個灰度比較一致的像素集合。紋理的表達可以是多層次的，如圖8-20(a)所示。它可以從像素或小塊紋理一層一層地向上拼合。當然，基元的排列可有不同規則，如圖8-20(b)所示，第一級紋理排列為ABA，第二級排列為BAB等，其中A、B代表基元或子紋理。這樣便組成一個多層的樹狀結構，可用樹狀文法

產生一定的紋理并用句法加以描述。圖8-20紋理的樹狀描述及排列紋理樹狀安排的第一種方法如圖8-20(c)所示，樹根安排在中間，樹枝向兩邊伸出，每個樹枝有一定的長度。第二種方法如圖8-20(d)所示，樹根安排在一側，分枝都向另一側伸展。

在紋理判別時，首先將紋理圖像分成固定尺寸的窗口，用樹狀文法說明屬于同紋理圖像的窗口，可以用樹狀自動機識別樹狀，因此，對每一個紋理文法可建立一個“結構保存的誤差修正樹狀自動機”。該自動機不僅可以接收每個紋理圖像中的樹，而且能用最小距離判據，辨識類似的有噪聲的樹。此后,可以對分割成窗口的輸入圖像進行分類。8.4不變矩特征

8.4.1矩的定義

對于二元有界函數f(x，y)，它的(j+k)階矩Mjk定義為（8-54）由于j和k可取所有的非負整數值，因此形成一個矩的無限集。而且，該集合完全可以確定函數f(x，y)本身。換句話說，集合{Mjk}對于函數f(x，y)是唯一的，也只有f(x，y)才具有該特定的矩集。為了描述形狀，假設f(x，y)在目標物體取值為1，背景為0，即函數只反映了物體的形狀而忽略其內部的灰度

細節。

參數j＋k稱為矩的階。特別地，零階矩是物體的面積，即(8-55)對二維離散函數f(x，y)，零階矩可表示為(8-56)8.4.2質心坐標與中心矩

當j=1，k=0時，M10對二值圖像來講就是物體上所有點的x坐標的總和，類似地，M01就是物體上所有點的y坐標的總和，所以：(8-57)即為二值圖像中一個物體的質心的坐標。

中心矩定義為(8-58)8.4.3不變矩

相對于主軸計算并用面積歸一化的中心矩，在物體放大、平移、旋轉時保持不變。只有三階或更高階的矩經過規一化后不能保持不變性。

對于j+k＝2，3，4，…的高階矩，定義歸一化的中心矩為(8-59)利用歸一化的中心矩，可以獲得6個不變矩組合，它們對于平移、旋轉、尺度等變換都是不變的，6個不變矩為(8-60)8.4.4主軸

使二階中心矩從μ11變得最小的旋轉角θ可由式(8-61）得出：

（8-61）

將x，y軸分別旋轉θ角得坐標軸x′，

y′，稱為該物體的主軸。式(8-61)中在θ為90°時的不確定性可以通過如下條件限定解決：

μ20<μ02

，μ30>0

如果物體在計算矩之前旋轉θ角，或相對于x′、y′軸計算矩，那么矩具有旋轉不變性。

8.5圖像匹配

8.5.1模板匹配

1.什么是模板匹配

模板就是一幅已知的小圖像。模板匹配就是在一幅大圖像中搜尋目標，已知該圖中有要找的目標，且該目標同模板有相同的尺寸、方向和圖像元素，通過一定的算法可以在圖中找到目標，確定其坐標位置。如圖8-21所示，輸入圖像中有9個英文字母，用事先設置的模板(英文字母K)在輸入圖像中按一定規律移動，并計算模板和輸入圖像中重合部分的特征向量的相關性，從而判斷輸入圖像中是否有字母K。圖8-21輸入圖像和模板

2.模板匹配算法

1)相關法

以8位灰度圖像為例，模板T(m，n)疊放在被搜索圖S(H，W)上平移，模板覆蓋被搜索圖的那塊區域叫子圖Sij。i、j

為子圖左上角在被搜索圖S上的坐標，搜索范圍是1≤i≤W-m；1≤j≤H-n，如圖8-22所示。圖8-22模板匹配算法示意圖可以用下式衡量T和Sij的相似性：(8-62)式(8-62)的第一項為子圖的能量，第三項為模板的能量，都與模板匹配無關；第二項是模板和子圖的互相關，隨(i，j)而改變。當模板和子圖匹配時，該項有極大值。將其歸一化，得模板匹配的相關系數：(8-63)當模板和子圖完全一樣時，相關系數R(i，j)=1。在被搜索圖S中完成全部搜索后，找出R的最大值Rmax(im，jm)，其對應的子圖Simjm即為匹配目標。顯然，用這種公式做圖像匹配計算量大，速度較慢。

2)誤差法

另一種算法是衡量T和Sij的誤差，其公式為(8-64)

E(i，j)為最小值處即為匹配目標。為提高計算速度，取一誤差閾值E0，當E(i，j)>E0時就停止該點的計算，繼續計算下一點。被搜索的圖越大，匹配速度越慢；模板越小，匹配速度越快。

3)二次匹配誤差算法

二次匹配誤差算法中匹配分兩次進行。第一次匹配是粗略匹配。取模板的隔行隔列數據，即1/4的模板數據，在被搜索圖上進行隔行隔列掃描匹配，即在原圖的1/4范圍內匹

配。由于數據量大幅度減少，因而匹配速度顯著提高。

誤差閾值E0按式(10-58)確定：(8-65)式中：e0

為各點平均的最大誤差，一般取40～50即可；m，n

分別為模板的長和寬。第二次匹配是精確匹配。在第一次誤差最小點(imin，jmin)的鄰域內，即在對角點為(imin-1，jmin-1)，(imin+1，jmin+1)的矩形內進行搜索匹配，得到最后結果。實驗結果表明，二次匹配誤差法的速度比其它算法快10倍左右。8.5.2直方圖匹配

為利用圖像的顏色特征描述圖像，可借助圖像特征的統計直方圖進行圖像的匹配，這便是直方圖匹配。由于篇幅所限，在此只給出常用直方圖匹配的數學原理公式，有關算法請讀者自行設計完成。

1.直方圖相交法

設HQ(k)和HD(k)分別為查詢圖像Q和數據庫圖像D的特征統計直方圖，則兩圖像之間的匹配值d(Q，D)為(8-66)

2.歐幾里得距離法

為減少計算量，可采用直方圖的均值來粗略地表達顏色信息，對圖像的R、G、B三個分量，匹配的特征矢量f是：(8-67)式中：μR、μG、μB分別是R、G、B三個分量直方圖的零階距。此時查詢圖像Q和數據庫圖像D之間的匹配值為(8-68)

3.中心矩法

對直方圖來說，均值是其零階矩，更高階的矩也可使用。設用，，分別表示查詢圖像Q的R、G、B三個分量直方圖的i(i≤3)階中心矩；用，，分別表示數據庫圖像D的R、G、B三個分量直方圖的i(i≤3)階中心矩，則它們之間的匹配值為MiQR

MiQG

MiQBMiQR

MiQG

MiQB(8-69)式中：WR、WG、WB為加權系數。

4.參考顏色法

距離法太粗糙，直方圖相交法計算量太大，一種折中的方法是將圖像顏色用一組參考色表示，這組參考色應能覆蓋視覺上可感受到的各種顏色。參考色的數量要比原圖像少，這樣可計算簡化的直方圖，所以匹配的特征矢量是：(8-70)式中：ri是第i種顏色出現的頻率，N是參考顏色表的尺寸。加權后的查詢圖像Q和數據庫圖像D之間的匹配值為(8-71)式中：前面四種方法中，后三種主要是從減少計算量的角度對第一種進行簡化，但直方圖相交法還有另外一個問題：當圖像中的特征并不能取遍所有的可取值時，統計直方圖中會出現一些零值。這些零值的出現會對直方圖的相交帶來影響，從而使得由式(10-59)求得的匹配值并不能正確反映兩圖間的顏色差別。

5.閔可夫斯基距離法

若兩幅圖像Q和D的直方圖分別為HQ和HD，則顏色直方圖匹配的計算方法可以利用度量空間的閔可夫斯基距離

(λ＝1，也叫“街坊”(CityBlock)距離)，按如下方法匹配：(8-72)

R、G、B圖像顏色是由不同亮度的紅、綠、藍三基色組成的，因此式(10-65)可以改寫成：(8-73)式(8-73)在具體實施時，必須從所讀取的各像素顏色值中分離出R、G、B三基色的亮度值。用這種方法進行顏色匹配的例子如圖8-23所示(參見本書所附光盤)。圖8-23街坊(CityBlock)距離法顏色匹配結果如前所述，由于直方圖丟失了顏色的位置信息，因此兩幅圖像可能內容完全不同，但直方圖相似。所以，僅用簡單的顏色直方圖匹配也容易造成誤識別。一種改進的方法是將圖像劃分成若干子塊，分別對各子塊進行匹配。由于子塊的位置固定，各子塊的直方圖在一定程度上反映了顏色的位置特征，因此，子塊劃分與匹配的方法可以對物體運動、攝像機運動、鏡頭縮放等情況有更好的適應性。

6.X2直方圖匹配

X2直方圖匹配的計算公式如下：(8-74)

對于R、G、B圖像，X2直方圖匹配的計算公式又可以變為(8-75)

X2直方圖匹配與模板匹配或顏色直方圖匹配相比具有更好的識別率，識別鏡頭切換(AbruptSceneChange)的效果良好，但對鏡頭漸變識別效果不好。8.6局部不變特征點提取

前述顏色直方圖屬于圖像的全局特征，它通常用于描述目標的整體性質。但當目標受到局部遮擋時，全局特征提取將面臨困難。此時，一些能夠穩定出現并且具有良好的可分性的點（稱為局部特征）將對目標識別起到關鍵作用。例如，本章第1節所述的角點即為一種局部特征。局部特征也稱為興趣點、顯著點或關鍵點等，它的局部鄰域具有一定的模式特征。局部不變特征點的提取方法應具備以下特性：①重復度高，不同角度拍攝下的同一場景的兩幅圖像的重疊區域中，同一特征點能被檢測到的重復程度高；②獨特性，檢測到的特征點應與周圍有明顯的區別；③局部性，特征應該是局部的，允許圖像在不同的視覺條件下存在少量的幾何失真；④較多的數量，特征點的數量應該足夠的多，增加匹配的可靠性；⑤準確性，檢測到的特征點應該在位置、尺度等方面具有很高的準確性；⑥高效性，特征檢測算法效率高，滿足實際應用的需求。本節將介紹SIFT和SURF這兩種目前常用的不變特征提取方法。8.6.1SIFT不變特征提取算法

SIFT（Scale-InvariantFeatureTransform）是Lowe在1999年提出的一種提取局部特征進行圖像配準的方法。它能夠穩定地檢測出一幅圖像中的局部特征點及其尺度和方向，并基于檢測的特征點進行圖像匹配。SIFT算子對圖像的平移、旋轉和尺度變化具有不變性，提取的特征點數量多，對視角變化具有穩定性，對噪聲具有一定的魯棒性，已成為提取圖像不變特征的經典算子。下面介紹該算法的基本過程。

1.建立尺度空間

SIFT算法的基礎是Linderbog提出的尺度空間理論，高斯函數是唯一可能的尺度空間內核。

一幅二維圖像的尺度空間定義為

L(x，y，σ)=G(x，y，σ)*I(x，y)

(8-76)

SIFT在高斯差分（DOG，DifferenceofGaussian）

尺度空間檢測圖像中的感興趣點，尺度為σ的DOG公式定義為

D(x，y，σ)=L(x，y，kσ)－L(x，y，σ)(8-77)圖8-24和圖8-25分別給出了一幅圖像的高斯尺度空間和DOG尺度空間的處理結果。其中，初始尺度σ=1.6，k=21/3。圖8-24圖像的高斯尺度空間圖8-25圖像的DOG尺度空間對一幅圖像I，建立其在不同尺度下的圖像，稱為塔(Octave)。第一個塔的尺度為原圖大小，后面每個塔為上

一個Octave降采樣的結果，即原圖的1/4，構成下一個塔。

圖8-26是圖像金字塔構造過程示意圖。圖8-26圖像金字塔的建立

2.特征點的提取

SIFT在DOG尺度空間尋找特征點，將每個采樣點均和它所有的相鄰點比較，判斷其是否是相鄰的圖像域和尺度域上的極值點。如圖8-27所示，中間的檢測點需和它同尺度8個相鄰點和上下相鄰尺度對應的9×2個點，共26個點比較，以確保其是圖像域和尺度域的極值點。圖8-27特征點提取圖在確定圖像中的特征點后，為每個特征點計算一個方向，依照該方向做進一步的計算。利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。

對于檢測的每一個關鍵點，采集其所在高斯金字塔3σ鄰域窗口內像素的梯度和方向分布特征。鄰域內每一個像素梯度的模值和方向計算公式如下：接著，使用方向直方圖統計鄰域內像素的梯度方向。該直方圖將0°~360°的范圍分為36個柱(bins)，每柱為10°。如圖8-28所示，方向直方圖的峰值方向代表了關鍵點的主方向。為了簡化，這里只畫出8個方向的直方圖。圖8-28關鍵點鄰域及其梯度直方圖方向直方圖的峰值代表了該特征點處鄰域梯度的主方向，以直方圖中峰值作為該關鍵點的方向。為了增強匹配的魯棒性，保留峰值大于直方圖峰值80%的方向作為該關鍵點的輔方向。

通常僅有15%的關鍵點被賦序多個方向，但可以明顯提高關鍵點匹配的穩定性。圖8-29是一幅圖像的關鍵點及其主方向檢測結果。圖8-29圖像的關鍵點及其主方向

3.特征點描述子

在確定每一個關鍵點的位置、尺度及方向后，需為每個關鍵點建立一個描述子，用一組向量將這個關鍵點描述出來，用于圖像匹配。因此，該描述子描述關鍵點及其鄰域的結構特性時，應該具有較高的獨特性，以便于提高特征點匹配的準確率。

SIFT描述子對關鍵點周圍圖像區域分塊，計算塊內梯度直方圖，將每塊的梯度直方圖組成一個向量，用于表示關鍵點周圍區域的結構特征。SIFT在關鍵點尺度空間4×4的窗口中計算8個方向的梯度信息，共計128維向量表示。計算過程如下：

(1) 將坐標軸旋轉為關鍵點的方向，使得描述子具有旋轉不變性。

(2)確定計算描述子所需的圖像區域。關鍵點所在的尺度空間決定了計算關鍵點描述子所需的圖像區域。將關鍵點鄰域劃分為4×4個子區域。

(3)將關鍵點鄰域內的像素分配到對應子區域內，統計每個子區域的梯度值及方向并分配到8個方向上，生成一個128維的特征向量。圖8-30是統計每個子區域梯度值及方向的示意圖。圖8-30統計每個子區域的梯度

(4)歸一化特征向量，去除光照變化的影響。

特征向量H=(h1，h2，…，h128)形成后，為了去除光照變化的影響，需進行歸一化處理，計算公式如下：(8-79)

4.特征點匹配

當生成來自同一場景不同視角的兩幅圖像的SIFT描述子后，將對兩幅圖像中各個尺度的描述子進行匹配。SIFT采用歐氏距離度量兩幅圖像中關鍵點特征向量的距離。采用如下匹配準則：取圖像1中的某個關鍵點，并找出其與圖像2中歐氏距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離小于某個比較閾值，則接受這一對匹配點。顯然，若降低比較閾值，SIFT匹配點數目會減少，但更加穩定。圖8-31是一個建筑物在不同視角下兩幅圖像的匹配結果。圖8-31同一場景不同視角圖像的SIFT特征匹配結果

OpenCV提供了SIFT算法，相關的類SiftFeatureDetector和SiftDescriptorExtractor。

利用SIFT算法進行圖像匹配的完整源代碼請讀者登錄出版社網站下載，文件路徑：

code＼src＼chapter08＼code0805siftImgMat.cpp。

8.6.2SURF不變特征提取算法

SURF(SpeededUpRobustFeatures)是由Bay等人于2006年提出的特征檢測算法，被稱為SIFT加速算法。SURF的主要優勢在于圖像的求導用積分圖近似，從而保證了算法的實時性。下面介紹SURF的主要步驟。圖8-32利用積分圖快速計算

1.建立積分圖像

積分圖像由Viola和Jones于2001年在人臉檢測中引入計算機視覺領域，它是指一幅圖像中任一像素點到原點所構成的矩形區域的灰值之和。當一幅圖像的積分圖像建立后，要計算圖像