1、改進的核相關濾波器目標跟蹤算法 摘要：針對傳統(tǒng)單目標的核相關濾波器（KCF跟蹤 算法在目標尺度變化的跟蹤中存在的問題，提出了一種基于 相關濾波器（CF）和尺度金字塔的多尺度核相關濾波器（SKCF 跟蹤算法。首先通過傳統(tǒng) KCF跟蹤算法中分類器的響應計算 當前目標是否受到遮擋，在未受到遮擋的情況下，對當前目 標建立尺度金字塔；然后通過相關濾波器求取尺度金字塔的 最大響應得到當前目標尺度信息；最后使用新目標圖像為訓 練樣本更新目標的外觀模型和尺度模型。與核化的結構化輸 出（Struck）算法、KCF算法、跟蹤學習檢測（TLD）算法和 多示例學習（MIL）算法進行對比，實驗結果表明，所提出 的多尺度

2、核相關濾波器（SKCF跟蹤算法在五種算法中精確 度和重合度都取到最高值。所提算法能夠廣泛應用于目標跟 蹤領域，對目標進行準確的跟蹤。 關鍵詞：目標跟蹤；多尺度；相關濾波器；判別模型； 遮擋檢測 中圖分類號： TP391.4 文獻標志碼： A Abstract ： Focusing on the issue that the Kernelized Correlation Filter （ KCF） tracking algorithm has poor performance in handling scalevariant target ， a multiscale tracking algo

3、rithm called ScaleKCF（ SKCF） based on Correlation Filter （CF） and multiscale image pyramid was proposed. Firstly ， the occlusion status of the target was got through the response of the conventional KCF algorithms classifier. The multiscale image pyramid was built for the occluded target. Secondly ，

4、 the scale information of the target was obtained by calculating the correlation filters maximum response on the multiscale image pyramid. Finally ， the appearance model and the scale model of the target were updated with the fresh target. The experimental results on comparison with some stateofthea

5、rt trackers such as Structured Output tracking with kernel （Struck）， KCF， TrackingLearningDetection （ TLD） and Multiple Instance Learning （ MIL） demonstrate that the proposed tracker of SKCF achieves the best accuracy and overlap rate than other algorithms. Meanwhile ， the proposed tracker can be wi

6、dely used in target tracking and achieve high precise target tracking. 英文關鍵詞 Key words： target tracking ； multiscale ； Correlation Filter （CF）； discriminative model ； occlusion detection 0 引言 目標跟蹤是計算機視覺領域里的基礎性問題，在現(xiàn)實生 活中應用廣泛，如視頻監(jiān)控、人機交互、智能汽車等1 。雖 然在過去的二十年里，目標跟蹤取得了巨大的進展，但由于 光照變化、目標受到部分或全部遮擋、目標的形變等因素影 響

7、，精確的目標跟蹤算法仍然難以實現(xiàn)。 近年來，基于判別方法的單目標跟蹤算法顯著提升了跟 蹤的性能。目前比較流行的單目標跟蹤算法有基于核化的結 構化輸出 ( Structured output tracking with kernel ， Struck ) 2 算法、跟蹤學習檢測( TrackingLearningDetection ， TLD) 3 算法、 多示例學習 ( Multiple Instance Learning ， MIL)4 算法、壓縮感知( Compressive Tracking， CT)5 算法等，這 些跟蹤算法將目標跟蹤視為二值分類問題，通過對上一幀圖 像中的目標周圍進行

8、有限數(shù)量的樣本選取并將這些樣本劃 分成正負樣本集來訓練得到一個分類器，然后使用分類器對 候選樣本進行概率評估，概率最高的候選樣本即為目標。然 而考慮到訓練樣本的過程非常耗費時間，為達到實時目標跟 蹤效果，這些算法通常選取的訓練樣本和候選樣本數(shù)量有限， 導致訓練得到的分類器模型不能夠充分利用跟蹤目標及其 周圍背景的圖像信息。 Bolme 等6 提出了最小輸出平方誤差 和(Minimum Output Sum of Squared Error , MOSSE 跟蹤算 法，該算法只需要一個目標區(qū)域樣本圖像訓練目標外觀模型， 通過離散傅里葉變換將目標與所有候選區(qū)域之間的相似度 計算轉換到頻域，顯著地提

9、升了跟蹤算法的運行速度。然而 MOSSE算法同樣也只選擇數(shù)量有限的候選樣本訓練分類器 模型。時空上下文( SpatioTemporal Context ， STC)7 跟蹤 算法將目標周圍的背景信息加入到卷積濾波器模型的訓練 當中，以減弱部分遮擋對目標的影響。Henriques 等8 提出 了循環(huán)結構的檢測跟蹤( Circulant Structure of trackingbydetection with Kernel , CSK 算法對訓練樣本進行 循環(huán)移位，從而近似為對目標的密集采樣，得到大量的訓練 樣本來訓練分類器，同時對候選樣本同樣采用循環(huán)移位，構 造大量的候選區(qū)域用于分類器的檢測過

10、程，并且分類器的訓 練和檢測過程都可以利用離散傅里葉變換在頻域?qū)崿F(xiàn)快速 計算。Danelljan等9在CSK的基礎上，引入了顏色空間特征 10 ，并且采用主成分分析( Principal Components Analysis ， PCA) 將 11 維的顏色空間特征向量降到了 2 維，提升了跟 蹤器的運行速度和精確度。Li 等11對訓練樣本圖像進行 5 個尺度空間上的縮放，在尺度空間上求取分類器最大響應， 從而解決了 CSK不能有效對有尺度變化的目標進行跟蹤的問 題，然而速度卻降為原來的五分之一。核相關濾波器 (Kernelized Correlation Filter ， KCF)12 跟

11、蹤算法在 CSK 的 基礎上，使用方向梯度直方圖 (Histogram of Oriented Gradient， HoG)13 特征代替原來的灰度值特征。然而， 傳統(tǒng)的KCF跟蹤算法與CSK算法有同樣的問題，即無法有效 處理目標運動中出現(xiàn)的尺度變化。針對目標運動過 程中出現(xiàn)的尺度變化問題， 本文結合相關濾波器 ( Correlation Filter, CF)和尺度金字塔圖像對KCF跟蹤算法進行改進， 提出了一種多尺度核相關濾波器( multiScale Kernelized Correlation Filter， SKCF跟蹤算法。同時，本文還提出一種 遮擋檢測機制用于降低遮擋對尺度估計過

12、程的影響。當目標 受到遮擋時，在停止對目標進行尺度估計的同時停止對分類 器模型的更新，從而提高跟蹤算法的準確度和穩(wěn)定性。 1KCF跟蹤算法 KCF 跟蹤算法的核心思想是將跟蹤目標區(qū)域進行循環(huán) 移位，以此構造大量的樣本來訓練分類器。通過核函數(shù)來計 算候選區(qū)域與跟蹤目標的相似程度，選取相似度最大的候選 區(qū)域為新的跟蹤目標，同時利用離散傅里葉變換降低分類器 訓練和檢測過程中的運算量。 1.1 訓練樣本集合 KCF算法中的分類器訓練過程只需要一張目標區(qū)域的樣 本圖像x,記x是1 x n的向量。與其他基于判別方法的目標 跟蹤算法不同的是，在分類器的訓練過程中，KCF并不嚴格 區(qū)分正樣本和負樣本。 使用置

13、換矩陣P對唯一的目標區(qū)域樣本圖像進行循環(huán)移 位，得到訓練樣本集合Pix|i=0, 1,，n-1。其中： P=00 00110 00001 00000 10000 010( 1) 記Xi為循環(huán)移動i位后的訓練樣本，Xi=Pix, i=0, 1,， n-1 構成循環(huán)矩陣 X。 X=C (x) =X0X1 Xn- 1T i 的取值不是 0 到 n-1，式(2) 中確是1到n，是否有問題？從 0開始(2) 對于訓練樣本Xi，賦予標簽yi(yi值服從高斯分布)。 1.2 分類器訓練 在KCF算法中，分類器用于計算所有候選區(qū)域成為跟蹤 目標的概率，取到概率最大值的候選區(qū)域即為跟蹤目標。訓 練分類器的過程可

14、以用以下數(shù)學公式描述： minw 刀 ni|f (Xi) -yi|2+ 入 II w II(3) 即找到最優(yōu)的w，使得代價函數(shù)(3)最小。 由文獻 14 可知： w=刀 iai(Xi) (4) 其中：ai為對應訓練樣本 Xi的系數(shù)；$ (x)是將訓練 樣本x映射到高維度特征空間的函數(shù)，任意兩個樣本x和x* 在高維度特征空間的相關性或相似度為 $ T( x) $ ( x*) = K ( x , x* ),其中K為高斯核函數(shù)。 k (x, x) =e-1 a 2 (| x I +| x| -2F-1 (F (x)O F ( x* )( 5) 其中：F為離散傅里葉變換；F-1為離散傅里葉逆變換。 由

15、所有訓練樣本 Pix(i=0, 1,，n-1)構造核矩陣K, K的 元素Ki, j= k (Xi, Xj),由文獻12可得: a= ( K+入 I) -1y (6) 其中a=a1, a2,，an。對式(6)進行傅里葉變換： F( a) =F( y) F( kxx) + X (7) 其中：為a的離散傅里葉變換；kxx為核矩陣K的第一 行向量。 于是訓練分類器的過程從尋找最優(yōu) w 轉化為尋找最 優(yōu) a。 1.3 快速檢測 對于新輸入的圖像區(qū)域 z,其為目標的概率大小為： y =E iai k (Xi, z)(8) KCF同樣對新輸入的圖像 z進行循環(huán)移位操作來構造候 選區(qū)域樣本集Pi-1z。定義K

16、z文中z、x都是黑斜，在上標或 下標上是否應為黑斜？目前文中未黑斜,但排版中已排成黑 斜=k (Pi-1z, Pj-1x),由文獻12可知，Kz滿足循環(huán)矩陣的 條件： Kz=C( kxz)( 9) 其中kxz為Kz矩陣的第一行，從而得到輸入圖像z在所 有候選區(qū)域位置處成為跟蹤目標的概率分布 f(z)。 f (z) =F-1 (F (kxz)O)(10) 可知f (z)為1 x n向量，其元素值對應所有候選區(qū)域 成為跟蹤目標的概率值，f (z)取到最大值的元素所對應區(qū) 域即為跟蹤目標。 1.4 外觀模型更新 在快速檢測后得到新的目標區(qū)域X，對X進行循環(huán)位 移構造新的訓練樣本集合，以更新下一幀中用

17、于分類器檢測 過程中用到的模型參數(shù) a。 a= (1- B) apre+ B ax(11) 其中：B為更新模型的學習率；apre由前一幀訓練樣本 圖像x通過分類器訓練得到；ax由當前新的目標區(qū)域 X 通過分類器訓練得到。在傳統(tǒng)的KCF算法中B為一固定常量， 然而這是非常不合理的，因為當目標受到遮擋時，應該停止 對分類器模型的更新，以增強跟蹤算法的可靠性。所以在本 文提出的方法中，對 B 的取值作如下處理： B =0.02，非遮擋 0，遮擋 ( 12) 即當目標受到遮擋時，停止模型的更新。 2改進的多尺度 KCF跟蹤算法 KCF跟蹤算法利用循環(huán)結構的核函數(shù)計算候選區(qū)域Piz (i=0, 1,，n

18、-1)和訓練樣本x的相似度，同時利用離散 傅里葉變換將復雜的卷積計算轉化為簡單的頻域相乘，提升 了跟蹤器性能， 在文獻 15 評估中達到了最高的準確度和運 行速度。然而傳統(tǒng)的 KCF跟蹤算法采取固定大小的訓練樣本 圖像來訓練分類器模型，難以對目標運動過程中出現(xiàn)的尺度 變化進行相應的處理，最終導致分類器模型誤差累計，跟蹤 目標漂移。為此，本文將使用相關濾波器(CF)對KCF算法 進行多尺度跟蹤上的改進，并提出了一種遮擋檢測機制，用 于判斷目標是否出現(xiàn)遮擋。由先驗知識可知，當目標出現(xiàn)遮 擋時，不會同時有尺度上的變化，跟蹤目標因橫向運動上的 遮擋而停止在縱向上的移動，其中縱向上的移動是造成跟蹤 目標

19、尺度變化的主要原因。一旦檢測到遮擋，將停止對跟蹤 目標在尺度空間上的估計，同時停止對分類器模型進行更新。 2.1 尺度估計 為實現(xiàn)多尺度的目標跟蹤，必須對當前跟蹤目標的尺度 有準確的估計。定義當前KCF算法得到的目標區(qū)域為X, 對x進行多尺度變換建立尺度金字塔圖像，記金字塔圖像 的第i層為li=si?x，si s1, s2,，si,其中si為尺度變 換因子， l 為尺度空間的維度，即尺度金字塔圖像的層數(shù)。 設fi為對區(qū)域li提取的HoG特征。由相關濾波器16知識可 知,用于尺度估計的相關濾波器模板 h 的頻域表達式為 H=F (h),計算式如下： H=E li=1Gi O F*i 刀 li=1

20、FiO F*i (13) 其中：h為1 x l向量；Fi=F (fi); F*i為F的共軛；Gi=F (gi), gi 為滿足高斯分布的矩陣。 得到h后便可估計下一幀中經(jīng)KCF算法得到的目標區(qū)域 z 的尺度,首先判斷當前是否有遮擋,如果出現(xiàn)遮擋,記跟 蹤目標的尺度與上一幀中目標的尺度相同。如無遮擋出現(xiàn), 對z提取相應的HoG特征，記為k,然后取F-1 ( F( k) O H) 最大值所對應的尺度 si 為跟蹤目標的尺度， 最后更新目標區(qū) 域大小后按照式( 13)重新訓練尺度濾波器模板h。 算法 1 遮擋檢測算法。 輸入候選區(qū)域為跟蹤目標的概率分布f (z),候選區(qū)域坐 標pos (z),樣本z

21、的高度height，樣本z的寬度 width，遮擋閾值入1，面積因子入2； 輸出表示是否受到遮擋的isOCC,值為1表示受到遮擋， 值為 0 表示沒有收到遮擋。 程序前 1) 求f (z)取到最大值的位置posmax (z)和f (z)的最 大值 fmax( z)。 2) 求取posmax (z)周圍滿足大于 入1?fmax (z)的所有點 的位置 posg ( z)。 3) 求取所有posg (z)點到posmax (z)的歐氏距離 responsei= II posg (zi) -posmax (z)|。 4) 判斷刀iresponsei是否大于閾值 入2?width?height，如果

22、大于閾值，則判斷為受到遮擋；否則判斷為未受到遮擋。 程序后 2.2 遮擋檢測算法 遮擋檢測對分類器模型的更新和尺度估計過程中的相 關濾波器模板 h 的更新過程至關重要。當出現(xiàn)遮擋時，對當 前目標的尺度估計值可信度降低。傳統(tǒng)的KCF算法本身未提 供處理遮擋的機制。因此，本文從f (z)的概率分布進行研 究，提出了一種基于f (z)的遮擋檢測算法，算法描述如算 法 1 所示。 (a)目標未受遮擋(b)無遮擋下f (z)的分布 (c)目標受到遮擋(d)遮擋下f (z)的分布 假設目標受到遮擋的過程可看作是在原來跟蹤的目標 區(qū)域之上疊加了一個服從高斯分布的噪聲，由于受到遮擋部 分的區(qū)域也同樣進行循環(huán)位

23、移操作，在與分類器模型參數(shù) a 作卷積時，導致f (z)在極大值周圍點的提升， c變大，分 布趨于平滑。圖1 (a)、(c)中矩形虛線框為傳統(tǒng) KCF算法 的目標跟蹤結果，圖1 (b)、(d)分別為圖1 (a)、(c) 中目標區(qū)域的f (z)分布，其中顏色越亮的區(qū)域所對應的f (z)概率值越大。可以看出當跟蹤目標從未受到遮擋的圖1 (a)運動到受到遮擋的圖1 (c)時，f (z)的分布變化趨 勢符合所作的假設。 3 實驗結果與分析 為驗證本文提出算法的效果，使用文獻 15中用到的評 估方法。 使用文獻 15中 28 個尺度變化幅度大的視頻序列進 行本文所提出跟蹤算法 SKCF勺性能評估。使用兩

24、個評估性能 的指標：第一個是精確度曲線( precision curve ) 10 ， 精 確度曲線是指跟蹤目標結果勺坐標中心與真實人工標注勺 坐標中心歐氏距離小于某一閾值勺幀數(shù)與整個測試視頻序 列圖像長度勺比值，一般選擇曲線在閾值 20 像素處勺精確 度來對比不同的算法；另一個評估指標是Pascal視覺對象類 率(Pascal Visual Object classes Rate VOR) 17，VOR是指 跟蹤目標與真實目標區(qū)域重合率為I (1 0 , 1)時的幀數(shù)與 視頻序列總長度的比率，一般選擇重合率閾值為50%處的 VOR值比較不同的跟蹤算法。 與本文所提出的跟蹤算法 SKCF乍對比

25、的有核化的結構 化輸出 (Struck )算法、核相關濾波器(KCF算法、跟 蹤學習檢測(TLD)算法、多示例學習(MIL)算法。 本實驗環(huán)境配置如下：Matlab2013b，奔騰處理器T4200, 2GHz的CPU處理器，3GB內(nèi)存。實驗參數(shù) 入1取值0.8,入2 取值為 0.3， l 取值 33。 3.1 遮擋檢測算法實驗 為驗證算法 1 的效果，本文使用跟蹤目標在運動過程中 受到遮擋的視頻序列進行測試。選取的測試視頻為文獻 15 中的jogging視頻序列。實驗結果如圖 2所示，圖2 (a)為 jogging 視頻序列中目標剛剛受到遮擋的第一幀圖像， 其中跟 蹤目標由矩形虛線框標注。圖2

26、 (a)在整個視頻序列中所對 應的位置正好是圖2 (b)中取到極大值的地方，圖2 (b) 的橫坐標為測試視頻序列的幀數(shù)號，縱坐標為算法 1 的響應 結果。可以發(fā)現(xiàn)，使用算法 1 可以檢測目標在運動過程中是 否受到遮擋，如果目標受到遮擋，后續(xù)的尺度估計過程中 h 的更新和分類器模型的更新過程采取相應的更新機制。 ( a ) 受到遮擋的行人目標( b ) 遮擋檢測算法響應 3.2 對比實驗 表 1列出了對文獻 15中的 28 個有尺度變化的視頻序列 進行上述 2 個指標的評估結果。從表 1 可以看出本文所提出 的算法的精確度在 5個算法中排名最高，同時VOR也取到最 大值。 表2為本文所提出的改進

27、多尺度 KCF算法(SKCF和基 準KCF算法在該28個測試視頻上運行速度對比結果，從比 較結果可知，雖然實驗參數(shù) l 取值 33，也即表示對跟蹤目標 進行 33 個尺度上的縮放，形成一個 33 層的圖像金字塔，然 而運行速度卻只有原來的 40%，但仍然滿足跟蹤算法的實時 性要求(每秒處理幀數(shù)在 15 到 20 幀都可視為實時性的跟蹤) 圖3為5種算法在28個測試視頻上的精確度曲線和VOR曲 線，可以看出，SKCF算法在5個算法中性能是最優(yōu)的。表3 為5種算法在28個測試視頻上 VOR,可以發(fā)現(xiàn)，SKCF算法 在一半以上的測試視頻中取到了最大VOR。圖4是5種算法 在 car4、david、d

28、og1、doll 、carScale、singer1 測試視頻上的 部分運行效果圖。從圖 4 可以發(fā)現(xiàn)， 本文提出的多尺度 SKCF 算法的跟蹤結果隨著目標的尺度變化而作出相應的變化，即 隨著目標的尺度變化而改變分類器訓練樣本的大小，從而提 高了跟蹤算法的準確度和重合度，而KCF算法卻只能使用固 定大小的窗口。4 結語 針對KCF算法不能處理目標運動過程中出現(xiàn)的尺度變化 問題，本文提出了一種基于相關濾波器和尺度金字塔圖像的 尺度估計機制；同時，為降低遮擋對尺度估計過程的影響， 提高尺度估計機制的穩(wěn)定性，提出了一種基于KCF分類器響 應的遮擋檢測算法，遮擋檢測算法利用循環(huán)移位圖像和高斯 噪聲的特

29、點通過簡單有效的計算獲取目標遮擋狀態(tài)。實驗結 果表明，本文算法能有效地處理跟蹤目標運動過程中出現(xiàn)的 尺度變化問題。 參考文獻： 1 HOU Z， HAN C. A survey of visual tracking J. Acta Automatic Sinica ， 2006， 32( 4)： 603-617. (侯志強，韓 崇昭.視覺跟蹤技術綜述J.自動化報，2006,32( 4):603-617.) 2 HARE S， SAFFARI A， TORR P H S. Structured output tracking with kernels C/ Proceedings of the

30、2011 IEEE International Conference on Computer Vision. Piscataway ： IEEE， 2011： 263-270. 3 KALAL Z， MIKOLAJCZYK ，K MATAS J. Trackinglearningdetection J. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012， 34（ 7）： 1409-1422. 4 BABENKO B， YANG M H， BELONGIE S. Robust object tracking

31、 with online multiple instance learning J. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011， 33（ 8）： 1619-1632. 5 ZHANG K， ZHANG L， YANG M H. Realtime compressive tracking M/ ECCV 2012 ： Proceedings of the 12th European Conference on Computer Vision ， LNCS 7574. Berlin： Springer

32、， 2012： 864-877. 6 BOLME D S， BEVERIDGE J，R DRAPER B A， et al. Visual object tracking using adaptive correlation filters C/ Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway ： IEEE， 2010： 2544-2550. 7 ZHANG K， ZHANG L， YANG M H， et al. Fast tracking via s

33、patiotemporal context learning EB/OL. 20150501. http ： /azadproject.ir/wpcontent/uploads/2014/07/FastTrackingviaS patioTemporalContextLearning.pdf. 8 HENRIQUES J，F(xiàn) CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of trackingbydetection with kernels C/ ECCV 2012： Proceedings of 12th Eu

34、ropean Conference on Computer Vision ， LNCS 7575. Berlin： Springer， 2012： 702-715. 9 DANELLJAN M， KHAN F S， FELSBERG M， et al. Adaptive color attributes for realtime visual tracking C/ Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway； IEEE， 2014： 1090-10

35、97. 10 van de WEIJER ，J SCHMID C， VERBEEK，J et al. Learning color names for realworld applications J. IEEE Transactions on Image Processing， 2009， 18（ 7）： 1512-1523. 11 LI Y， ZHU J. A scale adaptive kernel correlation filter tracker with feature integration C/ Proceedings of the 13th European Conference on Computer VisionECCV 2014 Workshops， LNCS 8926. Berlin： Springer， 2014： 254-265. 12 HENRIQUES ，F(xiàn) CASEIRO R，MARTINS P，et al.