1、_-_-_-_-_-_-_一IIII_-_-_一 模式識另U與仿真 自動化技術(shù)與應(yīng)用2011年第30卷第1l期跨攝像頭運動目標(biāo)檢測與識別梅江元,司玉林,高會軍(哈爾濱工業(yè)大學(xué)智能控制與系統(tǒng)研究所,黑龍江哈爾濱150080摘要:跨攝像頭運動lj標(biāo)跟蹤足f|前智能I刪絡(luò)監(jiān)控的一個重點研究力陽。本文白尢提出J,一種局鄭背景更新法,有效地解決了背景 更新的穩(wěn)定性與,F滑性等問題;其次,本文提H r一種基于自適應(yīng)閾值的運動目標(biāo)提取方法,同時通過形態(tài)學(xué)濾波有效地去除 了提取門標(biāo)時的噪聲干擾與空洞問題;最后,文章提出了1種基于YC時加入rj|,-移因子,在測試集合中得到了非常好的匹配性能。關(guān)鍵詞:跨攝像頭;

2、運動目標(biāo)槍測;直方圖l,配;運動11標(biāo)識別中圖分類號:TN919.7,TP391.4文獻標(biāo)識碼:A 文章編號:10037241(2011110043-04Moving Targets Detection and Recognition Across Multiple Widely Separated CamerasMEI Jiang-yuan,SI Yu-lin,GAO Hui-jun(Research Institute of Intelligent Control and Systems,Harbin Institute ofTechnology,Harbin 150008China Ab

3、stract:Multicamera tracking is a key research direction of intelligent network monitoring.Firstly,this paper proposes a method based on local background updating,it effectively solves the problems of timedelay and instability.Secondly,a moving object extraction method with adaptive threshold is put

4、forward in this work,and at the same time,morphological filtering is introduced into this algorithm to remove the disturbance and cavities in target extraction.Lastly,the work presents onekind oftarget matching strategy with statistical histogram,and it gives a very good matching performance.Key wor

5、ds:multiple separated cameras;moving targets detection;histogram matching;moving targets recognition1引言在智能監(jiān)控系統(tǒng)中,網(wǎng)絡(luò)化監(jiān)控已經(jīng)成為一個非常 重要的方向,監(jiān)控網(wǎng)絡(luò)化所起到的作用不只是簡單地多 增加幾個攝像頭,而攝像頭之間的聯(lián)系顯得非常重要。 在未來的智能監(jiān)控網(wǎng)絡(luò)中將會根據(jù)實際情況采用不同 的攝像機,它們的視場有可能交織在一起,也可能彼此 的視場里沒有重復(fù)區(qū)域。跨攝像頭的運動目標(biāo)跟蹤不 僅有效地擴大了監(jiān)控的視野,同時也能對運動目標(biāo)在整 個監(jiān)控區(qū)域內(nèi)的行為有著更加清晰的把握。文獻【1】詳

6、細介紹了攝像頭之間有重疊視野的運動目標(biāo)不同視點 之間的對應(yīng)問題并取得了良好的性能,然而該方法對于 攝像頭視野無重疊區(qū)域是不適用的。而本文介紹的跨收稿日期:200703-16 攝像頭圖像序列的運動跟蹤正是應(yīng)對沒有重復(fù)視野的 運動目標(biāo)檢測與匹配問題。圖1所示是跨攝像頭運動目標(biāo)跟蹤的一個框架圖, 多臺攝像機分別對自己視場中的目標(biāo)進行檢測提取并 跟蹤,當(dāng)某一攝像頭視場中的目標(biāo)離開視場時,就會根 據(jù)該目標(biāo)的時空信息(比如出場區(qū)域,路線,速度通知 相關(guān)攝像機,被通知的攝像機從進入視場的候選目標(biāo) 中進行識別匹配,繼續(xù)對該目標(biāo)的跟蹤。在這個框架 下除了對運動目標(biāo)簡單的跟蹤,跨攝像頭的運動目標(biāo) 匹配就顯得尤為重

7、要,然而運動目標(biāo)的匹配離不開非 常準(zhǔn)確穩(wěn)定的運動目標(biāo)分割提取,否則會大大降低識 別的可信度。因此,本文主要致力于解決兩個問題,一 是復(fù)雜環(huán)境下的運動目標(biāo)的準(zhǔn)確分割,另一個是跨攝“自動化技術(shù)與應(yīng)用”2011年第30卷第11期 模式識另|J與t:8真一Patle,n Recognit Jon and Si mJlation一 像頭運動目標(biāo)的匹配。-F喈 函 民li盼-田, 隨心-j圖1跨攝像機運動目標(biāo)跟蹤框架2運動目標(biāo)檢測2.1局部背景更新法對于一個復(fù)雜的監(jiān)控環(huán)境,往往是前景與背景同時 干預(yù)運動目標(biāo)的檢測,并且這些|jii景背景本身也隨某些 因素發(fā)生著變化,比如光照的變化;運動目標(biāo)與背景的關(guān) 系也

8、不是一成不變的,兩者有時也會互相轉(zhuǎn)化,比如停 車場的車的停泊與啟動,所有的這些都給運動目標(biāo)檢測 帶來了許多困難。文獻2】提出了一種自適應(yīng)背景更新 法,對克服背景的變化有較好的效果,但實驗表明該方 法得到的背景往往會有許多噪聲,其主要原因在于目標(biāo) 與背景的交接處在背景更新處由于使用了有較大躍變 的權(quán)值,因而此交接處更新的背景往往不是很平滑。因 此,為解決這些問題,本文提出了一種自適應(yīng)權(quán)值的局 部背景更新方法,通過對權(quán)值的估計,有效地解決了以 上問題。在本文提出的算法中,自先粗略估計運動目標(biāo)的位 置。如果儀儀足簡單地使用幀間差估計得到的目標(biāo)往 往會形成很大的空洞,為解決這個問題,本文采用了形 態(tài)學(xué)

9、濾波器濾除空洞部分。這些被估計得到的目標(biāo)區(qū) 域和其他部分區(qū)分對待,分別地進行更新:J a(J,j:(r(D(,y,科 IBk+l(x,y=口t(x,y,t(x,。+(1一口(,J】Bk(T, 、l 7式中,.表示當(dāng)前罔像,B為背景圖像,背景更新的 目標(biāo)就是由當(dāng)前圖像,.與當(dāng)前背景0。來估計下一時刻 的背景圖像B;D。是由幀IuJ差法和形態(tài)學(xué)濾波后估 計出的運動目標(biāo)一值罔像,用來刻畫當(dāng)前時刻圖像發(fā)生 劇烈變化的位置,而函數(shù)r(D。【,則是當(dāng)D。(,y值 為0時該像素與J割圍離得最近的D。(J,y為l的像素的 距離,而R喪示圖像長寬中較小的仳,值為一個口調(diào) 系數(shù),ff:I以上數(shù)據(jù)計算出的口。(,Y

10、即為自適應(yīng)權(quán)值。 如果Dt(J,y值為1,則r(D(,j值為0,即口(J,J 值為0,表示此處可能存在目標(biāo),因而背景暫時不更新, 直到目標(biāo)不再運動或離開此處時再更新此處背景,這樣 可以對背景的移入移出的變化有很強的適應(yīng)能力;值 D。(z,y為0時,認(rèn)為此刻兩幀圖像沒有劇烈變化,此時 即可更新背景,用來適應(yīng)一些漸變過程,而自適應(yīng)權(quán)值 吼(z,Y的引入則可使背景更新更加平滑。2.2基于形態(tài)學(xué)的運動目標(biāo)提取在獲取穩(wěn)定的背景后,簡單的背景差分法往往不能 得到完美的運動目標(biāo)圖像。影響目標(biāo)分割的因素豐要 有兩個,一是噪聲的影響,二是目標(biāo)顏色有時會與背景 非常相似,這些都增加了目標(biāo)分割與提取的難度。吲此 本

11、文提出了一種自適應(yīng)閾值的背景差分法與基于形態(tài) 學(xué)的運動目標(biāo)提取,可以穩(wěn)定地提取飽滿的運動目標(biāo)。 算法首先通過基于白適應(yīng)閾值的背景差分法得到 包含目標(biāo)的二值圖像:一。=:擴if 1I , 。k 。 (。 x , , ,y , -一 口B 。 k 。 (, x , , y , , i ; , y 。 。(。 x , , , y ; (:, A表示當(dāng)前圖像,.與當(dāng)前背景圖像口。的差分的二 值化圖像,而此處起關(guān)鍵效果的就是自適應(yīng)闖值 y。(z,的選擇。由于有些目標(biāo)與背景的相似性很大, 比如運動目標(biāo)在陰影中運動,這樣的情況下,希望 y。(X,Y越小越好;而對于一般的背景,由于光照或噪聲 引起了微小的變化

12、,則希望此區(qū)域y。(T.y越大越好,這 樣不易引進噪聲。因此n可以被這樣定義為 n t , .,:a 冉 冉。,f I n f 箍 11。 , 此式是用相戈性來求取聞值n(,Y,式中m,” 表示模板大小,A為一個可調(diào)系數(shù)。如果當(dāng)前圖像和 當(dāng)前背景在某一區(qū)域相關(guān)性很大時,表示這個罔像是 背景的可能性很大,y。(J,y為一個較大的值;而當(dāng)豐u 關(guān)性較小時,表明此處發(fā)生了突變.運動目標(biāo)出現(xiàn)的幾 率很大,因而n(x,y較小,能充分滿足以j:的要求。 注意此處計算中B.中最小像素值必須取為1,否則會 出現(xiàn)奇異點。在得到二值化圖像后,本文采Jj了形態(tài)學(xué)濾波法進模式識別與仿真 巳皇!皇!翼旦呈璺旦g旦!里旦

13、墾旦g墨!盟垡!璺!魚旦行濾波。首先提取所有的連通區(qū)域X,通過求取每個連通區(qū)域的面積從中選取連通區(qū)域像素數(shù)量大于某一閾值的大連通區(qū)域的集合XBM c工,y,=:莩工x,yy,芒xX。s(4肘就是形態(tài)學(xué)濾波的結(jié)果。這個步驟主要用來去除一些噪聲,同時把目標(biāo)與背景的二值關(guān)系倒置,再一次進行式(6運算,即可將目標(biāo)中的空洞去除,并將目標(biāo)與背景的關(guān)系復(fù)原。該算法非常簡單有效,同時把去除噪聲與去除目標(biāo)內(nèi)的空洞歸并為一類,大大提高了運動目標(biāo)檢測的實時性與程序的效率。3運動目標(biāo)識別3.1運動目標(biāo)特征提取對于運動目標(biāo),跨攝像頭觀察往往會使得觀察目標(biāo)的角度不一致,這就使得基于結(jié)構(gòu)特征的匹配方法往往會失效。本文所使用

14、的運動目標(biāo)匹配方法是基于顏色直方圖的匹配方法,該方法對于全局信息的獲取與匹配有著非常好的效果。在預(yù)處理過程中,首先將待匹配目標(biāo)周圍背景去除,然后將目標(biāo)合理地劃分成適當(dāng)?shù)膸讉€區(qū)域,比如對于行人目標(biāo)可以劃分成頭、上半身、下半身三個區(qū)域。可以發(fā)現(xiàn),同一目標(biāo)即使觀察角度不一樣,狀態(tài)各異,但是每個區(qū)域的顏色特征一般都是非常相似的。文獻【3】介紹了對RGB三個通道分別進行直方圖匹配的方法,在光照條件良好,色彩對比較高的條件下都取得了很好的效果,然而在光照條件不是很好的情況,顏色的對比度往往會很低,該方法往往失去了適用性,因此,為了能適應(yīng)這種低對比度環(huán)境下的運動目標(biāo)跟蹤,在接下來本文采用一種基于YC。C,分

15、量的直方圖匹配。下式為RGB分量轉(zhuǎn)換為yc.C分量的轉(zhuǎn)換公式:】,.r 65.738129.05725.0647rR716f乏J-去l愛裟蠆囂:怒惻+匱I(5 由于yc。C中的l,代表的是灰度信息,因此能反應(yīng)整體的灰度分布,而e與C.代表的是各個顏色通道的差值信息,因而對于低對比度的運動目標(biāo)提取直方圖特征提取效果非常好。 自動化技術(shù)與應(yīng)用2011年第30卷第ll期本文中將三個通道灰度分布0255的區(qū)間分為了 25個子區(qū)間進行統(tǒng)計,如果子區(qū)間過少則起不到區(qū)分的 效果,子區(qū)間過多則會對光強等因素敏感。經(jīng)過測試, 發(fā)現(xiàn)區(qū)間數(shù)取20。30比較合適。統(tǒng)計得到的灰度分布 即為運動目標(biāo)的直方圖特征。3.2運

16、動目標(biāo)匹配在運動目標(biāo)特征匹配過程中,單純的差值法作為 匹配準(zhǔn)則不是很穩(wěn)定。比如目標(biāo)進入陰影的前后,同 一目標(biāo)的直方圖會發(fā)生整體的左右移動,而差值法則 會將整體移動帶來的差異大幅擴大。事實上,整體移 動后,直方圖仍然保持原來的走勢,這個走勢是不變 量,可以作為待匹配的特征。因此本文提出一種引入 平移因子的直方圖匹配策略,有效地解決了以上問題, 該匹配策略可以歸納為q(r=丑ln一%仗+叫忌=%,Zo+l,.-,25吒k%(r=丑1%一%仗刊七=%,to+t,-,25% k%(r=丑1%一%+叫七=%,zo+l,.,25吒(6 kD=njrl(I讓(,+y%+(1p,b(砌f=q1,一j毛 式中日

17、r1日G1日cl與日y2日G2日c,2分別代表第一 個和第二個目標(biāo)YC。C,分量的直方圖,f為平移因子, %為平移的限度,一般是個較小的整數(shù),而與y則分 別代表三個分量在最后匹配過程中的加權(quán)。如果兩個 直方圖走勢相似,而出現(xiàn)整體的左右移動時,平移因子f 的引入,可以保證兩個直方圖仍然能對應(yīng)地很好,距離 D仍然很小,因而比普通的差值法有更好的魯棒性。 在運動目標(biāo)跟蹤過程中,通過計算運動目標(biāo)的移動 軌跡,可以估計該目標(biāo)出現(xiàn)在每一個攝像頭的序列關(guān) 系。該直方圖匹配法配合時空信息,如遷移時間、速度、 人口區(qū)域、出口區(qū)域、路線等等,即可實現(xiàn)跨攝像頭的 動態(tài)目標(biāo)的全程跟蹤。4實驗結(jié)果為了測試算法的有效性,

18、本文按照運動目標(biāo)檢測與 運動目標(biāo)識別兩個方面分別做了兩個實驗來測試本文 算法的優(yōu)劣。在運動目標(biāo)檢測實驗中,本文測試了局部背景更新 法、自動閾值分割法以及形態(tài)學(xué)濾波的性能。圖2所示 的是一段網(wǎng)絡(luò)監(jiān)控視頻,該視頻前景與背景共同影響著 目標(biāo)的檢測,并且目標(biāo)與背景顏色非常相似。本文提出自動化技術(shù)與應(yīng)用H 2011年第j o卷第11期 模式識另|j與仿真得局部背景更新法對j這種復(fù)雜的環(huán)境有非常好的魯棒性,而自動閩值分割法可以把與背景相似的目標(biāo)很好地劃分出,且對噪聲有非常有效地抑制。形態(tài)學(xué)濾波可以把剩余的噪聲兒乎完全地去除,且保證目標(biāo)內(nèi)不出現(xiàn)空洞,完美地實現(xiàn)丁動態(tài)目標(biāo)分割。(a原始視頻(b 由局部背景更新

19、法獲取的背景圖像(c 基于形態(tài)學(xué)濾波提取的二值化圖像(d 分割得到的運動目標(biāo)圖2運動目標(biāo)檢測實驗: : 圖3VIPeR數(shù)據(jù)庫的部分樣本圖片中的評價指標(biāo)為累積匹配曲線(CMC4j o本文的測試圖 像全部選自于VIPER數(shù)據(jù)庫I“,該數(shù)據(jù)包含了由兩個不 同攝像頭拍攝的70個樣本,部分樣本圖片如圖3所示。 本文使用該數(shù)據(jù)庫做了三次比對實驗,分別是RGB分 量進行直方圖特征提取并用差值法匹配、使用YC。C, 分量進行直方圖特征提取并用差值法匹配畎及本文提 出的使用rc。c,分量直方圖特征提取并用加入平移因 子的差值法匹配,實驗結(jié)果如圖4所示。實驗結(jié)果表明, 本文所提出的方法在進行運動目標(biāo)匹配時有著更高的 識別率與更穩(wěn)健的性能。在70人的樣本中能保證在排 名第一的候選者中找到正確目標(biāo)的概率達到68%;在排 名前6的候選者中即可保證一定找到目標(biāo)。5結(jié)束語采用局部背景更新法可以穩(wěn)健地獲取運動目標(biāo)的 背景,結(jié)合自適應(yīng)閾值的背景提取以及形態(tài)學(xué)濾波法, 可以在復(fù)雜環(huán)境下準(zhǔn)確、穩(wěn)健地提取運動目標(biāo)。同時, 使用基于YC。C,通道直方圖特征提取以及引入平移機 制的直方圖匹配可以大幅度提高運動目標(biāo)識別的性能, 解決了目前跨攝像頭動目標(biāo)識別不穩(wěn)健的問題。參考文獻:1】李志華,陳耀武.基于多攝像頭的目標(biāo)連續(xù)跟蹤J】.電子 測量與儀器學(xué)報.2