1、鄭州輕工業學院本科畢業設計(論文)題 目 視頻序列中的運動目標檢測研究 學生姓名 付 世 家 專業班級 電子信息2007級01班 學 號 200707020106 院 (系) 計算機與通信工程學院 指導教師(職稱) 黃敏（副教授） 完成時間 2011年6月3日 鄭州輕工業學院畢業設計(論文)任務書題目 視頻序列中的運動目標檢測研究 專業 電子信息科學與技術 學號 06 姓名 付世家 主要內容、基本要求、主要參考資料等：主要內容：1. 研究運動目標檢測的各種方法；2. 通過實驗分析檢測幾種算法的效率。基本要求：1. 了解圖像處理技術的相關內容及運動目標檢測關鍵技術。2. 通過實驗，檢測圖像，驗證

2、算法的設計是否合理。主要參考資料：1 韓曉軍數字圖像處理技術與應用北京：電子工業出版社2009年7月2 阮秋琦. 數字圖像處理學. 北京：電子工業出版社. 2001年1月.3 張兆楊,楊高波，劉志等視頻對象分割提取的原理與應用北京：科學出版社2007.4 李志勇,沈振康,楊衛平. 動態圖像分析. 北京：國防工業出版社,1999.5 賈云得. 機器視覺. 科學出版社，2000.完 成 期 限： 2011年 6 月 3 日 指導教師簽名： 專業負責人簽名： 2011年 1 月15日視頻序列中的運動目標檢測研究目錄摘 要IABSTRACTII1 緒論11.1 背景研究背景及意義11.2 研究狀況及存

3、在問題21.2.1 國內外研究狀況21.2.2 存在問題42 視頻序列中運動目標檢測技術62.1 圖像處理62.1.1 圖像的灰度化62.1.2 圖像的濾波102.2 圖像二值化輸出112.2.1 數學形態112.3 運動目標檢測關鍵技術132.3.1 概念132.3.2 應用總結143 算法研究及實驗分析153.1 幀差法153.2 光流法203.3 背景減法213.4 常見的背景減法233.4.1 中值濾波法233.4.2 單高斯模型243.5 基于背景減法的運動目標檢測在Matlab中實現方法263.6 目前存在問題294 結論與展望30致 謝32參考文獻33視頻序列中的運動目標檢測研究

4、視頻序列中的運動目標檢測研究摘 要視頻序列中的運動目標檢測是計算機視覺領域的主要研究方向之一，在很多計算機視覺應用中，關鍵的任務是從圖像序列中確定運動目標，其中對于固定攝像機下運動目標的檢測在現代社會中的應用越來越廣泛，在實際生活中，運動目標的檢測與跟蹤廣泛涉及到人體跟蹤及鑒別、智能運輸、交通流量監測等方面。在過去幾年中，國內外有大批學者投入到該領域，并且取得了大量的成果。本文先介紹了圖像預處理的相關內容及運動目標檢測關鍵技術，分析了運動目標檢測算法。在這些基礎上，主要通過實驗針對智能監控中的運動目標，運用Matlab軟件完成實驗，提出用于靜止背景視頻序列的運動目標快速檢測算法關鍵詞 圖像處理

5、；運動目標檢測；高斯模型；運動目標跟蹤Video sequence of moving object detectionABSTRACTVideo objects for motion detection is one of the major research directions in the domain of computer vision, and the main task of many computer vision applications is to set the moving objects from image sequences, the moving o

6、bject detection for target under fixed camera and that among image sequences are becoming more and more widely used in modern society. In real life, detecting and tracking moving objects involves human motion tracking and identification, intelligent transportation, traffic flow monitoring and more.

7、In the past few years, a large number of scholars at home and abroad come into the field and have obtained a good many achievements. First of all ,this paper introduces the related content of image preprocessing and moving object detecting key technology, analyzes the target motion detection algorit

8、hm is proposed.On these bases, this paper, in view of the moving object intelligent monitoring, Using Matlab software to finish the experiment.Puts out the fast detection algorithm of moving object for video sequence of still background . KEY WORDS image processing，moving targets detection，gaus

9、sian model，sports target tracking341 緒論1.1 背景研究背景及意義運動目標的檢測與跟蹤是應用視覺領域的一個重要的課題。現實生活之中，大量的有意義的視覺信息包含在運動之中。盡管人類既能看見運動的又能看見靜止的物體，但是在許多場合，如交通流量的檢測、重要場所的保安、航空和軍用飛機的制導、汽車的自動駕駛或輔助駕駛等，往往只對運動的物體感興趣。因此，研究運動目標的檢測和跟蹤問題，有很大的理論意義和應用價值。如今，伴隨著人類文明的不斷進步，帶來了計算機技術、通信技術、圖像處理技術的不斷發展，計算機視覺已成為熱點研究問題之一。計算機視覺的研究目的是利用計算機代替人眼及

10、大腦進行感知、描述、解釋和理解外部景物環境。它是一門交叉性很強的學科，研究學習它需要很多知識。涉及到計算機、心理學、生理學、物理學、信號處理和應用數學等諸多學科。計算機視覺的研究始于20世紀60年代，并在20世紀80年代取得了重大突破，近二十年來隨著圖像視頻處理技術和人工智能技術的迅猛發展，計算機視覺技術也在快速進步，各種新技術新方法層出不窮，其應用領域更是在迅速的擴展。智能視覺監控是計算機視覺領域中一個新興的應用方向。智能視覺監控系統以傳統的視頻監控為基礎。視頻監控系統投入實際應用已經有數十年的歷史，通過分散設置的攝像機記錄監控場景并集中顯示，以便監控人員實時了解監控場景中發生的事件，從而及

11、時做出反應。有關研究已經表明，僅依靠監控人員對監控視頻進行觀察和分析，即使是專業人員也難以構成真正有效的監控系統，因此智能化是視頻監控的必然趨勢。在新一代的視頻監控中，人們嘗試把計算機視覺中的相關技術引入到視頻監控中，從而發展起來的新型視頻監控技術智能視覺監控，它是利用計算機視覺技術對視頻信號進行處理、分析和理解，并對視頻監控系統進行控制，從而提高視頻監控系統智能化水平。運動目標跟蹤是視覺處理研究的核心內容，其典型應用主要包括：（1）軍事上的應用主要包括自動駕駛飛行器、自動目標跟蹤、無人駕駛車輛智能機器人任務執行，通常機器人為了執行某些任務，需要能夠在它的環境中跟蹤目標。在智能機器人的應用中，

12、跟蹤技術用于從安裝在機器手上的運動的攝像機中拍攝物體，計算運動軌跡，選擇最佳姿態抓取物體等。（2）安全場合智能監控，智能監控系統的需求主要來自那些對安全要求敏感的場合，如銀行、商店、停車場等。監控攝像機在商業中的應用需要監控系統能夠自動分析攝像機捕捉的圖像數據，自動完成對復雜環境中的人和車輛進行實時觀測以及對感興趣目標的行為進行分析和描述。（3）交通監管系統中的監控，現代社會的高節奏生活導致了交通的浮燥。基于此而出現交通違規和不文明現象時，目標檢測與跟蹤顯得尤其重要，從而大大減少了交通管理的麻煩。（4）醫學高科技的需求，現代高科技的發展促使醫學的向前躍進，而醫學生。物微觀上的研究卻與目標追蹤密

13、不可分。包括對微觀細胞的追蹤觀察、人工植入器官的跟蹤觀察等。除了以上的應用外，目標跟蹤還存在很大的應用范圍和前景。我們更關心的是現實生活中的應用。涉及到最多的還是各種生活環境中的監控。傳統的監控系統主要是通過一些傳感器如溫度傳感器、壓力傳感器和電接觸傳感器等來實現的，現在已經逐步出現了可視化的監控系統。人們對基于視頻圖像的監控系統的智能化要求越來越迫切，而運動目標的跟蹤在視頻圖像處理中占據極其重要的地位。1.2 研究狀況及存在問題1.2.1 國內外研究狀況在許多情況下，圖像序列可以通過各種不同的設備獲得，比如數碼攝像機等大眾化的電子產品設備。使用設備簡單，易于進行實物仿真，這正是圖像跟蹤和其他

14、跟蹤方法的最大差別，也是圖像跟蹤能得到迅速發展的主要原因。視頻監控系統在應用中具有廣泛的前景和潛在的經濟價值，并且在國民經濟和國防建設等方面發揮著極為重要的作用，因而激發了國內外廣大科研工作者和相關商家的濃厚興趣。目前國外的智能視頻監控技術相對成熟，許多相關技術己經開始運用到實際系統中。例如，在1996年至1999年間，美國國防高級研究項目署(DARPA)設立了視覺重大監控項目 VSAM(Video Surveillance And Monitoring)，以卡內基梅隆大學為首，聯合麻省理工學院等美國十幾所高等院校和研究機構參與，主要研究戰場和普通民用場景監控的自動視頻理解技術，利用視頻理解、

15、網絡通信、多種傳感器融合等技術實現對未來城市、戰場等進行自動監控；DARPA在2000年又資助了重大項目 HID(Human Identification at a Distance)計劃，研究開發多模式的監控技術以實現遠距離情況下人的檢測、分類和識別，以增強國防、民用場合免受恐怖襲擊的保護能力；歐盟EULTR(European Union Long Term)資助比利時Kathelieke大學子工程系、法國國家計算機科學和控制研究院(取RIA)等歐洲著名的大學和研究機構聯合警察、法庭等司法機關提供基于圖像處理的監控系統，目標是提供圖像視頻處理、理解技術使司法機關能從現有的監控系統的錄像資料中

16、獲得更多有用的犯罪證據；歐盟贊助研究的PRISMATICA系統，融合了多種智能檢測設備(智能攝像頭、非接觸智能卡、無線視頻傳輸等)，用于地鐵站的安全監控；歐盟 IST(Information Society Technologies)的第5框架程序委員會也在 1999年設立重大項目ADVSOPR (Annotated Digital Video for Surveillance and Optimized Retneval)，旨在開發一個系統有效地管理公共交通系統，從而緩解城市交通壓力，它的研究內容包括人群和個人的行為模式分析、人機交互等；Haritaoglu等在2000年開發了一個實時視覺監

17、控系統W4法用于分析人體活動，它結合運動估計和目標匹配來對目標進行跟蹤，能夠跟蹤人體的各個部分，如頭、手、軀干和腳的相對位置和大小。英國的雷丁大學已開展了對車輛和行人的跟蹤及其交互作用識別的相關研究與等公司也正逐步將基于視覺的手勢識別接口應用于商業領域中。大學的實時視覺監控系統不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實現多人的跟蹤，可以檢測和跟蹤室外環境中的人并對他們之間簡單的交互進行監控。國外的研究還有多傳感器監控，使用多個傳感器對某一地區協同監控以及飛行器監控，如對從熱氣球上拍攝的視頻圖像進行分析和處理。目前在國內的研究機構中，中國科學院北京自動化研究所下屬的模式識別國家

18、重點實驗室視覺監控研究組處于領先地位。他們對交通場景的視覺監控基于三維線性模型定位、基于擴展卡爾曼濾波器的車輛跟蹤算法、人的運動視覺監控基于步態的遠距離身份識別和行為模式識別提出了對目標運動軌跡和行為特征的學習的模糊自組織神經學習算法進行了深入研究，取得了一定的成果。除此之外，國內還有一些高校也進行了這方面的研究，如上海交通大學、北京航空航天大學、北京理工大學等、清華大學、北京郵電大學和華中科技大學等。其中，中國科學院自動化研究所模式識別國家重點實驗室對該領域做了大量研究，他們在人體運動分析、交通行為事件分析、交通場景視頻監控和智能輪椅視覺導航等領域取得了許多科研成果。為了促進國內智能視覺監控

19、的發展，中國科學院自動化研究所在2002年和2003年分別舉辦了第一屆和第二屆全國智能視覺監控會議，對圖像序列分析、目標定位、識別和跟蹤、高層語義理解、系統構建與集成、網絡環境下的視頻監控等內容進行了多方面探討。北京圖像圖形學學會在年舉辦了中國首屆城市公共視覺聽覺科技研討會。計算機學報、軟件學報和控制與決策等一些雜志也發表了智能監控系統中一些研究成果。國內也已有一些具備智能功能的視頻監控產品上市，如北京黃金眼科技的黃金眼，北京行者科技的行者貓王等產品。1.2.2 存在問題隨著人們對視頻圖像處理的研究日益成熟，人們希望將研究成果應用于日常生活當中去，但研究與應用是存在距離的。因為研究往往是在實驗

20、室中，很多研究的條件都比較理想，而實際生活中的環境是相當復雜的，會出現許多意想不到的情況。因此要想將研究成果應用于實際生活中必須考慮現實生活中的復雜情況，可以說對實際中復雜情況的考慮和處理是使研究走向應用的關鍵一步。復雜背景下的運動目標檢測和跟蹤一直是視頻圖像處理和理解領域的難點，也日益成為視頻圖像處理系統實用性和可靠性的嚴重障礙。由于各種視頻應用的場合不盡相同，運動目標所處的環境和背景千變萬化，這對運動目標檢測和跟蹤算法的適應性和穩健性提出了更高的要求。但是從目前的條件和技術水平來說，提出一種抗干擾性強、能適應各種場合各種條件的、穩健的運動目標檢測和跟蹤方法是不太現實的。在大量學者的研究下，

21、產生了很多在特定條件下具有良好性能的運動目標檢測和跟蹤方法。但是目前，在目標檢測和目標跟蹤方面，仍舊沒有一個通用的有效的方法能夠良好地實際應用于智能視頻監控系統。主要存在的難點問題有：(l) 由視頻背景的復雜性導致的目標誤檢：在進行目標檢測時，實際場景極其復雜，光照的變化和陰影的產生、雜亂背景等都會導致檢測出的目標的合并或者丟失、目標幾何特征的扭曲以及虛假目標的出現等，這樣不僅會帶來目標的誤檢問題，同時對之后的目標跟蹤也會產生影響。(2) 由目標運動的復雜性導致的目標跟蹤出錯：對運動目標，特別是多運動目標，目標與目標之間以及目標與場景之間的交互運動關系非常復雜，可能出現目標遮擋合并、目標分裂、

22、目標消失、目標出現等情況，這些直接導致了運動目標的復雜性。(3) 智能視頻監控要求的實時性：智能視頻監控期望能夠“智能”地、“主動”地識別、跟蹤并分析場景中目標的運動信息，要求系統必須能夠實時地進行處理，從而發現各種異常。2 視頻序列中運動目標檢測技術2.1 圖像處理在運動目標檢測過程中圖像預處理尤為重要，它主要是對圖像進行增強、改善或修改，為圖像分析做準備，直接關系到圖像的下一步質量。本章主要針對視頻對象的的圖像預處理常用技術，主要包括圖像灰度化、圖像濾波、圖像銳化，并對個各種圖像處理技術的常用方法做了介紹。2.1.1 圖像的灰度化在運動目標檢測過程中圖像預處理尤為重要，它主要是對圖像進行增

23、強、改善或修改，為圖像分析做準備，直接關系到圖像的下一步質量。本章主要講了圖像預處理常用技術，主要包括圖像灰度化、圖像濾波、圖像銳化，并對個各種圖像處理技術的常用方法做了介紹。運動目標檢測是在一段序列圖像的每幀圖像中找到感興趣的運動目標所在的位置， 其難點在于何快速而可靠地從一幀圖像中匹配目標。 由于攝像頭固定， 采集到的圖像背景基本不變，故選取基于運動的幀間差分法。圖像采集采用CCD 攝像頭。為減少處理運算量， 將采集到的彩色圖像轉換為灰度圖像， 再進行預處理及目標檢測。將視頻中提取的彩色圖像轉換為灰度圖像后，由于外界因素的影響，使圖像質量降低。因此，在對圖像進行分析之前，需要對圖像質量進行

24、改善。直方圖均衡化是把原始圖像的灰度直方圖從比較集中的某個灰度區間變成在全部灰度范圍內的均勻分布，這樣就增加了像素灰度值的動態范圍從而可達到增強圖像整體對比度的效果，使圖像的細節變得清晰。用matlab實現圖像的均衡化：clear;I=imread('G:123.jpg');I=rgb2gray(I);I2=I;add=;add1=;tab1=zeros(1,256);tab2=zeros(1,256);for n=0:255 X=I=n; add=add;sum(sum(X);end;a,b=size(I);final=add/(a*b);for n=1:256 for i=

25、1:n tab1(n)=tab1(n)+final(i); end;end;tab1=tab1*255;tab2=round(tab1);for n=1:a for m=1:b for t=0:255 if I(n,m)=t I2(n,m)=tab2(t+1); end; end; end;end;for n=0:255 X1=I2=n; add1=add1;sum(sum(X1);end;a1,b1=size(I2);final1=add1/(a1*b1);figure;stem(final,'Marker','none'); figure(2)imshow(

26、I2);figure(3)stem(final1,'Marker','none') 我們通過對原始視頻圖像使用直方圖均衡化處理，實驗結果如下圖2-1所示。 圖2-1原始灰度圖和均衡化處理后的對比圖2圖2-2原始灰度圖和均衡化處理后的直方圖對比(圖中橫坐標表示像素的級數，縱坐標表示像素的個數)從上述效果圖可以看出，經過直方圖均衡化處理后，圖像變的清晰了，從直方圖來看，處理后的圖像直方圖灰度級均勻分布在0-255之間，在每個灰度級上圖像都有像素點。并且右圖明顯比左圖亮，這是因為圖像均衡化后，增加了對比度，使圖像中包含的信息清晰化。2.1.2 圖像的濾波圖像的濾波圖像

27、濾波是數字圖像處理過程中經常使用的、也是最重要的處理過程，因為圖像在攝取、傳輸等過程中經常會受到噪聲的干擾，反映在原本均勻和連續變化的灰度突然變大或者變小，形成一些虛假的物體邊緣或輪廓，使得圖像的后續處理容易引入誤差。因此，需要重視圖像的濾波處理。以下是幾種常見的圖像濾波處理方法：(1) 均值濾波假設圖像由許多灰度恒定的小塊組成，相鄰像素間有很強的空間相關性，而噪聲是統計地疊加在圖像上的，其均值為零。因此用像素鄰域內的各像素灰度值的平均值代表原有的灰度值，實現圖像的平滑。在灰度圖像f中以像素值(x,y)為中心的N×N窗口(3,5,7,.)內，若平均灰度值為時，無條件的令f(x,y)=

28、。這種方法就是對一個噪聲點進行模糊，把被處理點的某一領域中所有像素灰度值的平均值作為該點灰度的估計值。由于參加平均的像素在原始無噪聲圖像中灰度值是不等的，但在去噪過程中鄰域內所有像素都進行了平均，均值濾波法可能會使邊界模糊。(2) 中值濾波中值濾波法是以局部中值代替局部平均值。在灰度圖像中f中以像素值(x,y)為中心的N×N窗口(3,5,7,.)內，首先把這N×N個像素點的灰度值按大小進行排序，然后選取值的大小為處于正中位置的那個灰度值，使f(x,y)=。這樣，把被處理點的某一鄰域中像素灰度中值作為該點的像素灰度的估計值。由于中值濾波不影響階躍函數和階梯函數，而當寬度小于窗

29、口的一般時，沖擊函數趨于消失，三角形函數的頂部則將被削平，因此，中值濾波一般不會引起邊緣模糊，而能夠達到減小離散的沖擊噪聲的目的。(3) 低通濾波從頻譜上看，噪聲特別是隨機噪聲是一種具有較強高頻分量的信號。平滑的目的就是通過一定的手段濾除這類信號。一個很自然的想法就是使圖像經過一個二維的低通數字濾波器，讓高頻信號得到較大的衰減。在空間域上進行的這種濾波實際上就是對圖像和濾波器的沖擊函數進行卷積。設圖像為f(x,y)，濾波器的沖擊響應函數為H(x,y)，則卷積表達示為 (2-6)常見的沖擊響應函數有， ， (2-7)顯然，采用作為濾波器，其效果將與3×3窗口下的均值濾波法得到的效果類似

30、。不同的沖擊響應函數之間的區別在于計算機窗口內像素值的加權平均值的加權系數不同。2.2 圖像二值化輸出數學形態學是建立在嚴格數學理論上的一門新興學科,是一種新型的數字圖像處理方法和理論。基本思想是利用一個結構元素去探測一幅圖像,看看圖像中哪些地方可以很好地放入結構元素,并將這些位置作標記,以便得到關于圖像結構的信息2.2.1 數學形態形態學原是生物學中研究動物和植物結構的一個分支。后來，以數學形態學(也稱圖像代數)中的形態表示為基礎將其發展為圖像分析的數學工具。他的基本思想是用具有一定形態的結構元素去量度和提取圖像中的對應形狀，以達到對圖像分析和識別的目的。數學形態學的數學基礎和所有語言是集合

31、論。數學形態學的應用可以簡化圖像數據，保持他它們的基本形狀特性，并初除去不相干的結構。數學形態的算法具有天然的并行實現的結構。二值數學形態學的基本運算有四個：膨脹(或擴張)、腐蝕(或侵蝕)、開始和逼和。形態學的運算對象是集合。設用A表示圖像，B表示結構元素(B本身也是圖像集合，A和B均為集合)，形態學運算就是B對A 進行操作。膨脹的運算符為，用B對A 進行膨脹可以記為，其定義為： (2-8)式(2-8)表明，用B膨脹A的過程就是先對B做關于遠點的映射(注意，這里代表B的映像)，再將其平移x(注意，代表B平移x)，這里A與B的交集不能為空集。換句話說，用B來膨脹A得到的集合的位移與A至少有一個非

32、零元素相時B的原點位置的集合。根據以上解釋，式(2-8)也可以寫成 (2-9)借助卷積的概念來理解膨脹操作式很有幫助的。如果將B看成一個卷積模板，膨脹就是先對B做關于原點的映射，再將映像連續地在A 上移動而實現的。腐蝕的運算符為，用B對A進行腐蝕可以記為，其定義為 (2-10)式(2-10)表明，用B腐蝕A的過程就是對B平移運算x，結果式所有x的集合，即B平移x后仍在A中。換句話說，用B腐蝕A得到的集合是B完全包括在A中時B的原點位置集合。因為膨脹和腐蝕并不互為逆運算，所以他們可以級連接和使用。例如，可以使用同一結構元素先對圖像進行腐蝕運算然后膨脹其結果，也可以對圖像進行膨脹運算在腐蝕其結果。

33、前者通常成為開啟運算，后者則稱為閉合運算。它們也是數學形態學的基本運算。 使用結構元素B對集合A進行開操作，表示為，定義為： (2-11)可見，用B對A進行開操作就是用B對A腐蝕，然后用B對結果進行膨脹。同樣，使用結構元素B對集合A的閉操作，表示為，定義如下： (2-12)上式說明，使用結構元素B對集合A的閉操作就是用B對A進行膨脹，而后用B對結果進行腐蝕。開啟和閉合也具有對偶性，它們的對偶性可以由膨脹和腐蝕的對偶性得到，表示為： (2-13) (2-14)二值化后的圖像往往會含有許多孤立的點、小區域以及小空隙和孔洞， 為了解決閾值分割后的差分圖像可能會存在的一些目標空洞和少量的孤立噪聲的問題

34、， 這些均會對今后目標位置的判斷存在干擾， 導致接下來跟蹤丟失或者跟蹤錯誤。因此， 本文使用了數學形態學圖像處理， 適當地選取形態運算子和濾波窗口可以很好地排除雜點， 消除物體內部的細小空隙。主要方法為膨脹和腐蝕。2.3 運動目標檢測關鍵技術2.3.1 概念運動目標檢測(Moving Object Detection)是在一段序列圖像的每幀圖像中找到感興趣的運動目標所在的位置， 其難點在于如何快速而可靠地從一幀圖像中匹配目標。運動目標檢測是計算機視覺研究領域中的一個重要且困難的課題，在實現運動補償、視頻壓縮編碼、視頻理解時都需要用到運動目標檢測技術。運動目標檢測的相關技術覆蓋了數字視頻處理、數

35、字圖像處理及分析中的各個方面，并且還涉及計算機視覺、統計信號分析、隨機過程及分析等諸多領域。作為計算機視覺基礎之一的“圖像序列中運動目標檢測”是一個困難而又富有挑戰性的課題，也是近年來理論和應用研究的熱點。運動目標檢測算法的實時性、可靠性和普適性是衡量算法優劣的標準，是智能視頻監控系統追求的目標。相對于靜態圖像中的目標檢測而言，運動目標檢測是指在視頻序列圖像中判斷是否有前景目標的運動，如果有，則對目標進行初始定位的檢測過程。通常將實際的視頻序列分為兩類：靜態場景視頻序列和動態場景視頻序列。針對視頻序列的目標檢測技術，根據三維場景中目標距離成像傳感器的探測距離，可劃分為三種情況：(1) 微弱點狀

36、目標的檢測，即當目標距離成像傳感器很遠時，目標在圖像平面上只占幾個像素，呈現為微弱點狀目標，信噪比較低； (2) 擴展目標的檢測，即當目標距離成像傳感器較近時，目標在圖像平面上表現為擴展目標，一般其為在視場中覆蓋100×100像素以上，占視場比例較大的大型目標；(3) 介于上述兩種情況之間，此時目標在圖像平面上一般不超過100×100個像素，具有一定的可視對比度。這三種情況下的目標檢測與跟蹤各有其特點，處理方法差異很大。第三種是應用最為廣泛的一種情況，本文的研究屬于第三種。2.3.2 應用總結隨著計算機軟、硬件技術的飛速發展，運動目標檢測在民用和軍事上有著越來越廣泛的應用。

37、在民用方面的應用主要包括運動估計、目標跟蹤、機器人導航、智能監控、智能機器人、人機交互、計費管理、自動駕駛、智能交通、醫學圖像分析以及視頻圖像壓縮、傳輸和檢索等等；在軍事方面的應用主要包括巡航導彈、無人駕駛飛機、自動行駛車輛、精確制導等。本章主要介紹課題研究所需理論基礎。包括圖像處理，二值化輸出，目標檢測方法以及算法所需的數學形態學相關理論。視頻圖像預處理的目的是把原始圖像序列轉換成后續處理所需要的圖像格式與質量，很大程度上要消除由于攝像頭，傳感器所引入的各種噪聲，常用的方法的濾波，因為視頻預處理部分不是本課題所關注的重點，所以論文中只做概略性的介紹，不作詳細論述。二種基本目標檢測方法雖然有其

38、各自的適應性及局限性，但對于復雜背景下的運動目標檢測，均不能很好地發揮其作用，而是必須在原有基礎上進行改進或是將兩種或多種方法加以融合。在后續章節中將對此進行詳細論述。數學形態學包括腐蝕、膨脹與開閉操作，在計算機圖像處理中被廣泛地應用，與本課題的算法研究聯系也十分廣泛，幾乎處處應用。3 算法研究及實驗分析運動目標檢測是指在序列圖像中檢測出變化區域并將運動目標從背景圖像中提取出來。通常情況下，目標分類、跟蹤和行為理解等后處理過程僅僅考慮圖像中對應于運動目標的像素區域，因此運動目標的正確檢測與分割對于后期處理非常重要然而，由于場景的動態變化，如天氣、光照、陰影及雜亂背景干擾等的影響，使得運動目標的

39、檢測與分割變得相當困難。根據攝像頭是否保持靜止，運動檢測分為靜態背景和運運動目標檢測是指在序列圖像中檢測出變化區域并將運動目標從背景圖像中提取出來。通常情況下，目標分類、跟蹤和行為理解等后處理過程僅僅考慮圖像中對應于運動目標的像素區域，因此運動目標的正確檢測與分割對于后期處理非常重要然而，由于場景的動態變化，如天氣、光照、陰影及雜亂背景干擾等的影響，使得運動目標的檢測與分割變得相當困難。根據攝像頭是否保持靜止，運動檢測分為靜態背景和運動背景兩類。大多數視頻監控系統是攝像頭固定的，因此靜態背景下運動目標檢測算法受到廣泛關注，常用的方法有幀差法、光流法、背景減除法等。下面我們就這幾種常用的方法做以

40、介紹，對于目前主要的方法背景減法詳細介紹。3.1 幀差法幀差法是最為常用的運動目標檢測和分割方法之一，基本原理就是在圖像序列相鄰兩幀或三幀間采用基于像素的時間差分通過閉值化來提取出圖像中的運動區域。首先，將相鄰幀圖像對應像素值相減得到差分圖像，然后對差分圖像二值化，在環境亮度變化不大的情況下，如果對應像素值變化小于事先確定的閡值時，可以認為此處為背景像素:如果圖像區域的像素值變化很大，可以認為這是由于圖像中運動物體引起的，將這些區域標記為前景像素，利用標記的像素區域可以確定運動目標在圖像中的位置。由于相鄰兩幀間的時間間隔非常短，用前一幀圖像作為當前幀的背景模型具有較好的實時性，其背景不積累，且

41、更新速度快、算法簡單、計算量小。算法的不足在于對環境噪聲較為敏感，閩值的選擇相當關鍵，選擇過低不足以抑制圖像中的噪聲，過高則忽略了圖像中有用的變化。對于比較大的、顏色一致的運動目標，有可能在目標內部產生空洞，無法完整地提取運動目標。幀間差分法主要是利用視頻序列中連續的兩幀或幾幀圖像的差異來進行目標檢測和提取。一個最基本的幀間差分法的基本過程如圖3-1所示。 圖3-1幀間差分法的基本過程設在和處時刻采集到同一背景下的兩幅運動圖像為和，則差分圖像的定義為： (3-1)對上式的差分結果進行二值化處理，就可以提取出運動物體。 (3-2)其中(x,y)為二值化后的圖像，(x,y)為差分后的圖像，T為分割

42、閾值，可以事先給定或者用自適應的方法確定。首先，利用(3-10)式計算第t幀圖像與第t-1幀圖像之間的差別，得到差分后的(x,y)圖像，然后對差分后的圖像(x,y)進行二值化，認為當差分圖像中像素值大于某一給定閾值式，該像素位于前景之中，即認為該像素可能為目標上的一個點，否則認為該像素為背景中的一個像素，二值化后得到(x,y)圖像，最后對圖像(x,y)進行連通性分析，獲得圖像(x,y)，當某個連通區域的面積大于某一給定的閾值，則檢測到目標，并認為該區域就為目標所占的區域。由于幀與幀之間的時間間隔短，目標的運動速度不大，能夠對運動目標進行很好的定位，是可能存在重影的現象，所以文中采用對稱差分法進

43、行目標定位。基本的幀間差分法對于動態環境具有很強的適應性，算法實現比較簡單，但是對光線等場景變化不是很敏感，很難完全提取所有相關的特征像素點，也不能得到運動目標的完整輪廓，為了提高幀差法的性能，一般采用的是對稱圖像差分法，這方法可以改善差分法的性能15-17。在對稱差分實現的過程中，還有多種實現方案，比如是間隔若干幀進行差分運算，或者是連續若干幀進行差分運算。本文采用的對稱差分(原理如圖3-2所示)實現連續三幀差分，得到兩幅差分圖像后取交集，獲得目標的位置及輪廓信息。a 第5幀 b 第6幀 c差分后的圖像圖3-2重影現象(a和b為原圖，c為差分后的圖像)對稱差分的原理如下圖3-13所示。在對圖

44、像進行一值化時采用的是最大類間方差來確定分割閾值。在實際運用中，獲取閾值往往使用以下簡化計算公式：將圖像分割后的區域分別記為A和B， (3-3)其中，為兩類間最大方差，為A類概率，為A類平均灰度，為B類概率，為B類平均灰度，為圖像總體平均灰度。即閾值T將圖像分成A，B兩部分，使得兩類總方差(T)取最大值的T，即為最佳分割閾值。第i-1幀第i幀第i+1幀差分圖像1差分圖像2 交集目標輪廓 圖3-3對稱差分由于噪聲的干擾，二值化后的圖像可能存在噪聲，首先用形態學方法來去除噪聲，再來確定運動目標的質心，文中通過矩方法確定運動區域的質心，計算公式如下： (3-4) (3-5) (3-6) (3-7)實

45、驗中所用的視頻樣本采用CAVIAR數據集中ThxeePastshoplcor作為實驗對象，質心坐標為()。根據此目標圖像中的點I()到形心的距離的最大值確定橢圓的長半軸，最大距離點到形心的連線位于橢圓的長軸上，最小值為短半軸，為snake算法的執行提供初始輪廓。如圖 3-4和 3-5所示。 a 第333幀 b 第334幀 c 第335幀 d差分圖像圖3-4對稱差分 3-5(a) 消除噪音后的圖像 3-5(b) 目標橢圓輪廓 圖3-53.2 光流法光流計算技術是Gibsno于1950年提出的。所謂光流是空間運動物體被觀測面上的像素點運動所產生的二維(ZD)瞬時速度場，其中ZD速度矢量是可見的三維

46、速度矢量在成像平面上的投影。光流場的計算最初是1981年由美國學者Horn和Schunck提出的。光流法的主要任務就是計算光流場，即在適當的平滑性約束條件下，根據圖像序列的時空梯度估算運動場，通過分析運動場的變化對運動目標和場景進行檢測與分割。通常有基于全局光流場和特征點光流場兩種方法。最經典的全局光流場計算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法，得到全局光流場后通過比較運動目標與背景之間的運動差異對運動目標進行光流分割，缺點是計算量大。特征點光流法通過特征匹配求特征點處的流速，具有計算量小、快速靈活的特點，但稀疏的光流場很難精確地提取運

47、動目標的形狀。總的來說，光流法不需要預先知道場景的任何信息，就能夠檢測到運動對象，可處理背景運動的情況，但噪聲、多光源、陰影和遮擋等因素會對光流場分布的計算結果造成嚴重影響;而且光流法計算復雜，很難實現實時處理。基于光流法的運動檢測是根據光流的不連續性來分割運動物體，不同的光流區域對應不同的運動目標。光流計算基于下面兩個假設：第一，任何物體點所觀察到的亮度隨時間是恒定不變的；第二，圖像平面內的鄰近點以類似的方式進行移動。根據這兩個假設我們可以推導出光流基本方程。假設在t時刻圖像上點(x, y)處的灰度為：I (x, y, t)。那么，在t +t時刻，該點的灰度可以表示為：I (x +x, y

48、+y, t +t)。由上面的兩條關于光流假設可知：I (x, y, t)=I (x +x, y +y, t +t)。將右邊的式子在(x, y, t)處用泰勒公式展開，化簡并略去二次項得： (3-8)令：，則有： (3-9)方程(3-9)就是光流場的基本方程。光流法的主要任務就是通過求解光流約束方程求出(u, v)。但是有兩個未知數只有一個約束條件，所以不能確定光流。也就是說，從基本等式求解光流場是一個不適定問題。為了解決光流場計算的不適定問題，還需要加入另外的一些約束條件，從而使方程有解。因此，如何為光流場添加合適的約束條件并從中解出u、v的解，是光流場計算法的核心問題。Horn等人依據同一運

49、動物體引起的光流場應該是連續的、平滑的，即整體平滑約束來將光流場的計算問題轉化為一個變分問題。即運動場既滿足光流約束方程又滿足全局平滑性。由于Horu和Schunck依據全局平滑約束，未能考慮到實際運動物體邊緣處光流矢量的不平滑性，該方法對于邊界點計算結果很差。針對這一問題，Lucas等人提出一種局部平滑約束條件，即假設在一個足夠小的空間鄰域上，各像素點的光流可以用其中一個像素點的光流來近似，采用加權最小二乘技術推導出另一個約束條件。Nagel等提出了“有向平滑”的概念， Otte等人假定光流在局部空間和時間軸是線性變化的，推導局部約束條件。光流法檢測運動目標的基本原理是：給圖像中的每一個像素

50、點賦予一個速度矢量，這就形成了一個圖像運動場，在運動的一個特定時刻，圖像上的點與三維物體上的點一一對應，這種對應關系可由投影關系得到，根據各個像素點的速度矢量特征，可以對圖像進行動態分析。如果圖像中沒有運動目標，光流矢量在整個圖像區域是連續變化的，當物體和圖像背景存在相對運動時，運動物體所形成的速度矢量必然和鄰域背景速度矢量不同，從而檢測出運動物體的位置。總之，光流法是用通過計算出來的光流場來模擬運動場。光流場指圖像灰度上求解的表面運動，而運動場指三維物體的實際運動在圖像平面上投影。光流場是基于在如下的假設下推導出光流方程的：運動物體做剛體運動(物體在運動過程中沒有形變或只有微小形變)；物體的

51、反射光變化是平滑的；光照變化是連續的。滿足上述條件的情況下可以使用光流方程得到圖像的光流場。理想狀況下，光流場和運動場互相吻合，但實際上并非如此。只是一般情況下，可以認為光流與運動場沒有太大區別，因此就可以根據圖像運動來估計相對運動。3.3 背景減法背景減法是一種有效的運動對象檢測算法，基本思想是利用背景的參數模型來近似背景圖像的像素值，將當前幀與背景圖像進行差分比較實現對運動區域的檢測，其中區別較大的像素區域被認為是運動區域，而區別較小的像素區域被認為是背景區域。背景減除法必須要有背景圖像，并且背景圖像必須是隨著光照或外部環境的變化而實時更新的，因此背景減除法的關鍵是背景建模及其更新。采用背

52、景減算法進行運動目標檢測的過程如圖3-6的流程圖所示：視頻圖像幀前景目標區域背景建模預處理后處理前景檢測圖3-6 背景減法運動目標檢測流程圖主要包括預處理、背景建模、前景檢測和后處理4個步驟：(1) 預處理是對視頻數據進行簡單的空間或時間濾波，以消除攝像機噪聲和雨雪等瞬時環境噪聲，或者降低幀大小和幀率。預處理的另一個關鍵問題是將數據轉換成適應特定背景減算法的格式。(2) 背景建模就是構建背景圖像或通過構建某種模型來表示背景，這是各種背景減算法的核心所在。(3) 前景檢測也就是閾值分割，其指的是利用當前視頻幀與背景模型的差異來檢測出運動區域參考像素的這個步驟。如果差值大于一定閾值，則判定該像素為

53、組成前景運動目標的像素，但不同的背景建模方法有不同的閾值分割規則。(4) 后處理就是去除不屬于真實運動目標的參考像素，以便得到真正的前景運動目標，比如消除小而假的前景像素、消除重影和陰影等。背景減法技術原理簡單，如圖3-7所示：消除噪音 連通分析判定二值化 背景圖像 圖3-7背景減法算法原理圖背景差分法的基本思想是：首先，用事先存儲或者實時獲取的背景圖像序列為每個像素統計建模，得到背景模型；其次，將當前每一幀圖像和背景模型相減，得到圖像中偏離背景圖像的像素點，然后對二值化圖像進行連通分析等處理。 (3-10)其中，為某一幀圖像，為背景圖像，為目標圖像。雖然減背景技術原理簡單，但是背景圖像的構建和更新方法卻至關重要，因為它直接影響背景模型對場景變化和前景目標粒度的適應性。背景圖像建模方法是背景減算法的核心。目前常用的背景建模方法主要有：均值/中值濾波法、W4方法、線性預測法、非參數模型、單高斯模型、混合高斯模型、隱馬爾科夫模型、本征方法、碼本方法等。3.4 常見的背景減法3.4.1 中值濾波法(1) 基本原理中值濾波法是最常用的背景圖像構建方法之一，是基于排序統計理論的一種能有效抑制噪聲