1、機(jī)器視覺的輔助駕駛系統(tǒng)的視頻中行人實(shí)時(shí)檢測識(shí)別研究文獻(xiàn)綜述1機(jī)器視覺發(fā)展 國外機(jī)器視覺發(fā)展的起點(diǎn)難以準(zhǔn)確考證，其大致的發(fā)展歷程是：20世紀(jì)50年代提出機(jī)器視覺概念，20世紀(jì)70年代真正開始發(fā)展，20世紀(jì)80年代進(jìn)入發(fā)展正軌，20世紀(jì)90年代發(fā)展趨于成熟，20世紀(jì)90年代后高速發(fā)展。在機(jī)器視覺發(fā)展的歷程中，有3個(gè)明顯的標(biāo)志點(diǎn)，一是機(jī)器視覺最先的應(yīng)用來自“機(jī)器人”的研制，也就是說，機(jī)器視覺首先是在機(jī)器人的研究中發(fā)展起來的；二是20世紀(jì)70年代CCD圖像傳感器的出現(xiàn)，CCD攝像機(jī)替代硅靶攝像是機(jī)器視覺發(fā)展歷程中的一個(gè)重要轉(zhuǎn)折點(diǎn)；三是20世紀(jì)80年代CPU、DSP等圖像處理硬件技術(shù)的飛速進(jìn)步，為機(jī)器視

2、覺飛速發(fā)展提供了基礎(chǔ)條件。  國內(nèi)機(jī)器視覺發(fā)展的大致歷程：真正開始起步是20世紀(jì)80年代，20世紀(jì)90年代進(jìn)入發(fā)展期，加速發(fā)展則是近幾年的事情。中國正在成為世界機(jī)器視覺發(fā)展最活躍的地區(qū)之一，其中最主要的原因是中國已經(jīng)成為全球的加工中心，許許多多先進(jìn)生產(chǎn)線己經(jīng)或正在遷移至中國，伴隨這些先進(jìn)生產(chǎn)線的遷移，許多具有國際先進(jìn)水平的機(jī)器視覺系統(tǒng)也進(jìn)入中國。對(duì)這些機(jī)器視覺系統(tǒng)的維護(hù)和提升而產(chǎn)生的市場需求也將國際機(jī)器視覺企業(yè)吸引而至，國內(nèi)的機(jī)器視覺企業(yè)在與國際機(jī)器視覺企業(yè)的學(xué)習(xí)與競爭中不斷成長。 未來機(jī)器視覺的發(fā)展將呈現(xiàn)下列趨勢: （1）技術(shù)方面的趨勢是數(shù)字化、實(shí)時(shí)化、智能化&

3、#160;圖像采集與傳輸?shù)臄?shù)字化是機(jī)器視覺在技術(shù)方面發(fā)展的必然趨勢。更多的數(shù)字?jǐn)z像機(jī)，更寬的圖像數(shù)據(jù)傳輸帶寬，更高的圖像處理速度，以及更先進(jìn)的圖像處理算法將會(huì)推出，將會(huì)得到更廣泛的應(yīng)用。這樣的技術(shù)發(fā)展趨勢將使機(jī)器視覺系統(tǒng)向著實(shí)時(shí)性更好和智能程度更高的方向不斷發(fā)展。 （2）產(chǎn)品方面：智能攝像機(jī)將會(huì)占據(jù)市場主要地位 智能攝像機(jī)具有體積小、價(jià)格低、使用安裝方便、用戶二次開發(fā)周期短的優(yōu)點(diǎn)，非常適合生產(chǎn)線安裝使用，越來越受到用戶的青睞，智能攝像機(jī)所采用的許多部件與技術(shù)都來自IT行業(yè)，其價(jià)格會(huì)不斷降低，逐漸會(huì)為最終用戶所接受。因此，在眾多的機(jī)器視覺產(chǎn)品中，預(yù)計(jì)智能攝像機(jī)在未來會(huì)占據(jù)主要

4、地位。 另外，機(jī)器視覺傳感器會(huì)逐漸發(fā)展成為光電傳感器中的重要產(chǎn)品。目前許多國際著名的光電傳感器生產(chǎn)企業(yè)，如KEYENCE，OMRON，BANNER等都將機(jī)器視覺傳感器作為光電傳感器中新型的傳感器來發(fā)展與推廣。 （3）市場份額迅速擴(kuò)大 一方面已經(jīng)采用機(jī)器視覺產(chǎn)品的應(yīng)用領(lǐng)域，對(duì)機(jī)器視覺產(chǎn)品的的依賴性將更強(qiáng)；另一方面機(jī)器視覺產(chǎn)品將應(yīng)用到其他更廣的領(lǐng)域。機(jī)器視覺市場將不斷增大。 （4）行業(yè)方面發(fā)展更加迅速 機(jī)器視覺行業(yè)專業(yè)性公司增多，投資和從業(yè)人員增加，競爭加劇是機(jī)器視覺行業(yè)未來幾年的發(fā)展趨勢，機(jī)器視覺行業(yè)作為一個(gè)新興的行業(yè)將逐步發(fā)展成熟，將越來越越受

5、到人們的重視。  更多功能的實(shí)現(xiàn)主要是來自于計(jì)算能力的增強(qiáng),更高分辨率的傳感器(10Mpixels),更快的掃描率(500次/s)和軟件功能的提高。PC處理器的速度在得到穩(wěn)步提升的同時(shí),其價(jià)格也在下降,這推動(dòng)了更快的總線的出現(xiàn),而總線又反過來允許具有更多數(shù)據(jù)的更大圖像以更快的速度進(jìn)行傳輸和處理。產(chǎn)品的小型化趨勢讓這個(gè)行業(yè)能夠在更小的空間內(nèi)包裝更多的部件,這意味著機(jī)器視覺產(chǎn)品變得更小,這樣他們就能夠在廠區(qū)所提供的有限空間內(nèi)應(yīng)用.例如在工業(yè)配件上LED已經(jīng)成為主導(dǎo)光源,它的小尺寸使成像參數(shù)的測定變得容易,他們的耐用性和穩(wěn)定性非常適用于工廠設(shè)備。智能相機(jī)的發(fā)展預(yù)示了集成產(chǎn)品增多的趨勢。智能

6、相機(jī)是在一個(gè)單獨(dú)的盒內(nèi)集成了處理器、鏡頭、光源、輸入/輸出裝置及以太網(wǎng)。電話和PDA推動(dòng)了更快、更便宜的精簡指令集計(jì)算機(jī)(RISC)的發(fā)展,這使智能相機(jī)和嵌入式處理器的出現(xiàn)成為可能。同樣,現(xiàn)場可編程門列陣(FPGA)技術(shù)的進(jìn)步為智能相機(jī)增添了計(jì)算功能,并為PC機(jī)嵌入了處理器和高性能楨采集器.智能相機(jī)結(jié)合處理大多數(shù)計(jì)算任務(wù)的FPGA,DSP和微處理器則會(huì)更具有智能性。小型化與集成產(chǎn)品正在一起為實(shí)現(xiàn)“芯片上的視覺系統(tǒng)”的最終目標(biāo)而努力。尺寸更小、更密集的存儲(chǔ)卡及成像器分辨率的提高有助于智能相機(jī)的開發(fā)和擴(kuò)展。智能車輛( intelligent vehicles, IV)

7、是智能交通系統(tǒng)( in2telligent transportation systems, ITS)的重要構(gòu)成部分,其研究的主要目的在于降低日趨嚴(yán)重的交通事故發(fā)生率,提高現(xiàn)有道路交通的效率,在某種程度上緩解能源消耗和環(huán)境污染等問題。2智能車輛發(fā)展  智能車輛利用各種傳感技術(shù)獲取車體自身和車外環(huán)境的狀態(tài)信息,經(jīng)過智能算法對(duì)其進(jìn)行分析、融合處理,將最終的決策結(jié)果傳遞給駕駛者,在危險(xiǎn)發(fā)生之前,提醒駕駛員做出必要的回避動(dòng)作,避免事故發(fā)生;在緊急狀況下,駕駛者無法做出反應(yīng)時(shí),智能車輛則自主完成規(guī)避危險(xiǎn)任務(wù),幫助駕駛?cè)藛T避免危險(xiǎn)發(fā)生。 美國開始組

8、織實(shí)施智能車輛先導(dǎo)(intelligent vehicle ini2tiative,IVI）計(jì)劃, 歐洲提出公路安全行動(dòng)計(jì)劃( roadsafety action p rogram, RSAP),日本提出超級(jí)智能車輛系統(tǒng)。我國科技部則于2002年正式啟動(dòng)了“十五”科技攻關(guān)計(jì)劃重大項(xiàng)目,智能交通系統(tǒng)關(guān)鍵技術(shù)開發(fā)和示范工程,其中一個(gè)重要的內(nèi)容就是進(jìn)行車輛安全和輔助駕駛的研究。預(yù)計(jì)在2020年之前進(jìn)入智能交通發(fā)展的成熟期,人、車、路之間可以形成穩(wěn)定、和諧的智能型整體。3行人檢測技術(shù)國內(nèi)外研究現(xiàn)狀3.1國內(nèi)研究現(xiàn)狀我國在汽

9、車安全輔助駕駛領(lǐng)域的技術(shù)研究要比國外發(fā)達(dá)國家要晚,目前在視頻監(jiān)控、交叉路口等領(lǐng)域中對(duì)運(yùn)動(dòng)行人的檢測與運(yùn)動(dòng)分析進(jìn)行了相關(guān)研究工作,主要是研究基于攝像機(jī)固定的條件下的運(yùn)動(dòng)目標(biāo)檢測與跟蹤，同時(shí),也在積極探討基于運(yùn)動(dòng)攝像機(jī)情況下的行人檢測方法研究。中科院計(jì)算機(jī)科學(xué)重點(diǎn)實(shí)驗(yàn)室孫慶杰等人利用基于側(cè)影的人體模型及其對(duì)應(yīng)的概率模型,提出了一種基于矩形擬合的人體檢測算法。中科院自動(dòng)化所譚鐵牛等對(duì)人運(yùn)動(dòng)進(jìn)行視覺分析,其核心是利用計(jì)算機(jī)視覺技術(shù)從圖像序列中檢測、跟蹤、識(shí)別人并對(duì)其行為進(jìn)行理解與描述,它主要應(yīng)用在視覺監(jiān)控領(lǐng)域和基于步態(tài)的身份鑒定。步態(tài)識(shí)別就是根據(jù)人們走路的姿勢進(jìn)行身份鑒定,依據(jù)人體行走運(yùn)動(dòng)很大程度上依

10、賴于輪廓隨著時(shí)間的形狀變化的直觀想法,提出一種基于時(shí)空輪廓分析的步態(tài)識(shí)別算法；基于行走運(yùn)動(dòng)的關(guān)節(jié)角度變化包含著豐富的個(gè)體識(shí)別信息的思想,提出一種基于模型的步態(tài)識(shí)別算法。實(shí)驗(yàn)結(jié)果表明該算法不僅獲得了令人鼓舞的識(shí)別性能,而且擁有相對(duì)較低的計(jì)算代價(jià)。但是該方法只能檢測出運(yùn)動(dòng)的行人。西安交通大學(xué)鄭南寧等研究了利用支持向量機(jī)識(shí)別行人的方法,通過稀疏Gabor濾波器提取行人樣本圖像中行人的特征,然后利用支持向量機(jī)來訓(xùn)練所提取的樣本特征,并用訓(xùn)練得到的分類器通過遍歷圖像的方式將圖像中可能屬于行人的窗口提取出來。盡管用Gabor濾波器提取特征效果相對(duì)較好,但耗時(shí)很長,不適合于實(shí)時(shí)圖像的處理。上海交通大學(xué)田廣等

11、提出了一種coarse-to-fine的行人檢測方法,將一個(gè)人建模成人體自然部位的組裝,人體的所有部位包括頭肩、軀干和腿、采用絕對(duì)值類Haar特征集和Edgelet特征集,在這些特征集上,采用softcascade訓(xùn)練各個(gè)部位的檢測器和全身檢測器。首先采用全身檢測器在整個(gè)圖像中產(chǎn)生候選行人區(qū)域,然后用基于貝葉斯決策的組合算法進(jìn)一步確定候選區(qū)域中的行人。實(shí)驗(yàn)結(jié)果表明該算法有很好的檢測性能能在雜亂的自然場景中有效的檢測行人。但該方法的識(shí)別率是78.3%,識(shí)別率不高，且該模型比較難構(gòu)建,模型求解也比較復(fù)雜。清華大學(xué)的黃深設(shè)計(jì)的實(shí)時(shí)夜間行人檢測系統(tǒng),系統(tǒng)首先,根據(jù)實(shí)際粗分割的候選區(qū)域特點(diǎn)進(jìn)行分析,提出

12、基于兩種不同特征提取方法的雙層結(jié)構(gòu)形狀識(shí)別分類器,將閨值化提取形狀特征的方法和邊緣特征有效地融合在一起。在這個(gè)設(shè)計(jì)思路和框架基礎(chǔ)上,進(jìn)一步提出了新的自適應(yīng)邊緣提取算法和閡值化方法,使得形狀特征的提取效果得到改進(jìn)。最后,利用Hausdoroff距離的度量原理加以改進(jìn),結(jié)合模板匹配的檢測識(shí)別算法,分別構(gòu)造實(shí)現(xiàn)了形狀識(shí)別分類器的兩層子分類器。多次實(shí)驗(yàn)測試結(jié)果顯示,與原有形狀識(shí)別分類器算法的性能相比,改進(jìn)后的分類器對(duì)于分割算法的不可靠性具有更強(qiáng)適應(yīng)性。同時(shí),也使得整個(gè)系統(tǒng)的誤識(shí)別率大幅度降低,達(dá)到設(shè)計(jì)目標(biāo)。3.2國外研究現(xiàn)狀目前,在國外許多文獻(xiàn)中提出了基于機(jī)器視覺的行人檢測方法,意大利帕爾瑪大學(xué)的Al

13、bertoBroggi教授在ARGO項(xiàng)目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對(duì)于垂直軸有很強(qiáng)的垂直邊緣對(duì)稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域,然后提取垂直邊緣,選擇具有高垂直對(duì)稱性的區(qū)域。通過計(jì)算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對(duì)稱性的候選區(qū)域中,尋找目標(biāo)側(cè)向和底部邊界畫出矩形方框,通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗(yàn)表明,當(dāng)視野中有完整的行人存在時(shí)能得到較好的效果,在10一40m的范圍內(nèi)都可以正確地進(jìn)行識(shí)別,并且可以較好地適應(yīng)復(fù)雜的外界環(huán)境。由歐盟資助的 SAVE-U（Sensors and system ArchitecturE for

14、Vulnerable road Users protection）項(xiàng)目于2002年開始實(shí)施，2005 年完成。該項(xiàng)目由 Volkswagen,DaimlerChrysler,Siemens VDO 等機(jī)構(gòu)參與研發(fā)。SAVE-U 項(xiàng)目的目的在于開發(fā)一套完整的行人（包括騎自行車者）保護(hù)系統(tǒng)，該系統(tǒng)通過檢測道路上的行人和騎自行車者，并向車輛駕駛員提供主動(dòng)安全預(yù)警甚至是緊急安全制動(dòng)等控制。SAVE-U系統(tǒng)融合了多種信息傳感器，包括 CCD 攝像機(jī)、紅外攝像機(jī)以及雷達(dá)等，通過多種信息的融合能夠較好的實(shí)現(xiàn)道路行人的檢測和及時(shí)預(yù)警。可以對(duì)車輛前方 5m 到 25m，側(cè)向 1.4m 到 4m 范圍內(nèi)出現(xiàn)的行人

15、和騎自行車者進(jìn)行一定的保護(hù)。美國 Maryland 大學(xué)研制的 W4實(shí)時(shí)監(jiān)控系統(tǒng)，該系統(tǒng)能檢測運(yùn)動(dòng)的人體并對(duì)其進(jìn)行跟蹤。其具體的算法流程為：系統(tǒng)首先從靜止的視頻圖像中利用減背景法分割出行人輪廓，然后利用統(tǒng)計(jì)得到的行人形狀模型建立行人線性點(diǎn)模型。該系統(tǒng)適用于民宅、銀行、地鐵站、停車場等場合。美國明尼蘇達(dá)大學(xué)的 O.Masuoud 和 N.P. Papanikolopoulos 等人，利用靜止的單目 CCD 攝像機(jī)對(duì)灰度圖像視頻序列進(jìn)行行人識(shí)別與跟蹤，并且建立了行人的輪廓模型，該方法的成果主要用于道路交叉口行人的識(shí)別與跟蹤控制。2007 年，德國 DaimlerChrysler研究機(jī)構(gòu)開發(fā)了一套面

16、向行人交通安全的車輛安全輔助駕駛系統(tǒng)，該系統(tǒng)通過計(jì)算實(shí)際道路的限制條件確定了圖像感興趣區(qū)域，在立體視覺條件下，運(yùn)用行人形狀特性、神經(jīng)網(wǎng)絡(luò)等一系列方法實(shí)現(xiàn)了對(duì)道路感興趣區(qū)域內(nèi)行人的檢測。除以上應(yīng)用于實(shí)際的行人檢測系統(tǒng)之外，還有大量與行人檢測、跟蹤技術(shù)相關(guān)的學(xué)術(shù)研究成果。 美國麻省理工學(xué)院的 M.Oren 與 C.Papageorgiou建立了Haar 小波模板，并將其應(yīng)用于行人檢測當(dāng)中，Haar 小波模板常用于表達(dá)簡單的物體，具有有效、快速檢測的特點(diǎn)，現(xiàn)已被廣泛的應(yīng)用于圖像的物體檢測中，同樣 Haar 小波模板行人檢測算法也成為行人檢測領(lǐng)域經(jīng)典算法之一。2005 年，法國的 Navneet Da

17、lal 和 Bill Triggs使用梯度方向直方圖(HOG)來表示人體特征，并在 INRIAPerson 樣本庫上進(jìn)行了驗(yàn)證。此方法檢測率高，在人體檢測方面有著很強(qiáng)的適用性，同樣的該算法在道路行人檢測也有很強(qiáng)表現(xiàn)力，現(xiàn)已引起很多學(xué)者的關(guān)注。2009 年，伊利諾伊大學(xué)的 Niebles. J.C等人，提出了一種使用 AdaBoost級(jí)聯(lián)模型的行人識(shí)別算法，并將該識(shí)別算法應(yīng)用到行人檢測領(lǐng)域，使得行人檢測識(shí)別效果有所改進(jìn)。德國的 C. H. Lampert 和 M. B. Blaschko提出了快速子窗口搜索算法(ESS)，從而克服了物體識(shí)別與跟蹤需要遍歷整幅圖像的缺點(diǎn)，加快了物體檢測的速度，同時(shí)

18、該算法成為當(dāng)前物體識(shí)別流行算法之一。參考文獻(xiàn)1 鞏航軍，李百川我國道路交通安全現(xiàn)狀及對(duì)策研究 J交通與運(yùn)輸(學(xué)術(shù)版),2006,7(01)：98-1002 劉強(qiáng)，陸化普等我國道路交通事故特征分析與對(duì)策研究 J.中國安全科學(xué)學(xué)報(bào)，2006，6(6)：123-128.3 徐友春智能車輛視覺與 GPS 綜合導(dǎo)航方法的研究D博士學(xué)位論文，吉林大學(xué)，2001.4 顧柏園，基于單目視覺的安全車距預(yù)警系統(tǒng)研究D博士學(xué)位論文，吉林大學(xué)，2006.5 李斌智能車輛前方車輛探測及安全車距控制方法的研究D博士學(xué)位論文，吉林大學(xué)，2001.6 游峰智能車輛自動(dòng)換道與自動(dòng)超車的研究D博士學(xué)位論文，吉林大學(xué)，2005.7

19、 田廣，戚飛虎，朱文佳等單目移動(dòng)拍攝下基于人體部位的行人檢測J系統(tǒng)仿真學(xué)報(bào)，2006，18(10)：2906-2910.8 湯義.智能交通系統(tǒng)中基于視頻的行人檢測與跟蹤方法研究D.博士學(xué)位論文，華南理工大學(xué)，2010.9 王亮，胡衛(wèi)明，譚鐵牛基于步態(tài)的身份識(shí)別J計(jì)算機(jī)學(xué)報(bào)，2003，26(3)：353-36010孫慶杰.靜態(tài)圖像中人體檢測技術(shù)研究:(博士學(xué)位論文).北京:中國科學(xué)軟件研究所,2004.11馬奔. 圖象檢測與行為理解研究D. 西安: 西北工業(yè)大學(xué)博士論文, 200612黃深.基于Hausdorff距離模板匹配的行人檢測算法研究與應(yīng)用:(碩士學(xué)位論文).北京:清華大學(xué),200613

20、吳栓栓.基于單目視覺的行人檢測算法的研究與實(shí)現(xiàn)D,沈陽:東北大學(xué),2008.14 劉偉銘，伍友龍。一種在復(fù)雜情況下車輛的跟蹤算法研究。計(jì)算機(jī)與現(xiàn)代化.2005(6):7-9.15高璐，張大志，田金文紅外序列圖像目標(biāo)跟蹤的自適應(yīng) Kalman 濾波方法 J紅外與激光工程，2007，36(5)：729-732，75716萬琴，王耀南基于卡爾曼濾波器的運(yùn)動(dòng)目標(biāo)檢測與跟蹤 J湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，34(3)：36-4017 劉曉輝，陳小平基于擴(kuò)展卡爾曼濾波的主動(dòng)視覺跟蹤技術(shù) J計(jì)算機(jī)輔助工程，2007，16(2)：32-3718 黎云漢，朱善安基于 Hough 變換和無軌跡卡爾曼濾波的

21、眼睛焦點(diǎn)跟蹤 J吉林大學(xué)學(xué)報(bào)（工學(xué)版），2008，38(4)：907-91219 朱兵，李金宗，魏祥泉融合多線索的目標(biāo)跟蹤 J計(jì)算機(jī)應(yīng)用，2006，26(3)：601-60420 王江濤基于視頻的目標(biāo)檢測、跟蹤及其行為識(shí)別研究 D南京：南京理工大學(xué)，200821張秀蘭.基于MATLAB的數(shù)字圖像的邊緣檢測J.吉林化工學(xué)院學(xué)報(bào),2010(4):59-61.22王愛玲,葉明生,鄧秋香.圖像處理技術(shù)與應(yīng)用M.北京:電子工業(yè)出版社, 2008(1):287-312.23胡建華,徐健健.交通監(jiān)控系統(tǒng)中車輛和行人的檢測與識(shí)別J.電子測量技術(shù), 2007(1):16-71.24竺子民.光電圖象處理M.武漢:

22、華中理工大學(xué)出版社,2001: 91-93.25代科學(xué)等.監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測背景技術(shù)的研究現(xiàn)狀和展望J,中國圖像圖形學(xué)報(bào),2006,11(7): 919-927.26常好麗,史忠科.基于單目視覺的運(yùn)動(dòng)行人檢測與跟蹤方法J,交通運(yùn)輸工程學(xué)報(bào),2006,6(2): 55-60.27王亮芬.基于Sift特征匹配和動(dòng)態(tài)更新背景模型的運(yùn)動(dòng)目標(biāo)檢測算法J,計(jì)算機(jī)應(yīng)用與軟件,2010, 27(2):267-270.28葉佳，張建秋基于 mean-shift 算法的目標(biāo)跟蹤方法 J傳感技術(shù)學(xué)報(bào)，2006，19(6)：2621-2624，262929 艾海舟, 呂風(fēng)軍.面向視覺監(jiān)視的變化檢測與分割J. 計(jì)算機(jī)

23、工程與應(yīng)用, 2000,37(5):75-7730 呂國亮, 趙曙光, 趙俊.基于三幀差分和連通性檢驗(yàn)的圖像運(yùn)動(dòng)目標(biāo)檢測新方法J.液晶與顯示, 2007( 22):87-9231 Rafael C.Gonzales 著, 阮秋琦譯.數(shù)字圖像處理(第二版)M. 北京:電子工業(yè)出版社,2003: 215-22132張海榮.視頻圖像中的行人檢測算法研究與實(shí)現(xiàn)D,沈陽:東北大學(xué),2009.33 賈慧星, 章毓晉. 車輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺的行人檢測研究綜述J.自動(dòng)化學(xué)報(bào), 2007(33): 84-9034 黃鑫娟, 周潔敏, 劉伯揚(yáng). 自適應(yīng)混合高斯模型背景的運(yùn)動(dòng)目標(biāo)檢測算法J. 計(jì)算機(jī)應(yīng)用

24、. 2010:1-435 郭烈.基于單目視覺的車輛前方行人檢測技術(shù)研究D.吉林: 吉林大學(xué)博士論文,200736 田廣. 基于視覺的行人檢測和跟蹤技術(shù)的研究D. 博士學(xué)位論文, 上海: 上海交通大學(xué), 200737 許言午, 曹先彬, 喬紅. 行人檢測系統(tǒng)研究新進(jìn)展及關(guān)鍵技術(shù)展望J., 電子學(xué)報(bào),2008, 5(36): 962-96838 李斌, 史忠科. 基于計(jì)算機(jī)視覺的行人檢測技術(shù)的發(fā)展J. 計(jì)算機(jī)工程與設(shè)計(jì),2005, 26(10):2565-256839 常好麗,史忠科. 基于單目視覺的運(yùn)動(dòng)行人檢測與跟蹤方法J. 交通運(yùn)輸工程學(xué)報(bào),2006, 6(2):55-5940 黃琛. 基于

25、Hausdorff 距離模板匹配的行人檢測算法研究與應(yīng)用D. 碩士學(xué)位論文,北京: 清華大學(xué), 200641 陳震, 高滿屯, 沈允文. 圖象光流場計(jì)算技術(shù)研究進(jìn)展J. 中國圖象圖形學(xué)報(bào).2002, 5, 7A(5): 434-43942 National Highway Traffic Safety Administration. Traffic Safety Facts 2003DataR. Washington, DC, 2004, Publication Number 809762.43 C.Mertz, D.Duggins, J.Gowdy, J.Kozar, et al. Coll

26、ision Warning and SensorData Processing in Urban Areas Collision Warning and Sensor DataProcessing in Urban AreasC. Proceedings of the 5th international conferenceon ITS telecommunications, June, 2005: 73-78.44 Massimo Bertozzi , Alberto Broggi , Gianni Conte , Alessandra Fascioli , RaFascioli. Obst

27、acle and Lane Detection on the ARGO Autonomous VehicleC.IEEE Intelligent Transportation Systems Conf, 1997: 1010-1015.45 Massimo Bertozzi ,Alberto Broggi， et al. Vision-based Pedestrian Detection:will Ants Help？J. IEEE Intelligent Vehicle Symposium, 2002(1):1-7.46 Meinecke, Marc-Michael; Obojski, Ma

28、rian Andrzej. Approach for protectionof vulnerable road users using sensor fusion techniques C. InternationalRadar Symposium, Dresden/ Germany, 2003.47 P.Marchal.SAVE-U:Sensors and system Architecture for Vulnerable roadUsers protection C.Bruxelles: ADASE II-3rd Concertation meeting: 19-20.47 Harita

29、oglu I，Harwood D，Davis L W4：Real-time surveillance of peopleand their activities JIEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.49 O. Masoud, N.P. Papanikolopoulos. Robust pedestrian tracking using amodel-based approach,in ProcC. IEEE Conference on IntelligentTran

30、sportation Systems, Boston, Nov,1997: 338-343.50 D. M. Gavrila and S. Munder. Multi-cue pedestrian detection and tracking from a moving vehicle D. IJCV, 73(1), 2007:4159.51 M.Oren, C.Papageorgiu, P.Sihna,et al. Pedestrian Detection using Wavelet TemplatesC. IEEE Conference on Computer Vision and Pat

31、tern Recognition,1997:193-199.52 N avneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human53 C. Stauffer, E. Grimson, Adaptive Background Mixture Models for Real-time Tracking,ProcA. Computer Vision and Pattern Recognition ConferenceC, 1999:21-2611開題報(bào)告1研究背景及意義隨著我國機(jī)械工業(yè)的迅猛發(fā)展,汽車行業(yè)也實(shí)現(xiàn)了新

32、的跨越。汽車的普及帶來了許多危害,諸如:“汽車尾氣”對(duì)環(huán)境的污染、消耗汽油造成能源的緊缺、交通擁擠、交通事故等等。目前,我國的交通安全形勢日益嚴(yán)峻,交通事故頻繁發(fā)生,財(cái)產(chǎn)損失和人員傷亡慘重。雖然我國僅擁有全世界約2.5%的汽車,但是引發(fā)的道路交通死亡事故占世界的15%,己是交通事故多發(fā)的國家。據(jù)調(diào)查統(tǒng)計(jì),2009年,全國共發(fā)生道路交通事故238351起,造成67759人死亡、275125人受傷,直接財(cái)產(chǎn)損失9.1億元. 2008年,全國共發(fā)生道路交通事故265204起,造成73484人死亡、304919人受傷,直接財(cái)產(chǎn)損失10.1億元2007年,全國共發(fā)生道路交通事故327209起,造成816

33、49人死亡、380442人受傷,直接財(cái)產(chǎn)損失12億元。由此可見,交通事故是全球性關(guān)注的一個(gè)熱點(diǎn),其對(duì)人類的危害已超出了洪水、地震、火災(zāi)等自然災(zāi)害,是導(dǎo)致行人死亡的一個(gè)主要因素。在道路交通事故中,自行車騎車人和行人往往處于弱勢地位,一旦與機(jī)動(dòng)車發(fā)生碰撞,是很容易受到傷害的。事故帶來的災(zāi)難,使一個(gè)個(gè)家庭陷入了不幸的痛苦之中.人們對(duì)出行安全的渴盼,成為社會(huì)公共安全的重要話題.為了有效地保護(hù)行人,行人檢測和跟蹤技術(shù)得到了車企及消費(fèi)者的重視。 隨著我國汽車保有量的迅速增加,道路交通事故頻發(fā),特別是車輛與行人發(fā)生碰撞而引發(fā)交通事故是導(dǎo)致行人傷亡的主要原因。交通引發(fā)的各種問題尤其是行駛安全問題日益受到人們的

34、關(guān)注,這就使得安全輔助駕駛系統(tǒng)的應(yīng)用在我國具有更大的緊迫性和現(xiàn)實(shí)意義。對(duì)車輛前方行人進(jìn)行檢測是汽車安全輔助駕駛系統(tǒng)所必需具備的功能之一,己經(jīng)引起了世界各國政府部門和相關(guān)研究機(jī)構(gòu)的高度重視及商家的濃厚興趣,它能有效地輔助在市區(qū)環(huán)境中駕駛車輛的駕駛員及時(shí)對(duì)外界環(huán)境做出反應(yīng),避免碰撞行人。行人檢測技術(shù)的研究開發(fā)將為我國汽車安全輔助駕駛技術(shù)的發(fā)展提供有力的理論和技術(shù)支持,并具有潛在的經(jīng)濟(jì)價(jià)值和應(yīng)用前景。利用傳感器技術(shù)來探測車輛前方的障礙物,包括行人車輛以及自行車等,及時(shí)警告駕駛員可能與潛在的障礙物發(fā)生碰撞,減少這類碰撞交通事故發(fā)生的損失和人員傷亡。如果駕駛員沒有及時(shí)采取有效的措施來避免與行人等障礙物發(fā)

35、生碰撞,可以采取自動(dòng)駕駛功能接替駕駛員避免這種緊急狀況的發(fā)生,如通過車上安裝的自動(dòng)轉(zhuǎn)向和自動(dòng)制動(dòng)功能接替駕駛員實(shí)現(xiàn)自動(dòng)轉(zhuǎn)向或制動(dòng)，有效地提高城市交通的安全性。行人檢測是城市交通環(huán)境下的智能車輛輔助導(dǎo)航技術(shù)中的一項(xiàng)關(guān)鍵技術(shù),也是目前計(jì)算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)之一。它處于智能車輛輔助導(dǎo)航技術(shù)的底層,是各種后續(xù)高級(jí)處理如目標(biāo)分類,行為理解的基礎(chǔ),對(duì)于保障現(xiàn)代城市道路交通安全具有重要的作用,同時(shí)具有十分廣闊和重要的應(yīng)用領(lǐng)域。運(yùn)動(dòng)行人檢測在智能控制系統(tǒng),虛擬現(xiàn)實(shí),機(jī)器人應(yīng)用等方面也將得到廣泛的應(yīng)用。行人檢測與跟蹤技術(shù)不僅在智能交通系統(tǒng)和視頻監(jiān)控系統(tǒng)中有廣泛的應(yīng)用,而且在虛擬現(xiàn)實(shí)、機(jī)器人應(yīng)用等方面有著非常重

36、要的研究價(jià)值。行人跟蹤是一個(gè)復(fù)雜的系統(tǒng)工程,它涉及了人體生理學(xué)、心理學(xué)、計(jì)算機(jī)視覺、模式識(shí)別、等多方面的問題。2研究內(nèi)容 基于計(jì)算機(jī)視覺的行人檢測由于其在車輛輔助駕駛系統(tǒng)中的重要應(yīng)用價(jià)值成為當(dāng)前計(jì)算機(jī)視覺和智能車輛領(lǐng)域最為活躍的研究課題之一。其核心是利用安裝在運(yùn)動(dòng)車輛上的攝像機(jī)檢測行人，從而估計(jì)出潛在的危險(xiǎn)以便采取策略保護(hù)行人。行人檢測除了具有一般人體檢測具有的服飾變化、姿態(tài)變化等難點(diǎn)外，由于其特定的應(yīng)用領(lǐng)域還具有以下難點(diǎn)：攝像機(jī)是運(yùn)動(dòng)的，這樣廣泛應(yīng)用于智能監(jiān)控領(lǐng)域中檢測動(dòng)態(tài)目標(biāo)的方法便不能直接使用；行人檢測面臨的是一個(gè)開放的環(huán)境，要考慮不同的路況、天氣和光線變化，對(duì)算法的魯棒性提出了很高的要

37、求；實(shí)時(shí)性是系統(tǒng)必須滿足的要求，這就要求采用的圖像處理算法不能太復(fù)雜。基于視覺的行人檢測系統(tǒng)一般包括兩個(gè)模塊：感興趣區(qū)（ROIs）分割和目標(biāo)識(shí)別。根據(jù)分割所用的信息，可將 ROIs 分割的方法分為基于運(yùn)動(dòng)、基于距離、基于圖像特征和基于攝像機(jī)參數(shù)四種方法。基于運(yùn)動(dòng)的方法通過檢測場景中的運(yùn)動(dòng)區(qū)域來得到 ROIs。基于距離的方法通過測量目標(biāo)到汽車的距離來得到ROIs 。可以用來測距的傳感器主要包括雷達(dá)和立體視覺。基于圖像特征的方法指通過檢測與行人相關(guān)的圖像特征從而得到 ROIs 。對(duì)于可見光圖像來說，常用的特征包括豎直邊緣、局部區(qū)域的熵和紋理等。對(duì)于紅外圖像來說，主要根據(jù)人體尤其是人臉的溫度比周圍環(huán)

38、境溫度較高這一特征，通過檢測一些“熱點(diǎn)” (Hot spot) 來得到 ROIs。攝像機(jī)的安裝位置和攝像機(jī)參數(shù)也是一個(gè)很重要的考慮因素. 它對(duì)行人在圖像上出現(xiàn)的位置和每個(gè)位置上目標(biāo)的大小給出了很多限制, 合理利用這些限制可以大大地縮小搜索空間。如圖1所示，行人檢測分為以下幾個(gè)步驟：預(yù)處理階段，首先通過傳感器獲得車輛前方的圖像信息，對(duì)這些信息做預(yù)處理（如降噪、增強(qiáng)等）；分類檢測階段，用圖像分割、模型提取等一些圖像處理技術(shù)在圖像中選取一些感興趣的區(qū)域（Regions of Interest，ROIs），即行人的候選區(qū)域，然后對(duì)ROIs進(jìn)行進(jìn)一步的驗(yàn)證，用分類等技術(shù)方法判斷候選區(qū)域中是否包含行人；決

39、策報(bào)警階段，對(duì)含有行人的區(qū)域進(jìn)行跟蹤，得到行人的運(yùn)動(dòng)軌跡，提高檢測精度和速度的同時(shí)，也能對(duì)行人是否會(huì)和車輛發(fā)生碰撞進(jìn)行判斷，對(duì)可能發(fā)生碰撞的情況，進(jìn)行報(bào)警或者其他避免碰撞的操作。圖1 行人檢測系統(tǒng)框架 在行人檢測系統(tǒng)中，分類檢測階段是最為重要的一個(gè)階段。由于行人檢測系統(tǒng)是一個(gè)實(shí)時(shí)系統(tǒng)，因此系統(tǒng)中的檢測算法應(yīng)具有很高的實(shí)時(shí)性，那些使用復(fù)雜圖像處理的算法便不再適用；而開放的檢測場景，如道路狀況不斷變換、天氣以及光照也隨機(jī)變化，行人的服飾和姿態(tài)多變等，使得模板匹配的方法無法很好的應(yīng)用于行人檢測問題中。場景3D建模的方法由于前提假設(shè)的限制，其性能和速度無法達(dá)到實(shí)用的要求。如今主要的研究方法還是在行人檢

40、測中引入各種各樣的分類器，主要是因?yàn)榉诸愃惴ň哂休^好的魯棒性，而且合理的選擇訓(xùn)練樣本和特征，結(jié)合結(jié)構(gòu)合理的分類算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環(huán)境多樣性等的影響。因此，在當(dāng)前情況下，分類檢測是行人檢測技術(shù)研究中的一種主流的方法。 常用于行人檢測的分類器有：支持向量機(jī)(SVM)、各種類型的神經(jīng)網(wǎng)絡(luò)（NN）以及其他基于統(tǒng)計(jì)的學(xué)習(xí)分類器（如Adaboost、串聯(lián)分類器）等，如表1所示。表1 行人檢測系統(tǒng)常用的分類器很多類型的分類器都被用到了行人和非行人物體的區(qū)分當(dāng)中。分類器的輸入是從圖像中提取的像素值或特征值，輸出則是這個(gè)物體是否為待測物體的一個(gè)判斷。很多情況下，給出

41、的是這個(gè)物體為待測物體的概率值。分類器通常由一系列正負(fù)樣本訓(xùn)練得來。訓(xùn)練之后，分類器對(duì)未知樣本進(jìn)行處理，通過特征向量位于決定邊界的哪一邊，確定該樣本中是否含有待測物體。分類器的好壞主要取決于三個(gè)方面：特征、分類算法和樣本，只有合理地結(jié)合這三者才能得到性能最優(yōu)的分類器。目前，這三方面都有一些進(jìn)展，這為我們?cè)O(shè)計(jì)出高效的分類器提供了很好的基礎(chǔ)。分類器性能一般從三個(gè)方面來評(píng)價(jià)，檢測率高，誤報(bào)率低，檢測速度快。三方面相互限制，實(shí)際應(yīng)用中需要找到一個(gè)平衡點(diǎn)。由于分類器的性能好壞是整個(gè)行人檢測系統(tǒng)性能好壞的決定因素，所以非常有必要結(jié)合行人檢測問題本身的特點(diǎn)來專門為其設(shè)計(jì)合理、高性能的分類器，而不是直接套用其

42、它領(lǐng)域的一 些現(xiàn)有算法。3研究方法行人檢測包括了行人目標(biāo)的分類和行人的跟蹤等方面, 涉及到計(jì)算機(jī)視覺、模式識(shí)別和人工智能領(lǐng)域的許多核心課題, 是一個(gè)具有挑戰(zhàn)性的困難問題。目前, 在許多文獻(xiàn)中提出了多種關(guān)于行人檢測的方法, 常用的方法有基于運(yùn)動(dòng)特性的方法、基于形狀信息的方法、基于行人模型的方法、立體視覺的方法、神經(jīng)網(wǎng)絡(luò)方法、小波和支持向量機(jī)的方法等。3.1基于形狀信息的方法 由于行人探測是在車輛運(yùn)動(dòng)的狀態(tài)下進(jìn)行的, 這樣會(huì)帶來攝像機(jī)的運(yùn)動(dòng), 從而背景圖像也會(huì)相應(yīng)發(fā)生變化。基于形狀信息的行人檢測方法回避了由于背景變化和攝像機(jī)運(yùn)動(dòng)帶來的問題, 主要是依靠行人形狀特征來識(shí)別行人, 因此基于形狀的行人檢

43、測方法能識(shí)別出運(yùn)動(dòng)和靜止的行人。意大利帕爾瑪大學(xué)的Alberto B roggi 教授在AR 2GO項(xiàng)目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對(duì)于垂直軸有很強(qiáng)的垂直邊緣對(duì)稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域, 然后提取垂直邊緣, 選擇具有高垂直對(duì)稱性的區(qū)域。通過計(jì)算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對(duì)稱性的候選區(qū)域中, 尋找目標(biāo)側(cè)向和底部邊界畫出矩形方框, 通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗(yàn)表明, 當(dāng)視野中有完整的行人存在時(shí)能得到較好的效果, 在10 40m 的范圍內(nèi)都可以正確地進(jìn)行識(shí)別, 并且可以較好地適應(yīng)復(fù)雜的外界環(huán)境。德國DaimlerO

44、 Chrysler研究中心的Gavri la開發(fā)的行人檢測系統(tǒng)在城市交通助手UTA 中進(jìn)行了試驗(yàn)。蓋系統(tǒng)主要分為兩步, 首先是在等級(jí)模板匹配過程中應(yīng)用行人輪廓特征來有效鎖定候選目標(biāo)。然后在模式分類中根據(jù)豐富的亮度信息運(yùn)用徑向基函數(shù)來驗(yàn)證候選目標(biāo)。基于形狀信息的行人檢測方法存在兩大難點(diǎn): 一是行人是非剛性的, 形狀信息具有多樣性, 算法要考慮很多基本的信息, 導(dǎo)致計(jì)算量增大; 二是行人在行走的過程中, 由于會(huì)產(chǎn)生遮擋現(xiàn)象, 這就無形中增加了基于形狀信息行人檢測的難度。3.2基于運(yùn)動(dòng)特性的方法 運(yùn)動(dòng)是探測場景圖像中感興趣區(qū)域重要信息, 基于運(yùn)動(dòng)特性的行人檢測就是利用人體運(yùn)動(dòng)的周期性特性找到行人。德

45、國DaimlerO Benz研究中心B 1Heisele的研究是基于行人與像平面平行的方向行走時(shí)腿部運(yùn)動(dòng)特征,從彩色序列圖像中識(shí)別出行人。首先將每幅圖像分割成區(qū)域圖像并對(duì)象素按顏色P位置特征空間進(jìn)行聚類,通過在連續(xù)圖像中匹配相應(yīng)的類, 并對(duì)各類進(jìn)行跟蹤。然后利用快速多項(xiàng)式分類器估計(jì)基于類形狀特征的時(shí)間變化來初步選擇可能屬于人腿的類。最后通過時(shí)空接受域延時(shí)神經(jīng)網(wǎng)絡(luò)將屬于行人腿的類進(jìn)行分離。 Lipton通過計(jì)算運(yùn)動(dòng)區(qū)域的殘余光流來分析運(yùn)動(dòng)實(shí)體的剛性和周期性, 非剛性的人的運(yùn)動(dòng)相比于剛性的車輛運(yùn)動(dòng)而言具有較高的平均殘余光流, 同時(shí)它也呈現(xiàn)了周期性的運(yùn)動(dòng)特征, 據(jù)此可以將人區(qū)分出來。大多數(shù)基于運(yùn)動(dòng)方

46、法運(yùn)用行人獨(dú)有的運(yùn)動(dòng)節(jié)奏特征或運(yùn)動(dòng)模式來探測行人, 而且能在運(yùn)動(dòng)攝像機(jī)情況下探測到運(yùn)動(dòng)目標(biāo), 但是應(yīng)用基于運(yùn)動(dòng)的行人檢測還有一定的局限性: ( 1) 首先為了提取運(yùn)動(dòng)節(jié)奏特征要求行人腳或腿是可見的; ( 2) 識(shí)別時(shí)需要連續(xù)幾幀序列圖像, 這樣延誤了行人的識(shí)別, 增加了處理時(shí)間;( 3) 不能識(shí)別靜止行人。 3.3 基于模型的方法 基于模型的行人檢測方法是通過定義行人形狀模型, 在圖像的各個(gè)部位匹配該模型以找到目標(biāo)。行人模型主要有線性模型、輪廓模型以及立體模型等。線性模型是基于人運(yùn)動(dòng)的實(shí)質(zhì)是骨骼的運(yùn)動(dòng), 因此可以將身體的各個(gè)部分以直線來模擬。美國馬里蘭大學(xué)的V1Philomin 等首先應(yīng)用背景

47、減除法從靜止CCD獲得的圖像中自動(dòng)分割出行人邊緣輪廓, 得到行人的統(tǒng)計(jì)形狀模型。然后建立線性點(diǎn)分布模型, 利用主分量分析簡化維數(shù), 找到8維變形模型空間。基于輪廓模型的跟蹤是利用封閉的曲線輪廓來表達(dá)運(yùn)動(dòng)目標(biāo), 并且該輪廓能夠自動(dòng)連續(xù)地更新。例如美國明尼蘇達(dá)大學(xué)的 O1Masoud利用靜止的單目CCD對(duì)序列灰度圖像進(jìn)行行人跟蹤, 主要用于在交叉路口行人跟蹤控制。立體模型主要是利用廣義錐臺(tái)、橢圓柱、球等三維模型來描述人體的結(jié)構(gòu)細(xì)節(jié), 這種模型要求更多的計(jì)算參數(shù)和匹配過程中更大的計(jì)算量。如 K1Rohr利用通用圓柱模型來描述行人, 目的是想利用該模型來產(chǎn)生人的行走的三維描述。利用輪廓模型進(jìn)行跟蹤有利

48、于減少計(jì)算的復(fù)雜度, 如果開始能夠合理地分開每個(gè)運(yùn)動(dòng)目標(biāo)并實(shí)現(xiàn)輪廓初始化的話, 既使在有部分遮擋存在的情況下也能連續(xù)地進(jìn)行跟蹤, 然而初始化通常是很困難的。 3.4小波變換和支持向量機(jī) 從20 世紀(jì)80 年代后期開始逐步發(fā)展起來的小波分析克服了傅立葉分析的不足, 具有良好的空間局部分析功能和多分辨分析功能, 并且具有良好的重構(gòu)性和濾波特性。美國M1Oren介紹了可訓(xùn)練的目標(biāo)探測方法, 用來探測靜止圖像中的相關(guān)人。由于人體是一個(gè)非剛性的目標(biāo), 并在尺寸、形狀、顏色和紋理機(jī)構(gòu)上有一定程度的可變性。行人檢測主要是基于小波模板概念, 按照?qǐng)D像中小波相關(guān)系數(shù)子集定義目標(biāo)形狀的小波模板。系統(tǒng)首先對(duì)圖像中每個(gè)特定大小的窗口以及該窗口進(jìn)行一定范圍的比例縮放得到的窗口進(jìn)行Harr小波變換, 然后利用支持向量機(jī)檢測變換的結(jié)果是否可以與小波模板匹配, 如果匹配成功則認(rèn)為檢測到一個(gè)行人。最近他們又結(jié)合基于樣本的方法對(duì)系統(tǒng)做了改進(jìn), 對(duì)人體的每個(gè)組成部分進(jìn)行相應(yīng)的小波模板的匹配, 之后對(duì)這些分量的匹配結(jié)果進(jìn)行總的匹配評(píng)價(jià)。