1、1. 緒論1.1研究背景及意義當今社會是一個人口密集，高度復雜的社會，面臨的突發事件和異常事件 越來越多，其監測的難度和重要性也越來越突出。現有的視頻監測系統大多數只是進行場景內運動目標的監測和跟蹤，進行進一步識別與行為理解等很少， 雖然人們不斷建立越來越大的視頻監控系統，但這些監控系統也幾乎淪為一種提供事 后取證錄像的工具。然而，監控的目的就是對監視場景中的異常事件或監控對象 的行為進行檢測與分析。在長時間視頻序列中采用人工處理此類工作既不實用也 不經濟，因此在視頻監控序列中進行一場檢測十分重要而且必要。群體異常事件檢測作為一種應現實迫切需求而產生的研究領域，正受到越來 越廣泛的關注。群體異

2、常事件檢測旨在從視頻數據中發現隱藏著的、能刻畫群體異常事件的特有的信息，并通過學習的方法訓練檢測模型，當下次有類似異常事 件發生的時候，能夠自動并及時的發出警報，以幫助人們及時的決策處理異常事 件，避免事態進一步的擴大。該領域的研究具有廣泛的應用前景，己成為當前研究的熱點之一。群體異常事件檢測系統的漏報與錯報必然會給人們帶來巨大的困擾和損失。 目前已有的各種群體異常檢測算法大都在檢測的準確率和時間效率上不盡人意， 都不能應用于實際應用。因此，有必要對群體異常檢測算法進行更深入研究，開 拓新思路，提出新算法，以提高準確率和時間效率，降低漏報錯報率，進而能夠 更加快速高效地檢測出聚集場景中的異常行

3、為，提供更有價值的信息。1.2國內外研究動態及主要研究方法人類行為分析這一方向早已引起了人們的關注，1850年，E. J. Marey and E.Muybridge等拍攝運動的目標，并發現了人類及動物的運動中出現的許多令人驚 喜的現象。近年來，隨著相關學科的發展，人類的運動分析作為計算機視覺的一 個熱點方向，吸引了大量的研究人員，美國、英國等發達國家，已經開始了大量 人類行為識別項目的研究。1997年美國國防高級研究項目署（Defense Advaneed Research Projects Ageney與卡內基梅隆大學、麻省理工學院等諸多高校合作研 究視覺監控的重大項目 VSAM （Vis

4、ual Surveillanee And Monitoring），主要是研 究對戰場及普通民用場景下的目標行為識別技術；美國賓夕法尼亞州大學研究的三維人體頭部及臉部跟蹤系統，采用了有限元素模型對人臉動作進行實時跟蹤； Microsoft公司也推出了 3D體感攝影機Natal，逐步將基于視覺的人機交互接口 應用到商業領域中。人類群體異常行為的檢測是人類行為識別的重要組成部分，這一領域的研究最近成為了熱點。Ramin Mehran等提出在圖像中建立粒子，利用SFM(Social Force Model)描述粒子與周圍空間的相互作用力，用力的強度來描述視頻圖像中行人行 為，然后構建局部時空立方體并建

5、立 Bag-of-words模型，達到了較好的效果； Sha ndo ng Wi等也米用了 一種粒子流動的方式，利用粒子的軌跡來描述局部的軌 跡運動，實現了異常行為的檢測與定位；針對極端擁擠場景中的異常行為檢測問 題，Louis和Kratz使用基于梯度的時空模型描述場景運動信息，并用HMM來捕獲時空模型之間的關系；Vijay Mahadevan等人用MDT模型化視頻序列，然后分別 檢測模型在時空和空間上的異常，整合后判斷異常行為是否出現；Rami n Mehra n 等人提出用脈線來表征擁擠的場景，清晰的描述了復雜場景下的人群行為。目前，國外比較有代表性的實時系統有：MIT的Plinder系統

6、這個系統能用來實時地跟蹤人，并分析理解人的行為，通過固定的攝像頭，它可以適應不同類型的場景，但只能處理單個沒有被遮擋的人體，并且要求人是站立的(2) CMU 的 VSAM 系統1997年美國國防高級研究部署 DARPA (Defense Adevaneed Research Projects Age ncy)設立了以卡內基梅隆大學(Carnegie Mello n Un iversity)為首，麻省理 工學院(Massachusetts Institute of Technology等高校參與的視覺監控重大項目 VSAM (Visual Surveillanee and Monitoring)

7、,主要研究用于戰場一普通民用場景 進行監控的自動視頻理解技術。利用虛擬場景中的虛擬物體來代替人力監控費用 昂貴，非常危險或者人力無法實現等場合的監控(3) Harilaoglu 的W4系統Maryland大學的 Haritaolu等人開發了 W (What,Where,When,Who)系統。是一 個全面的人體動作的實時視覺監控系統，W不僅能夠定位人和分割出人的身體部分，而且能夠通過家里外觀模型來實現多人的跟蹤，并可以檢測人是否攜帶物體簡單行為，還可以進行人的標準姿勢，如：站，做，躺，臥的行為識別。此外，美國的雷丁大學(University of Reading)已經開展了對車輛和行人的 跟蹤

8、機器交互作用識別的相關研究：IBM與Microsoft等公司也正逐步將基于視覺 的手勢識別技術應用于商業領域中，當前，國際上一些權威期刊將人的運動分析 研究作為主題內容之一，為該領域研究人員提供更多的交流機會。在國內，目前開展這方面研究的單位主要有中國科學院計算技術研究所、中國科學院自動化研究所、浙江大學人工智能研究所等。雖然人類運動分析還屬于 一個新興的研究領域，但卻取得了良好的成績。例如，由中國科學院計算所研究的“三維人體運動仿真技術的定量輔助分析系統”“數字化三維人體運動的計算機仿真和分析技術”和“基于視頻分析的技術”。這些科研成果在雅典奧運會上 得到了實際的應用，并且取得了巨大的成就。

9、中國科學院自動化研究所對人類的 步態進行分析識別，進而判定人類的身份。 浙江大學主要研究人體動畫，從視頻 流提取動畫信息，替代傳統運動捕捉設備。微軟亞洲研究院多媒體研究高級人機 交互手段。例如，通過對手勢語言的理解，還可以進行聾人與計算機之間的手語 交流。盡管在人類簡單行為研究中取得了一定成果， 但國內的人類群體異常行為 研究還處于一個發展的階段，隨著這一領域研究的深入及需求的提升， 必然會有 更多的研究者將精力投入到這一方向。人的行為分析研究在視頻監控系統中的應用往往關注與人的異常行為，目前，異常行為檢測的實現方法通常有兩類：（1）把小概率行為或與先驗規則相反的行為看作異常行為（2）把與已知

10、正常行為的模式不匹配的行為看作異常行為1.3論文的主要內容及結構安排本文研究群體異常行為的檢測，提出了一種具有一定創新意義并可行的方法。本文重點對群體異常行為識別中的關鍵技術進行了如下研究：（1）根據人類群體運動的視頻中存在時間和空間方向上劇烈變化的位置的特點及時空特征點方法在簡單人體行為識別中取得的成功，提出了用時空特征點來描述人類群體的運動，選擇了魯棒方法Gabor小波函數方法用來提取時空特征 點，通過實驗驗證了這種方法可以有效的解決人類群體異常行為檢測問題。在時空特征點的描述符建立階段，引入了時空 Haar特征構建描述符 利用高斯混合模型對正常行為的特征點集建立模型，為每個關鍵詞分配不同

11、 的概率權重，并且準確的描述了不同類別出現的概率和輸入的時空特征屬于各個 類別的概率。（2）為正常行為以及異常行為中的每個視頻片段建立視頻向量，將生成的 視頻向量對SVM進行訓練以及學習，輸入已知類別的測試視頻，利用已訓練好 的SVM對視頻進行群體異常行為的測試，根據已知數據和得出的結果分析研究， 得出SVM的識別率，并根據實際的結果對SVM進行參數調整和進一步的完善。 對已經完善的SVM分類器進行未知視頻的預測，初步用于檢測群體行為是正常 或是異常論文各章內容安排如下：第一章緒論，研究背景意義、國內外研究現狀、論文的主要內容及文章的 結構安排。第二章 時空特征點的提取與描述符的構建，利用基于

12、高斯和Gabor小波響應函數時空特征點檢測方法提取時空特征點：然后闡述了對時空特征點的描述， 采用了基于時空Haar特征描述符建立方法，通過描述符聚類建模，產生輸入向量，第三章詳細介紹了 SVM的理論，闡述SVM的應用。對描述符聚類建模生成描述向量，將正常行為視頻和異常行為視頻分別以時 間為單位劃分為N幀，分別對每幀進行聚類生成描述向量并生成視頻向量，這章 中主要介紹了 EM方法，混合高斯模型方法的基本原理，以及如何用基于EM的混合高斯模型估計模型的參數，輸入視頻向量對 SVM進行訓練，對已知的視頻作為 輸入視頻對SVM1行分辨率的檢測，達到較高的分辨率后，對未知視頻進行檢測第四章 實驗數據結

13、果與分析。分別闡述了時空特征點的提取，描述符的構 建，并對試驗結果進行分析第五章 總結，本章總結了本文所做的工作，成果和不足之處2.視頻底層運動特征的提取及聚類建模2.1時空特征點對人體運動進行特征提取是行為識別的關鍵。人體運動特征存在于視頻圖像中時間和空間方向像素值發生劇烈變化的位置，因為它們往往包含了豐富的信 息，同時也具有較強的穩定性。通過離散的特征點捕獲表征這些位置就可以有效 的描述人體行為，通常這些點我們稱作為特征點。2.2基于咼斯和Gabor小波函數提取時空特征點時空特征點有能力捕獲視頻中人體的劇烈運動，并已經應用于簡單行為識別 中，因此我們可以將其合理的應用于群體異常行為檢測中。

14、如何提取時空特征點 是進行群體異常行為檢測的關鍵。本章選用的是基于高斯和Gabor小波函數的檢測方法。Doll白等人提出任何進行非勻速運動的人體區域都可以看作是時空特征點， 使用簡單的檢測器也可以獲得稠密的時空特征點。Doll r方法未直接擴展二維空間檢測器，而是提出了一種新的檢測器，這種檢測器基于高斯和Gabor小波函數, 在本質上借鑒了 Gabor小波在圖像分析中取得的成功。在這種方法中，通過計算 視頻流時空中每一個像素點處的二維空間高斯和一維時間Gabor小波函數響應值來確定時空特征點，若視頻三維空間中某點響應值為局部極值且大于某一閾值，則認為該極值點為時空特征點。 響應函數定義為：(2

15、-1)2 2R (I g hev) (I g hod)其中，I為視頻流圖像，g x,y;為二維空域高斯平滑濾波器,dv和hod為hev t;hod t;,和分別為空域和時域尺度，在時空特征點的尺度選擇問題上,一維Gabor時域濾波器，定義分別為:cos(2 t )et2,2( 2-2)sin 2 t e4。Doll r認為基于這種響應函數的時空特征點檢測器受尺度變化的影響較小， 可以忽略。而以該方法為基礎進行人類簡單行 為識別的研究中，研究者一般都采用在時間和空間上離散的取多尺度進行組合,用有限的固定尺度近似所有可能出現的尺度，因此來解決尺度問題。圖2-1為根據Doll r方法對簡單場景下不同

16、行人走路行為提取的時空特征點分布圖，盡管人類的性別、背景、尺度不同，但他們的時空特征點分布具有相似性，都出現在運 動較為劇烈的腿部，而產生平移運動的身體上半部分幾乎不出現時空特征點。由此可知，人類行為產生的劇烈變化可以用 Doll r方法提取時空特征點來描述。(b)(c)圖2-1根據Doll r方法對不同行人走路行為提取的時空特征點分布圖Fig.2-1 Different person STIPs extraction results in walking action based on Doll2. 3時空特征點的描述時空特征點雖然反映了人體運動空間結構發生顯著變化的位置，但它們只是一些孤立

17、的點，只有這些點的位置信息很難判斷人類的行為。因此， 通常需要利 用特征點周圍的時空信息對這些點進行描述， 描述的過程即為時空特征點的描述 符構建過程。描述符為從時空特征點為中心的小立方體中提取的具有描述意義的 一維向量，一般包含了局部的梯度、 光流等信息。正常行為與異常行為的時空特 征點分布有一定差別，其描述符也必然存在較大不同。因此，充分的利用時空特征點描述符包含的信息是區分正常行為與異常行為的關鍵。本文使用的是時空Haar特征進行描述符的構建。2.3.1時空Haar特征Haar特征是一種有效圖像特征，它克服了傳統的灰度特征計算速度慢的缺 點，時空Haar特征的使用是基于視頻空間中存在灰度

18、變化的區域，如人抬手時，在圖像平面上和時間軸上都會發生灰度值的改變。Yan Ke等的成功說明時空Haar特征有能力捕獲人類行為運動，他們使用的三種時空Haar特征如圖2-2所圖2-2三種時空 Haar特征Fig.3-6 Three types of spatial-temporal Haar feature為了計算描述符，Geert Willems方法使用了三種時空Haar特征，這種描述 符各分量與時空特征點之間是位置相關的，在簡單人類行為識別中獲得較好的效果。但我們研究的人類群體行為中，人類的行為往往不一致，運動方向也不盡相同，而且，人與人之間有可能存在重疊與遮擋。因此，描述符各分量與時空特

19、征 點之間最好具有位置無關性，且能捕獲一定范圍內的運動變化信息。為了更加準確、豐富的描述時空特征點的時空信息，采用了 Xinyi Cui使用的 Lx，Ly,Lt，Lyt，Lxt，Lxy丄xyt7種時空Haar特征，特征結構如圖2-3所示。if S9S圖2-3 7種時空Haar特征Fig.2-3 Seven types of spatial-temporal Haar feature為了構建時空Haar特征描述符，以每個時空特征點為中心選取一個時空立 方體，即在時空特征點周圍 M*M*N范圍內計算各點的Haar特征，每個點都用 一個7維向量Lx,Ly,Lt,Lyt,Lxt,Lxy,Lxyt來描述

20、。在所有點的特征計算后，將所 有點的特征向量進行直接求和操作，則得到7維的描述符向量。描述符向量D為：D LxLy,Lt ,Lyt ,Lxt ,Lxy ,Lxyt( 2-3)D為7維向量。為了使描述符使應不同的尺度、光照等，在計算各維Haar特征值時，都采用了最大最小值歸一化。最終的描述符D的各維為：Di Di / Normi其中，Normi max( Di) min( Dj)，i=1,2 T。下面詳細介紹了對描述符聚類原理和高斯混合模型建模。2.4混合模型聚類原理混合模型建模實質上是將給定數據集 X X1|,Xn中的數據劃分到它最 可能歸屬的類中去(或成分中去)，首先要確定數據集X的可能性最

21、大的標簽向 量集Z ZiJ|,Zn，設Xi的標簽向量記為Zi (Zi，|,ZiG)T，若Xi的所在的類已經被確定(如Xi在第k類中)，則zik一般認為Zi為相互獨立的隨機變量, 項分布，記為乙 Mg( i G)，(i1,1Xi在第k類中。0其它并且有p(Zik 1 ) k，因此Zi服從多,n,k 1,G)。想要獲得數據集X的可能性最大的標簽向量集，就要合理的從數據集中估計出模型的參數值，使得Xi X都能確定它可能性最大的標簽。標簽向量集Z可以看作是隱含在數據集 X中的變量集，若混合模型中各混 合成分的類型是明確的(如高斯類型)，并且對數據學習后可知的極大似然估計為，就可以得到數據集X中觀察數據

22、Xj歸屬于某一類的概率tik，計算表示 式如公式(2-4)所示：tik(X| ?) p(Zik 1|Xi；3 G kh(Xi 1 ?k)(1 i n),(1 k G)(24kh(Xj | ?k)(-j i由此可以得到模型聚類的實質就是查找每個觀察數據的最大后驗概率所屬類別。2.5高斯混合模型假設觀測值是由某種類型的混合分布p產生，該分布又是由G個成分構成的，成分與類別相對應。若觀測樣本 XXi，M，Xn，其中任意向量xi都是p維的向量。fk(Xi| k)表示X屬于第k類的概率密度函數，k是相應的參數。混合 模型的似然函數可以表示為：n GLm(1，H|, G X)kfk(X k)( 2-5)i

23、 1 k 1G其中k為某一觀察值歸屬于第k類的概率，k 0; k 1。k 1若fk(Xi k)服從多元正態分布，即高斯分布，則這種混合模型就稱為高斯混合模型(GMM )。混合模型的G個成分就是G個獨立同分布的高斯分布，模型 中參數k包含均值k和協方差矩陣 k兩部分。概率密度函數fk(x| Q的形式為:fk(Xk1T 1exp (k)k(X k)(2 )p/21/2k(2-6)因此，該概率分布可以用 G個高斯概率密度函數的加權平均來描述，如公式(2-7)所示:G(2-7)p(x )kfk(Xi k , k )k 1其中，k為混合模型中高斯概率密度函數的權重。高斯混合模型的構成如圖2-4所示p(

24、|X)1,G ,圖2-4高斯混合模型示意圖Fig.2-4 Gaussia n mixture model diagram由此可見，高斯混合模型中的各個分量R可通過均值向量k和協方差矩陣進行描述，因此高斯混合模型可用參數集進行表示，其形式為 k, k, k(k 12|,G)。聚類是以均值k為中心的橢圓體的分布。其它的幾何學性質(方向，體積，形狀)是由協方差矩陣 k決定的。Banfield和Raftery等人提出了分解k的特征值的模型聚類的框架為2:kkDkADT。2.6 EM算法的含義及原理EM算法是一種迭代算法，基本原理可以表述為3:把可以被觀察到的數據 看作丫，缺失數據看作Z，則完全數據X

25、(Y,Z)。設模型的參數為，關于丫 的后驗分布p( Y)具有較高的復雜度，如果缺失數據 Z已知，則可以得到一個 關于 的后驗分布p( |y,z)，然后考慮Z，又可以對Z的假設作進一步的檢查和 調整。如此循環計算，就會將復雜的極大化抽樣問題轉化成簡單的極大化或抽樣 問題。EM算法的循環迭代中包含兩個步驟，即E步和M步。E步(Expectation Step) 為期望步，M步(Maximum Likelihood Step )為極大似然步。2.7聚類的EM算法假設存在完整數據集丫 (X,Z)，其中X x1| ,xn是觀察到的不完整的數據集，Z為代表著缺失數據集的隱含變量。 有限正整數。若完整數據集

26、Y ( x1,z1),| 以表示為：在Z中，Zi1,2,川,M ，其中M為,(Xn,Zn)，則完整數據集的似然函數可L( X,Z) p(X,Z )P(Xi, Z )Z (乙,川,Zn)(2-8)該似然函數的期望值為:E(L( X,Z)ZP(X,Z )f(Z)dZ(2-9)假設初始參數為0，在每次循環中都會產生新的參數；EM算法的每次迭代都由E步和M步兩步組成:E-step：引入輔助函數Q( , (i 1)，定義為:Q( , (i 1)(i 1)E(logL( X,Z)logL( X,Z)f(Z(i 1)dZ( 2-10)(i 1)是上一步迭代運算所求出的參數值。根據公式中可知輔助函數 的函數，

27、并且它的值就是logL( |X,Z)的期望值求解*，使得Q( *, (i 1)獲得極大值，即：arg max Q( , (i 1)顯然，EM算法能夠保證：；1)及算法的收斂性質。在高斯混合模型(GMM )中，設yi (xz)為完整數據，變量，Zi (Zi1,H|,ZG)為隱含變量，則:其中，Q( , (i1)為M-step：(i 1)(i)(2-11)xi為可觀察到的1if x belongs to group kZik( 2-0otherwise設乙的概率分別為1,川，g且與G類獨立同分布，通過觀察變量人給出的z的概率密度為:Gzkfk(Xi| k)。完整數據的對數似然函數可以表示為:k 1

28、n G(2-13)L( k, k,Zk x)Ziklog kfk(N k)i 1 k 1在混合模型參數求解中應用聚類的EM算法需要在E-step和M-step之間進行迭代。在E-step中，通過觀察變量x和當前的參數估計，可以計算出完整數據 對數似然函數的條件期望Zk ;在M-step中，根據E-step獲得的值，計算參數估 計，即權重，均值，協方差矩陣，使得似然函數值達到最大。下面給出了高斯混合模型建模中EM算法的計算公式：p(k x,i 1Ni 1X p(k Xi,t)Nti 1xp(k x, )(XiV)(xv1)T(2-14)其中，p(kx, t)kPk(kx, t)K tj 1 jP

29、(k x,)將新的參數，即均值、方差、歸屬類別的先驗概率，帶入 E步，循環迭代計 算，直到樣本集合不引起各個類別的似然函數明顯的變化為止， 此時已經收斂或 滿足結束條件，算法執行結束。2.8本章小結本章提出了通過提取時空特征點來描述運動人體的特征，對描述符進行建模，是進行群體異常行為檢測的關鍵步驟，通過時空Haar特征構建描述符，本文詳細闡述了使用gabor小波函數來提取時空特征點，通過時空haar特征實現的是對描述符的構建，EM方法的高斯混合模型對描述符建模方法，然后根據實 驗充分驗證了 EM的高斯混合模型的準確性和合理性。3. SVM的基本原理概述3.1支持向量機(SVM)理論支持向量機(

30、Support Vector Machine,SVM)是近年來在模式識別與機器學 習領域中出現的新工具，SVM以統計學習理論為基礎，有效地避免經典學習方 法中過學習，維數災難，局部極小等傳統分類存在的問題，在小樣本條件下仍然具有良好的泛化能力，因此受到了廣泛的關注，而且在語音字符識別領域獲得了 目前為止最好的性能，在美國的科學雜志上，支持向量機被稱為“機器學習領域中的一個令人矚目的發展方向”。3.1.1統計學習理論統計學習理論5 ( Statistical Learning Theory)是 Vapnik 等人在 20 世紀 70 年代末提出并在20世紀90年代逐漸完善的一種針對小樣本的機器學

31、習理論。它的核心問題是尋找一種歸納原則以實現最小風險泛函，從而實現最佳的推廣能力。對于二類模式識別問題，設存在I個學習樣本(X1, y1),(X i, yi),(X|,yi)yi ( 1, 1),學習的目的是從一組函數 f (X,W)中求出一個最優函數f(X,W。)，使在對未知樣本進行估計時，期望風險R(W) L(y, f(X,W)dF(X,y)最小。3.1.2 VC維數論統計學習理論的一個核心概念就是 VC維(VC Dimension)概念，它是描述函 數集或學習機器的復雜性或者說是學習能力 (Cap acity of the machi ne) 的一個 重要指標.一般來說,VC維數越大則學

32、習機器越復雜.VC維數是用來度量一個函數集合的容量的尺度值.它定義為，當一個函數集合的VC維數為n時，那么存在一個點集xn，它的所有可能的(兩類)組合全部 可用該函數集合分割開，而對于任何大于 Xn的點集Xm ( mr)都不滿足該上述條 件,即用該函數不能將其所有可能的組合分割開。例如在平面上的三個點的任意 組合都可以用直線分割開，因此平面上直線函數集合的VC維數是3。如果對任意數目的樣本都有函數能將它們分隔開，貝U函數集的VC維是無窮大3.1.3結構風險理論統計學習理論從vc維的概念出發，推導出了關于經驗風險和實際風險之間關系的重要結論，稱作泛化誤差的邊界。 如下的估計真實風險的不等式，對于

33、任意al ( I是抽象參數集合)，以至少1-的概率滿足以下不等式Remp(3-1 )其中log 一(3-2)Remp a 表示經驗風險h稱為置信風險；經驗風險也就是對訓練樣本的y 4分類精度，置信范圍由學習機器的復雜度(VC維)決定。l是樣本個數；參數h 稱為一個函數集合的vc維。當h l較大時，置信風險較大，此時用經驗風險近似期望風險就會出現較大的誤差。如果樣本數較多，使得hl較小，則置信風險就會較小，經驗風險最小化的最優解就會接近真正的最優解。“結構風險最小化原理”的基本想法是：如果我們要求風險最小，就需要使 得右側不等式中兩項相互權衡，共同趨于極小；另外，在獲得的學習模型經驗風險最小(分

34、類精度最高)的同時，希望學習模型的泛化能力盡可能大，即置信風險(VC維數)最小。根據風險估計公式(3-1)，如果固定訓練樣本數目1的大小，則控制風險R(a)的參量有兩個：Remp a和h。其中(1) 經驗風險依賴于學習機器所選定的函數 f(a,x)，我們可以通過控制a來控 制經驗風險。VC維h依賴于學習機器所工作的函數集合。為了獲得對 h的控制，可以將 函數集合結構化，建立h與各函數子結構之間的關系，通過控制對函數結構的選 擇來達到控制VC維h的目的。首先，運用以下的方法將函數集合f(x, a)結構化。考慮函數嵌套子集的 集合ss2Sksn,S （ 3-3）其中 Skf x,a ,a Ik并且

35、有s*Skk結構S中的任何元素Sk擁有一個有限的VC維hk 且h1h2hkhn,h如果給定一組樣本(Xi, yi),(xy),(Xi，yJ，結構風險最小化原理在函數子集Sk中選擇一個函數f(x,a；)來最小化經驗風險，同時確保置信風險最小.3.1.4支持向量分類器(1)最優分割超平面考慮將屬于兩類的訓練向量進行分類的問題，給定訓練集 (Xi, yi), ,(x,yi), ,(Xi,yi)其中x Rn, y ( 1, 1)需要找到分類器的超平 面.最優分類器就是要求分類線不但能將兩類正確分開(訓練錯誤率為0)，而且使分類間隔最大，即使離它最近訓練向量到它的距離達到最大的超平面.考慮參數w,b滿足

36、如下約束的規范超平面：mi n|w*x+b|=1( 3-4)該約束將w的模限定為離超平面最近的點到它的距離的倒數，如下圖：圖3.1最優分割超平面Fig.2-1 optimal segme ntati on hyperpla ne圖注：滿足規范超平面：min|w*x+b|=1該約束將w的模限定為離超平面最近的點到它距離的倒數規范形式的分割超平面滿足如下約束：y (w*x)b 1,i1, ,l(3-5)點x到超平面（w,b）的距離d(w,b;x)是:d(w,b;x)|w*x b|w|(3-6)最優超平面是在滿足（3-4）的條件下使如下的邊界距離（w,b）達到最大的超平面.2（血）mynid（w,b

37、;x）期加腫帥小）両(3-7)即使下式最小的超平面是最優的：(3-8)b無關。改變b 但是這時的超平1 2 （w） - |w|可見在滿足（3-5 ）的條件下，這時對應于超平面，上式與 只會使該超平面沿自身的法線方向移動， 其邊界距離沒有變化， 面不是最優的了，因為它離其中某一類會更近些。在滿足（3-5）的條件下求最解優化問題（3-7 ），可根據Lagrange乘數法轉 化為下式的鞍點過程：L(w, b,a)丄 |w2lai(Xi*w)b yi1i 1(3-9)其中，ai是Lagrange乘子.需要將上式相對于 w,b參數最小化并且相對于ai 0最大化.根據Lagrange對偶原理，該問題可以轉

38、換為其對偶問題如下,(3-10)maxW(a) maxmin L(w, b, a)相對于w,b使L最小化的方法如下,lai yi0laiXiyi 0i 1所以，問題的解是：1 la arg mina 2 ilajajyiyj(Xj * Xj)aij 1i 1(3-11)求出優化問題的解，就可以得到最優分割超平面如下：waixi yib w xr xs(3-12)i i2其中Xs是滿足下列條件的任何支持向量nf (x) sgn aiyi(Xi x) b*( 3-13)i 1如下圖所示：Fig. 3-2 support vector dots圖注:被圈定的實心點和空心點為不為零的支持向量的訓練點(

39、2) 支持向量機模型概括說，支持向量機就是首先通過用內積函數定義的非線性變換將輸入空間 變換到一個高維空間，在這個空間中求廣義最優分類面。SVM分類函數形式上類似于一個神經網絡，輸出是中間節點的線性組合，每個中間節點對應一個支持向 量。1.算法最終將轉化成為一個二次型尋優問題，從理論上說，得到的將是全局最 優點，解決了在神經網絡方法中無法避免的局部極值問題；2.算法將實際問題通過非線性變換轉換到高維的特征空間(Feature Space)，在高維空間中構造線性判別函數來實現原空間中的非線性判別函數，特殊性質能保證機器有較好的推廣能力，同時它巧妙地解決了維數問題，其算法復雜度與樣本 維數無關；S

40、VM分類問題大致有三種：線性可分問題、線性不可分問題。1.對于線性可分問題的解決：l* * *根據最優解a （aa2, ,aj 計算wyiaixi選擇a的一個正分量aj，并i 1據此計算b yjyiai（Xi,Xj）構造分劃超平面和決策函數，事實上，a*的每一個分量a：都與一個訓練點相對應，而分劃超平面僅僅依賴于ai不為零的 訓練點，而與為零的訓練點無關。我們稱a：不為零的這些訓練點（即下圖中被圈定的點）的輸入Xi為支持向量。圖3-3支持向量Fig.3-3 support vectors圖注：被圈定的點為支持向量。對于線性不可分問題，有兩種解決途徑：1. 一是一般線性優化方法，引入松弛變量，此

41、時的優化問題為min (w)一 (w, w)(i=1,2,，n)(3.14)yi (w, Xi) b 1 i 0如下圖所示:圖3-4松弛變量的引入Fig.3-4 relaxed variable in troductio n2.二是V.Vapnik弓I入的核空間理論：將低維輸入空間中的數據通過非線性函 數映射到高維屬性空間H(也稱為特征空間)，將分類問題轉化到屬性空間進 行。可以證明，如果選用合適的映射函數，輸入空間線性不可分問題在屬性 空間中將轉化為線性可分問題。屬性空間中向量的點積運算與輸入空間的核 函數對應。從理論上講，滿足 Mercer條件的對稱函數K(x,x)都可以作為核 函數。目前

42、研究最多的核函數主要有三類：?多項式內核k(x, Xi) ( x Xi) cq得到q階多項式分類器? 徑向基函數內核RBFk(x,Xi) exp |X?2每個基函數中心對應一個支持向量，它們及其輸出權值由算法自動決定。Sigmoind 內核k(x, xj tanh(v(x xj c)包含一個隱層的多層感知器，隱層節點數由算法自動決定引入核函數后，向量的內積都由核函數來代替：1 naiajyiyjK(Xi,Xj)2i,j 1min Q(a)nai,i 1ai 0,nyiaii 1(3-15)分類函數式變為:f(x)sgnna*yiK(Xi,x) b*i 1(3-16)根據KT條件有：對于非支持向

43、量滿足ai 0，上式只需要對支持向進行。任意選一支持向量Xi，式中的b由下述方程式給出:nyiai yK(Xi,x) b 1(3-17)通常，在上式中也會引入松弛變量，此時該式的第一個約束條件為ai 0,C, 其他各式沒有變化。式(3-16)所示即為所謂的SVM莫型。從上 面的討論中不難看出，在模式識別領域具體應用SVM勺步驟為：1) 選擇適當的核函數；2) 求解優化方程，獲得支持向量及相應的Lagrange算子；3) 寫出最優分界面方程。(3) 非線性向量機與廣義最優分類面實際上，多數模式識別分類問題在原始的樣本空間內樣本點都是線性不可分的，SVM采用的做法是：用一非線性映射函數：RdRF

44、,把原始空間的樣本，映射到高維特征空間F (也可能是無窮維的)，然后在此高維特征空間構造最優 分類面。由于訓練算法只用到空間中的點積，即(xJ?(Xj)，如果能夠尋找一個核函數k()，使得k(Xi,Xj) (Xi) ?(Xj),這樣，在高維空間的運算僅僅是內積的計算， 并且這種內積的計算可以在原始空間中實現的，沒有必要知道具體的形式。但是并不是所有的核函數K都滿足這個要求，根據 Hilbert-Schimidt 原理，只要這 種核函數滿足Mercer條件，它就可以作為內積使用。用核函數k(xi,xj)代替最優分類面的點積就可以實現某一非線性變換后的線性分類，并且沒有增加計算的復雜度。這樣處理以

45、后就可以克服所謂“維數災難”問題。3.2支持向量機在群體異常行為檢測中的應用當一幅視頻圖像進入系統后，我們首先按第二章中介紹的方法得到該視頻的 時空特征點，建立描述符，聚類建模，根據描述符，將描述符聚類，看屬于高斯 模型的概率，如此對所有的訓練視頻進行特征點提取，儲存訓練基，最后將所存取的每幅圖像的每段視頻的視頻向量連同該幅圖像所代表的分類(在二分類中， 即為1或-1 ) 一同輸入進行svm分類器訓練，在訓練過程中，正常行為作為正樣 本，異常行為作為負樣本。對于正樣本，系統輸出為+1,對于負樣本則輸出為-1 測試時，將測試樣本出入到經過訓練得到的分類器中，如果輸出為 +1,則該樣本 該行為為正

46、常行為；否則，該行為是異常行為。為了評價分類結果，引入正確分類率PCF作為評價標準，正確識別率的定義如下： 正確識別率=識別正確的樣本數T/總測試樣本數No3.2.1異常行為檢測實例及分析(1) 視頻庫本實驗中共選取了 25幅視頻作訓練樣本，其中正常行為為13張，異常行為視頻圖像為12張(2) 程序實現及結果分析對視頻圖像進行檢測，其程序實現框圖可以歸納如下:3. 前期訓練機過程處理:輸入訓練樣本圖像：對樣本視頻進行底層運動特征提取處理后，進行聚類和建模 生成視頻向量，依次對所有的視頻樣本進行上述操作， 每一幅都會得到一組視頻 矢量，所有樣本圖像進行svm高斯徑核函數訓練，訓練機器完成。4.

47、SVM的訓練和測試將上述訓練好的SVMS行已知的視頻圖像的異常行為測試， 計算準確率，如果準 確率大于80%則SVM就可用于未知視頻的異常行為的檢測中去。其中，正確率 =正確樣本視頻數T/參與測試的總的樣本視頻數 N5. 利用SVMt進行群體異常行為的檢測利用已經完善的SVM進行群體異常行為的檢測，判斷未知視頻是否是異常行為。 本章主要介紹了支持向量機 SVM的一些基本的原理以及統計學習理論，闡述了 SVM的核心算法，為后續工作做一些相關的鋪墊，對后面將要進行的利用SVM 來進行群體異常行為檢測有很好的幫助，闡述了如何使用SVM進行群體異常行 為的檢測，SVM的訓練，并利用完善的SVM進行群體

48、異常行為的檢測試驗。3.3本章小結本章我們介紹了 SVM的基本原理和一些算法和 SVM的應用，用SVM完 成正常行為和異常行為的訓練和學習，在此之前，我們首先要介紹的是對描述符 進行聚類和建模，聚類我們選用的EM參數估計方法，建模我們選用的高斯混合 模型，在實驗過程中，我們對散步，慢走等行為和逃跑行為分別進行訓練和識別。 在訓練過程中，正常行為作為正樣本，異常行為作為負樣本。對于正樣本，系統 輸出為+1，而對于負樣本則輸出為-1。測試時，將測試樣本出入到經過訓練得到 的分類器中，如果輸出為+1,則該樣本為正樣本，即該行為為正常行為；否則， 該行為是異常行為。同樣對待識別的視頻進行異常行為檢測判

49、別時，對視頻處理 后，利用分類器（實際是生成的判別函數）進行分類，得到異常行為的識別。4. 實驗數據以及結果4.1引言本章中出現得實驗的結果，主要包括三個方面，時空特征點的提取實驗和構 建描述符實驗聚類實驗，下面我們將對實驗結果進行總結與分析。4.2實驗結果本次試驗中我們選取的delta和tao均為2.5,目的是在最合適的范圍內，選擇 最佳的效果，時空特征點截取的視頻如圖所示(1) 時空特征點的提取：三種場景下的逃跑異常行為提取的時空特征點三種場景下人們散步交談的正常行為提取的時空特征點(2) 描述符的部分數據如下：0.051781 0.043580 0.012640 0.033078 0.005963 0.007863 0.008946 0.0517810.043580 0.012640 0.033078 0.005963 0.007863 0.0089460.051486 0.031514 0.008255 0.032448 0.006343 0.007416 0.