人體行為識別總結圖像預處理運動目標檢測運動目標分類運動目標跟蹤行為識別與理解圖像預處理噪聲可以理解為“妨礙人們感覺器官對所接受的信息理解的因素”，例如一幅黑白圖像，其亮度分布函數為F(x，y)，那么對其干擾作用的亮度分布R(X，y)便稱為圖像噪聲。改善圖像質量的方法大致有兩類:一類是不考慮圖像降質的原因，只將圖像中感興趣的部分加以處理或突出有用的圖像特征，因此改善后的圖像并不一定去逼近原圖像。這一類圖像改善方法稱為圖像增強，主要目的是提高圖像的可懂度。另一類方法是針對圖像降質的原因，設法補償降質因素，處理后的圖像盡可能的逼近原始的圖像，這類方法稱作是圖像恢復或圖像復原技術。運動目標檢測方法目的是從序列圖像中將變化區域從背景圖像中提取出來。目前比較常用的檢測算法主要有：（1）時間差分法（TemporalDifference）（2）背景減除法（BackgroundSubtraction）（3）光流法（OpticalFlow）時間差分法又可以稱為幀間差分法、幀差法。幀差法用相鄰兩幀或三幀的像素差分值來提取圖像中的運動區域，如果差的絕對值小于某一閥值，則認為此像素點屬于背景；反之，則屬于前景。（1）時間差分法（TemporalDifference）當攝像頭與場景靜止時，圖像具有相同的背景。因此將同一背景不同時刻兩幅圖像進行比較，可以反映出一個運動物體在此背景下運動的結果，與時間差分法相比，基于背景減除法的運動目標檢測方法可以提取出更為完整的目標圖像，但在實際應用中所采集到的背景圖像隨著時間的推移，會對光照和外部條件造成的場景變化比較敏感，會出現許多偽運動目標點，影響到目標檢測的結果為了解決上述兩種問題，kim提出的一種運動檢測方法，在利用連續兩幀圖像差的同時又加入了背景圖像差，將兩者結合起來，比較精確地提取了二值運動模板。光流法的基本原理是:給圖像中的每一個像素點賦予一個速度矢量，形成一個圖像運動場，在運動的一個特定時刻，圖像上的一點對應三維物體上的某一點，這種對應關系可由投影關系得到，根據各個像素點的速度矢量特征，可以對圖像進行動態分析。光流可以反映出運動目標的速度的大小和方向。運動目標分類是指區分出場景中的人和其他運動物體，目標分類的目的就是正確地從檢測到的運動區域中將人體的運動區域提取出來。運動目標分類目標分類主要方法有：（1）基于形狀信息的分類（ShapeBasedClassification）（2）基于運動特征的分類（MotionBasedClassification）

（1）基于形狀信息的分類（ShapeBasedClassification）基于形狀信息的分類是對所檢測出來的運動目標，根據它們的形狀輪廓信息來進行分類。該方法采用區域的寬高比、投影特性、輪廓變化、直方圖、面積信息等特征作為物體分類的依據。（2）基于運動特征的分類（MotionBasedClassification）

人體的運動有時呈現出一定的周期性，同時也是非剛體運動。基于運動特征的分類通常使用人體運動的周期性，有效地區別出人與其他物體。（1）基于模型的跟蹤（ModelBasedTracking）基于模型的跟蹤能夠較為容易地解決遮擋問題。缺點是運動分析的精度取決于模型的精度，模型太過精細維數較高，運算也比較復雜，另外，在圖像分辨率低的情況下，模型參數的估計比較困難。（2）基于區域的跟蹤（RegionBasedTracking）

基于區域的跟蹤是對運動對象相應區域進行跟蹤，它將人體劃分為不同的小塊區域，通過跟蹤小區域來完成人的跟蹤。人體輪廓（4）基于特征的跟蹤（FeatureBasedTracking）

基于特征匹配的目標跟蹤方法包括特征提取和特征匹配兩部分。特征提取是指在圖像處理過程中提取運動目標的一些特征，比如紋理、顏色和形狀等。特征匹配是指將當前幀中提取出的特征和上一幀的特征按照某種規則進行比較，滿足規則要求的兩個特征形成匹配。行為分類技術分類問題就是將測試序列與訓練后的行為模式進行匹配，關鍵問題是如何從訓練樣本中獲取行為模式以及如何度量測試序列與行為模式之間的相似性。常見的分類方法有：（1）模板匹配方法（2）狀態空間方法（3）詞袋模型（4）文法技術法（1）模板匹配方法（TemplateMatching）模板匹配方法首先從給定的序列圖像中抽取相關特征，接著將圖像序列轉換為一組靜態形式模板，再接著通過測試序列的模板與事先存儲著的代表“正確”行為的模板匹配來獲得識別結果。

（3）詞袋模型對特征向量進行聚類，將每一類特征看做--個“詞”，構成詞袋模型中的詞庫。（4）文法技術法文法技術法是指將行為的過程和結構通過人工定義或機器學習的語法來表示，而所謂語法就是用于表達行為過程或結構規律的一系列規則。特征的表示A)特征描述子。特征描述子一般用來描述一個運動點所在區域內部的特征信息。B)特征詞袋表示。特征詞袋（BagofWord）是將物體的特征作為一系列無序的單詞集合以及關于這些單詞的無關文法。特征詞袋表示方法在文字語言理解和檢索方向有著深入的應用。時空特征通過采用二維形狀在一段時間內形成的空時立體或差分圖像來描述行為，集合了形狀和運動特征兩者的優點。時空特征不僅包含人動作姿態的空間信息(人體軀干和肢體的位置、方向等)，而且還包含運動的動態信息(人體的全局運動和肢體的相對運動)。時空特征是含有時域信息的運動特征。它把視頻中目標的運動看做是一個按時間組成的圖像序列。也可以認為是一個3維特征，只是其中一維是時間。時空特征也可以分為全局時空特征和局部時空特征兩大類。全局時空特征將人體區域當做一個整體進行描述，而局部時空特征則首先描述行為視頻中的若干個子部分，然后通過組合各于部分來實現對行為的整體描述。典型的全局吋空特征運動歷史圖像MotionHistoryImage(MHI)運動能量圖像MotionEnergyImage(MEI)。每個MHI和MEI都由連續若干幀的人體輪廓圖像構成。其中MEI描述行為在-段時間內的空間分布信息，MHI則描述行為在一段時間內的時間先后順序。典型的局部時空特征時空興趣點是一種典型的局部時空特征。模型的學習和行為識別個人理解：對人體行為樣本進行訓練然后與視頻中的行為匹配進行識別。（例如：學習敬禮姿勢，然后記住，入庫，最后識別與之相似的姿勢）支持向量機(SVM)一種由統計學習理論發展起來的新型機器學習算法。興趣點：個人理解：運動比較明顯的地方聚類：個人理解：人物分開，人是一類，物是一類，或者人的某種狀態是一類另一種狀態是一類。魯棒性：個人理解：健壯性，比如一臺計算機文件出現錯誤，魯棒性好的計算機不死機，魯棒性差的就會死機。碼本：個人理解：應該和詞袋相似運動熵：表示了打斗目標運動的混亂特性圖像平滑：抑制或消除噪聲，改善圖像質量。這個過程就稱為圖像的平滑過程。行為識別論文總結基于打斗過程中運動能量特征的打斗行為識別研究少數人打斗行為的三個特征，即被檢測目標的運動速度、運動的混亂程度以及多個目標之間的距離。當目標的運動越劇烈、運動混亂程度越大、多個目標之間的距離越小時，發生打斗的幾率越大。打架行為的能量值非常大，且變化極不規律，當動作非常劇烈時達到極大值基于時空單詞的兩人交互行為識別方法

這篇論文主要將時空興趣點劃分給不同的人并在興趣點樣本空間聚類生成時空碼本，通過投票得到單人的原子行為時空單詞，采用條件隨機場模型建模單人原子行為,在兩人交互行為的語義建模過程中,人工建立表示領域知識(domainknowledge)的一階邏輯知識庫,并訓練馬爾可夫邏輯網用以兩人交互行為的推理.實質上和上面的差不多，只是采取的方法不同，本文采用時空單詞分別用于單人原子行為，然后在交互訓練，最后通過馬爾科夫網絡進行推理識別。基于空間分布特征的人體動作動態建模識別提出基于空間分布特征的人體動作動態建模識別研究方法．先提取光流表現的運動特征和輪廓表現的表面特征，再利用光流和輪廓幀內的分布描述空間結構，建立自回歸滑動平均動態模型獲取動作動態特性(時間結構)，最后結構融合兩種特征建模后取得的模型參數特征識別人體動作．基于光流的人體行為識別本文針對教室內學生的站立和坐下的視頻，提出了基于光流的人體行為識別算法。首先獲取當前幀