1、1原始視頻的特征提取(1) 光流場 光流場是空間運動物體在觀測成像面上像素運動的瞬時速度。 它利用圖像序列中的像素強度 數(shù)據(jù)的時域變化和相關(guān)性來研究圖像的灰度在時間上的變化與場景巾物體結(jié)構(gòu)及其運動的 關(guān)系。光流法通常假設相鄰幀的圖像差異非常小，從而獲取對真實運動場的近似估計【31。它不用預知任何先驗知識， 即能提供有關(guān)運動速度及圖像中運動區(qū)域的簡潔描述， 適用于攝 像機運動的情形。 但光流法易受噪聲及光照變化的影響， 且計算較為復雜， 很難用于實時的 視頻監(jiān)控系統(tǒng)。(2) 點軌跡 目標的運動軌跡也可以作為特征， 從而大致推斷出目標運動所屬的行為類別。 但圖像平面上 的軌跡對平移、 旋轉(zhuǎn)和縮放等

2、變換比較敏感， 因此在大多情形下， 此特征顯得不夠可靠。常 用的替代特征表達有軌跡速度、時空曲率等【4， 51。運動軌跡的獲取比較依賴于精確的跟蹤算法。從原始視頻中提取點軌跡特征同樣容易受到噪聲、遮擋及混亂背景等的影響。(3) 人體形狀表達 在攝像機固定的情形下， 假設背景已知， 通過背景剪除法可以很容易得到運動人體形狀。 基 于全局、邊界及骨架等的描繪子都可以用來表達人體形狀。全局方法 16,71 如剪影、矩等是 在整體形狀區(qū)域內(nèi)計算描繪子，而邊界方法僅考慮形狀輪廓【81,骨架i方法則是用一組ID骨架曲線代表一個復雜的人體形狀，比如中軸變換 91 等。(4) 濾波器響應空時濾波器響應是一個廣

3、義上的分類。Zhang等【Io】存時間軸上計算高斯導數(shù)，將濾波器響應較高的區(qū)域作為運動區(qū)域。 Laptevl " 1利用一組空時高斯導數(shù)濾波器將Harris角點檢測擴展應用于三維的視頻數(shù)據(jù)從而檢測出空時興趣點。 這類方法大都基于簡單的卷積操作, 運 算快速而簡便。 當視頻分辨率較低的情形下, 提取光流或剪影特征較為困難, 利用濾波器響 應特性可以從視頻數(shù)據(jù)中提取有效的底層特征。2低層特征的描述與識別我們將低層特征的描述與識別方法分為三類： 非參數(shù)方法、 空時體方法和參數(shù)時序法, 分 別對現(xiàn)有方法進行歸類,并作一個簡短的綜述。21 非參數(shù)方法(1 )模板匹配法 這類方法需要對每種行為的

4、特征建立相應的模板, 將獲取的特征數(shù)據(jù)與模板相匹配, 通過計 算兩者之間的相似度進行識別。 PoIana 和 NeIson4 刀將整個序列分解為多個周期行為,利 用二維網(wǎng)格特征識別各種行為。 Bobick 和 Davis391 將圖像序列轉(zhuǎn)換為運動能量圖像(膨酣 )和運動歷史圖像(朋m)模板，MEI反映運動覆蓋的范圍及強度，而MHI反映運動在時間上的變化情況。Weinland等【拍】提出運動歷史體積(MHV)模板，從多個視角重建目標并將其投 影到圓柱坐標系,提取 Fourier 變換特征以描述行為。 Wang 和 Suter451 也將整個行為過程 融合為基于輪廓的平均運動形狀(MMS)和基于

5、運動前景的平均運動能量(彳A扭)兩個模板。模板匹配法計算復雜度低、 實現(xiàn)簡單, 但它本身無法描述動態(tài)系統(tǒng), 也不能完全反映數(shù)據(jù)在空 問上的分布屬性,具有一定的局限性。而且不同行為之間執(zhí)行速率的不同、噪聲、 光照等因素都會影響模板匹配的準確性。(2) 目標建模法 行為可以通過建立人體動態(tài)表觀模型進行描述。常見的人體模型有棍圖模型【109 、2D 模型例及3D模型51。3D人體建模是最常用的人體結(jié)構(gòu)表征方法，通過跟蹤人體模型中主要 關(guān)節(jié)點的坐標、關(guān)節(jié)之間的角度、關(guān)節(jié)點運動的速度及角速度可以分析人體各種行為。3D模型包含深度信息， 因此它能夠有效解決自遮擋和自碰撞問題。 行為本身也可以看成是一個 3

6、D空時目標，如Mahmood等【1刁在聯(lián)合X. Y-T空間將整個行為表示為圓柱體模型。Yalmaz和Shahll31將跟蹤獲得的人體 2D輪廓堆疊成聯(lián)合 X. Y-T空間中的目標，這種表達同時刻畫 了人體表觀及動態(tài)運動特性。從X. Y玎空問的表達中提取的各種幾何特征，如峰、凹點、谷及脊等， 可以作為目標表面的捕述， 但它需要建立序列幀點與點之間的對應關(guān)系。 Gorelick 等【6】采用背景剪除后的二值剪影替代人體輪廓，構(gòu)造出X. Y-T空間一上的空時目標，雖然它不需要建立序列 l；!ji 之間輪廓點之間的對應關(guān)系，但僅適用于攝像機固定的情形。(3) 流形學習法 行為識別中所處理的視頻數(shù)據(jù)處于

7、三維空間， 若將序列中每幀圖像轉(zhuǎn)換為向量并按時序排列 構(gòu)成矩陣處理，將會遭遇“維數(shù)災難” ，同時也會引起小樣本問題。而流形學習方法假設數(shù) 據(jù)均勻采樣J:高維歐氏空間中的低維流彤，從高維采樣數(shù)據(jù)中恢復低維流形結(jié)構(gòu)，并求出 相應的嵌入映射， 以實現(xiàn)降維。 它可分為線性方法及非線性方法。 線性流形學習假設數(shù)據(jù)位 于線性空問，包括 PCA、ICA等方法。但在實際情形下，數(shù)據(jù)并非位于線性空間，需要從大 量樣本中學習流形的內(nèi)部幾何結(jié)構(gòu)。 非線性流形學習方法大體分為兩類， 一類基于全局方法， 如等距映射(屆g糾尸)，計算每一個數(shù)據(jù)點與其他數(shù)據(jù)點關(guān)系而建立全連接圖。另一類方法 基于局部， 即考慮每個數(shù)據(jù)點與它

8、鄰域內(nèi)的點的關(guān)系， 定義圖中的邊及其權(quán)重， 如拉普拉斯 特征映射。一些非線性方法的線性近似，如Lppt48,108l ，加入類別信息的流形方法如LSTDE491可以直接求得投影矩陣用于解決新樣本的低維嵌入問題。流形學習方法可用于 行為分析中原始數(shù)據(jù)的降維，采用NN/kNN、SVM及Boosting等方法對低維空間中的特征數(shù)據(jù)進行分類可以識別不同行為。2. 2 空時體方法(1) 空時濾波法視頻數(shù)據(jù)可以看成由每幀圖像按時序構(gòu)成的空時體， 具有三維空時結(jié)構(gòu)的濾波器可以用來描 述視頻數(shù)據(jù)的空時特性，進而提取行為特征。Chomat和Crowley/" 1從視頻中分割出不同的空時體，用方向和空間

9、上的不同尺度及時問上的單一尺度構(gòu)成的 Gabor 濾波器組在每個像 素點上計算局部表觀模型， 通過每幀中單個像素點概率空間的平均值對行為進行識別。為了適應不同的執(zhí)行速率，Manor等f”在時間上的不同尺度得到空時梯度表示的歸一化局部直 方圖， 并使用卡方距離度量它與存儲模板之間的相似度。 濾波器方法雖然實現(xiàn)簡單， 但在實 際應用中， 濾波器的合適帶寬并非先驗已知， 需要不同空間和時間尺度上的濾波器組獲取其 動態(tài)行為， 且每個濾波器產(chǎn)生的響應與輸入體的維數(shù)相同， 因此這種方法必須付出較高的計 算代價。(2) 基于部分的方法視頻數(shù)據(jù)可以看成是局部的集合，其中每個子部分都包含著明顯的運動模式。Lap

10、tev111 將Harris 角點檢測器擴展到空時表示形式，在不同級別的尺度上計算空時梯度，由每個點及其 鄰域內(nèi)的梯度信息產(chǎn)生空時二階矩的估計， 從而提取局部特征。 Dollar 等 fl 61 在訓練數(shù)據(jù)中 的空時興趣點上提取空時梯度，采用 K 均值聚類方法獲取特征原型，對視頻體進行建模。 Niebles 掣"1 從包含空時興趣點的子體積中提取特征并聚類乍成 Bag. of-Words 模型，采用 SVMs識別各種行為。不同的行為可能包含相似的空時子部分，而子部分之間的幾何關(guān)系卻 各不相同。 但以上這些方法都不能對局部的全局幾何進行建模， 在不同行為之間可能造成歧 義性。 Boim

11、an 等 f18 】和 Wong 掣 1 叨將全局幾何引入到基于部分的視頻體表示，將其看成 是各子部分的星群。 當子部分數(shù)目較多時， 這種方法的計算量也會相應地增大。 Song 等 1201 采用三角化的方法逼近星群之問的連接關(guān)系， 從而解決計算花費偏高的問題。 Niebles 和 Li2” 提出一個層級模型，其中較高的層級是各部分的星群，星群中的各部分則由低層 Bag of-Features 構(gòu)成。基于部分的方法大多需要基于空時興趣點提取梯度或強度特征，在 比較平滑的運動中， 興趣點十分稀疏， 在行為本身不連續(xù)或視頻質(zhì)量不高的情形下， 梯度或 強度特征也顯得不夠可靠。(3) 分體匹配法 分體

12、匹配法一般通過匹配輸入視頻體與三維模板分體之間的相似度從而對人體行為進行分 析。與基于部分的方法不同， 它不需要在不同尺度空問中獲取行為特征， 而是直接判斷其所 包含的局部空時片段(Local Spatio. Temporal Patches)之間的運動相似度來尋求匹配。然而， 從視頻體分割出分體再進一步得到空時片段， 反復地匹配空時片段之間的相似度， 同樣也會 產(chǎn)生巨大的計算花費。 Shechtman 和 Irani221 通過發(fā)掘空時運動之間的相關(guān)性實現(xiàn)未知行為 數(shù)據(jù)與模板之間的匹配。Ke掣241通過空間觀上的像素點聚類得到分體，分體是空間上的連續(xù)區(qū)域， 而視頻體可以看成是任意形狀分體的集

13、合。 給定的一段視頻被重復分割成多個分 體，將每個分體區(qū)域與已知行為的模板相匹配， 尋找與模板達到最大匹配的最少分體的集合。Yuan等【51】利用基于貝葉斯的互信息最大化方法將提取的空時興趣點根據(jù)其所屬的行為類 別按正負投票輸出， 行為檢測即是尋找包含最大投票輸出值的分體。 分體匹配法容易受到 背景變化的影響， 但對噪聲及遮擋等干擾因素則具有一定 征【23】，則可降低這類方法對表 觀變化的敏感性。(4) 基于張量的方法將行為表示為三維空時體， 則可以很自然地作為一個三階張量， 其中兩維表示空間， 另一維 表示時間。傳統(tǒng)的視頻處理方法需要將視頻中人體行為所在的每幀圖像轉(zhuǎn)為向量并按時問順 序堆疊成

14、矩陣處理，由于矩陣的向量由圖像轉(zhuǎn)換而來，一般具有很高的維數(shù)，以100x120大小的圖像為例， 對應于矩陣中的向量為 12000 維。與這種傳統(tǒng)表示相比， 張量以自然地形 式表示數(shù)據(jù)，既避免造成了維數(shù)災難，又保留了視頻數(shù)據(jù)內(nèi)部圖像的窄問結(jié)構(gòu)信息。Kim 等【25】將典型性相關(guān)分析(CCA擴展應用到三階張量情形，實現(xiàn)測試行為與已知類別行為之 間相關(guān)性的直接度量。 Vasilescu261 將行為類別、人的身份及關(guān)節(jié)軌跡分別作為張量獨立的 一維，構(gòu)成高階 (三階或三階以上 )張量，張量分解為對應的模式則可得到行為類別或行為者 的身份。Wblf等27】把Low. Rank SVM擴展到張量空間并用于行

15、為識別。當然，張量方法 也可與其它方法相結(jié)合，如凌等【521采用Tensor PCA、Tensor LPP及有監(jiān)督的Tensor LPP獲取行為的低維特征表示， 進而通過最近鄰方法識別各種不同行為。 基于張量的方法不需要 中間層表示，比如部分、分體等，直接在行為之間實現(xiàn)整體匹配。其它特征如光流場、空時 濾波響應等也可加入到張量框架中， 作為張量空間中任何獨立的一維構(gòu)成高階張量， 以增強 不同行為之問的可辨識度。2. 3 參數(shù)時序方法 非參數(shù)方法和空時體方法一般用于識別簡單行為固， 而參數(shù)時序法則更適用于復雜行為， 如 芭蕾舞視頻中的旋轉(zhuǎn)動作，交響樂中的指揮手勢等。(1 )隱馬爾可夫模型 (刪)

16、隱馬爾可夫模型能夠匹配時變數(shù)據(jù)， 是一種比較常用的狀態(tài)空問法。 它涉及訓練和分類兩個階段。訓練階段指定模型的隱藏狀態(tài)數(shù)，優(yōu)化相應的狀態(tài)轉(zhuǎn)換和輸 m 概率，便于產(chǎn)生與特 定行為特征相對應的輸出類別符號。 分類階段需要計算 HMM 對應于行為特征的不同測試符 號的概率。Yamato等【281對每個行為類別的前景圖像序列建模，能夠識別擊球、攔網(wǎng)等網(wǎng)球動作。隨后， HMM 也被廣泛用于手勢識別 29'301 。場景中一般存在著交互式行為，但 HMM 的結(jié)構(gòu)導致它只能為單一的動態(tài)過程建模，為解決此問題，Brand 等【 31】提出耦合隱馬爾可夫模型 (CoupledHMM) 為多個交互的動態(tài)過程

17、進行建模，可以將多個動態(tài)過程的特 征空問分解，減少狀態(tài)個數(shù)并降低了算法復雜度。 Honggeng 和 Nevatial321 將狀態(tài)間隔的先 驗置信度引入 HMM ，提出半監(jiān)督隱馬爾可夫模型 (Semi-supervisedHMM) 。 Nguyen 等【 33】 采用分層隱馬爾可夫模型 (Hierarchical 刪)分析長時間內(nèi)的人體行為，能夠更 HMM 具有很強的泛化能力，可以用于時序數(shù)據(jù)的建模，在行為單元起止時間未知的情形下，HMM 同樣適用。但 HMM 只能識別預先定義的行為， 其內(nèi)部狀態(tài)轉(zhuǎn)移矩陣和觀測模型中參數(shù)估計的復雜 度隨目標個體的數(shù)目增加呈指數(shù)型增長。(2)線性動態(tài)系統(tǒng) (三

18、 D S) 線性動態(tài)系統(tǒng)是 HMM 的一般形式， 狀態(tài)空間不必受限于符號的有限集合， 可以擴展到狀態(tài) 空間中的連續(xù)數(shù)值。更準確地說，LDS是帶高斯觀察模型的 HMM在連續(xù)狀態(tài)空間上的泛化。 Vaswani 等【 34】將連續(xù)狀態(tài)空間下的HMM 用于檢測異常行為。 Cuntoor 和 Chellappa351將視頻分成小段， 假定每段的目標動力(Dynamics ofObjects)為線性，以縮影(Epitomic)的方式 對行為進行建模。和 HMM 樣，LDS也是時不變模型，不適用于非平穩(wěn)行為的識別。(3)非線性動態(tài)系統(tǒng)HMM和LDS是非常有效的建模工具，但它們只限用于線性平穩(wěn)的動力中。假設一個人彎腰 撿起東西放到附近的桌子上再在椅子上休息， 這一行為包含一系列的片段， 每個片段都必須 使用LDS建模。整個過程即在不同的 LDSs之間切換，生成切換線性動態(tài)系統(tǒng)(Switching LDS)。 SLDS帶有切換函數(shù)，通過控制模型參數(shù)在不