1、動態手勢(shush)軌跡跟蹤與HMM模式識別林偉強 莊寶山(bo shn)（福州大學數學(shxu)與計算機科學學院）摘要 為了理解用戶手勢的含義，本文首先利用攝像頭捕獲連續運動的手勢，隨后將其進行部分圖像的預處理操作，利用手勢分割技術將手勢部分分割出來，并提取手勢的質心以及面積的大小作為特征向量，用于建立隱馬爾可夫模型的參數，最終形成一個能理解用戶手勢操作的系統，并對其進行應用。關鍵詞 手勢識別 隱馬爾可夫模型 手勢分割Dynamic Hand Gesture Trajectory Tracking And Hidden Markov Model RecognitionLin Wei-qi

2、ang Zhuang Bao-shan(Department of Mathematics and Computer Science, Fuzhou University)Abstract To understand the meaning of users hand gestures, first of all, this article uses cameras to capture a series pictures of moving hands and then predo these pictures by using the technology of hand gestures

3、 segment to identify hands, extracting the central position and calculating the areas of hands, using these elements to build hidden markov model. Finally to form a system which can understand the meaning of users hand movement.Keywords Hand Gesture Trajectory Tracking, HMM, Hand Gesture Segment一、引言

4、隨著科技技術的日新月異，計算機科學的蓬勃發展，計算機已經成為了人們生活中不可獲取的一個主要物品。而在其間，人機交互技術大大的方便了人們的生活，儼然成為了眾多學者研究學習的主要內容。由于手勢動作能夠很好的表現人們想要傳達的意思，使之成為計算機與人交互的主要方式之一，因此手勢的識別在這些研究課題中成為了熱門話題。本文是基于攝像頭捕獲圖像后，利用圖像處理技術進行動態手勢軌跡的跟蹤與HMM模式的識別。其內容包括圖像預處理、手勢分割與定位、手勢的分析以及基于HMM模式的手勢識別四大塊的研究，并給出了自己的設計方案。在手勢識別過程當中，不論是靜態手勢還是動態手勢，都必須首先獲得手勢的圖像，隨后進行手勢的檢

5、測，手勢分割，手勢的分析，最后進行手勢的識別。具體流程如圖1所示。手勢分析手勢檢測與分割圖像獲取手勢識別圖1 手勢識別的流程迄今為止，隱馬爾可夫模型在識別(shbi)領域已經有著形形色色(xng xng s s)的應用(yngyng)。如Schlenzig【1】利用隱馬爾可夫模型進行的手勢識別，研究過程中為每個手勢賦予一個隱馬爾可夫模型用于后續識別手勢含義。再如Nam與Wohn【2】研究的手勢識別系統，通過該研究很好的讓計算機理解時空手勢的含義。卡內基梅隆大學的Christopher Lee與 Yangsheng Xu【3】，他們利用隱馬爾可夫模型，開發了一套手勢識別的系統，判斷手勢含義。二、

6、HMM理論基礎隱馬爾可夫模型是可用于標注問題的統計學習模型。該模型描述由隱藏的馬爾可夫模型隨機生成觀測序列的過程，其中狀態的轉移以及觀測序列的輸出都是隨機的。其中狀態轉移的隨機過程是隱式的，通過觀察序列的隨機過程表達出來 4。由于人的手勢的運動（包括其運動方向和形態的變化）存在著很大的隨機性，所以用HMM模型來描述手勢的運動，可以滿足手勢的隨機運動及變化的特性。在文獻1中對隱馬爾可夫模型做出了定義，隱馬爾可夫模型是由初始概率向量、狀態轉移概率矩陣A和觀測概率矩陣B決定。和A決定狀態序列，B決定觀測序列。因此，隱馬爾可夫模型可以用三元符號表示，即=(A,B,)這種模型的結構主要有兩種，一種是各類

7、狀態都經歷的模型，一種是從左到右模型。其中從左到右的模型可以用來模擬手勢隨時間變化的特征狀態，所以本文選擇了從左到右的HMM模型結構。從左-右的隱馬爾可夫模型包括兩種（三狀態轉移和兩狀態轉移），對于手勢的運動表達他們都能取得很好的效果。本文采用的是二轉移的HMM。本文在構建基于隱馬爾可夫模型的識別系統之前，需要對其3個關鍵的問題給予解決方法，他們分別是對于一個觀測序列與一個隱馬爾可夫模型=(A,B,)：用什么方法去計算已知模型參數下觀測序列O下的概率PO。如何選擇一條最優的路徑，用來最好的解釋觀測序列O。怎樣選擇模型的三個參數，使得PO達到最大。只有在解解決了這三個問題以后，才能夠運用隱馬爾可

8、夫模型。首先在求觀測序列的概率PO可以使用前向概率和后向概率算法，獲得PO的值，求最佳狀態序列可以采用Viterbi算法，最后要是模型概率達到最高值，使用Baum-Welch算法。得到模型的參數=(A,B,)后，就可以運用HMM模型，進行手勢的識別。三、手勢(shush)分析手勢分析是完成手勢識別的關鍵技術，其結果(ji gu)將直接影響到識別階段的識別(shbi)率。通過手勢的分析階段的工作，可以獲得手勢的一些特征，并將其運用到識別階段。這些特征可以包括手勢的形狀特征、運動的軌跡、面積大小等，他們與手勢所表達的意義直接相連。本文采用手的質心位置的變化特征以及手部分面積變化來對運動的手勢含義進

9、行分析。在對手勢進行分析之前，首先需要將手勢部分很好的分割出來，因為是否能準確分割出手的部分對后續的特征提取以及手勢的識別階段的準確率會造成巨大的影響。但是由于光照強度不同的問題，往往會對手勢分割帶來巨大的困難。為了解決光照問題對手勢分割的影響，本文采用幀間差分結合膚色建模的方法來分割手勢。3.1、幀間差分技術幀間差分法【5】是通過相鄰兩幀圖像做相減操作后，得到運動部分圖像的方法，只要獲取的圖像內物體有變化運動，那么幀間差分法就能很容易的將他們提取與識別出來。在具體運用當中常常設置一個閾值，當攝像頭捕獲的相鄰兩幀圖像相減過后的值大于所設置的閾值之時，就可以判斷當前圖像中有存在運動的物體。在手勢

10、識別系統當中運用了這種方法，用于判斷在圖像中處于運動的手勢的位置，為后續提取手勢的特征打下基礎。3.2、膚色建模在手勢分割前，手勢圖像的提取十分的重要，然而在手勢圖像獲取的過程當中，由于獲取的是彩色的圖像，所以對光照的影響十分的敏感。但是，膚色在彩色圖像當中比較獨特，它不會由于物體大小、姿態、光照、形狀等因素的變化而受到影響，并且和其他背景相比起來，膚色與之區別很大，由此考慮應用膚色建模，就可以提高手勢在不同背景以及光照的影響下下的識別率。本文采用的膚色建模方式是基于文獻6中在YCbCr的顏色空間下的，在攝像頭捕獲圖像之后，將其轉換到YCbCr空間下進行分析建模。在YCbCr顏色空間下的膚色模

11、型表示方法【6】中,光強Y對膚色的影響很小。本文在實現過程中采用了文獻6中光強的取值方法，以及邊界方程的選取方法,給出如下邊界定義：if(Y128)1=-2+(256-Y)/16;2=20-(256-Y)/16;3=6;4=-8;if(Y128)1=6;2=12;3=2+Y/32;4=-16+Y/16;Cr-2(Cb+24);Cr-(Cb+17);Cr-4(Cb+32);Cr2.5(Cb+1);Cr3;Cr-0.5(Cb-4);Cr-(Cb-220)/6;Cr-1.34(Cb-2)。 規定對于一個確定的Y,求出確定的的值，再確定藍色分量和紅色分量的取值范圍,如果樣本中的膚色點在此范圍內,就認為

12、此點就在邊界之內,否則就認為在邊界之外。運用幀間差分與膚色建模，就能夠很好的將運動的手勢部分分割出來，因為在手勢運動的過程當中，很有可能除手部分以外的背景物運動而造成對手勢提取的不準確。利用膚色建模結合幀間差分首先確定膚色部分，然后疊加運動部分，就能準確的分割出運動的手。在提取完運動的手勢部分，需要提取特征用來支持最后的識別(shbi)階段。由于本文對手勢運動的結果劃分為上、下、左、右、放大、縮小以及旋轉，針對上下左右分別對已經通過幀間差分以及膚色建模分割出手的部分利用函數計算(j sun)出手部分的質心位置作為特征向量，用于判斷質心的走勢，由此將他們分為上下左右。而對于放大縮小和旋轉來說，放

13、大、縮小以及旋轉是通過函數計算分割出手勢部分的面子變化作為特征向量，面積變大的為放大操作，面積變小的為縮小操作，面積基本保持不變的為旋轉操作。四、HMM手勢(shush)識別在運用HMM模型進行手勢識別的過程中，首先通過攝像頭采集圖像，對其進行簡單的去噪與增強操作以后，利用手勢分割階段的技術（結合膚色建模以及幀間差分法）將手勢分割出來，接著運用函數提取手勢的質心，面積等特征向量給手勢識別階段的HMM模型建模過程，運用訓練樣本訓練完隱馬爾可夫模型參數之后，最后使用測試樣本對生成的模型的識別率進行測試。在這整個過程當中在手勢分析階段分割出的手勢以及提取的特征向量的基礎上，采用學習率為0.6的HMM

14、模型參數學習的方法對動態手勢進行訓練。本文選取上、下、左、右、放大、縮小以及旋轉7個手勢，采用大量樣本對其的HMM模型進行訓練。在HMM建模階段，每個手勢對應一個HMM模型，除放大、縮小和旋轉通過面積大小的變化判斷之外（面積變大為放大，面積變小為縮小，面積基本不變為旋轉），其余4個手勢通過建立HMM模型來進行判斷。HMM手勢識別的流程如下圖所示：圖3 手勢識別流程圖在這幾種手勢的HMM模型參數都訓練出來之后，將剩下的動態手勢樣本作為測試其識別的準確度。訓練階段的初始模型(0)=(A(0),B(0),(0)隨后運用已有的訓練樣本對參數進行訓練結束后，以向上手勢的HMM模型參數=(A,B,)為例，

15、得到如下：A = B = = 其他手勢(shush)亦可類比。在得到這些手勢的HMM模型(mxng)之后，就可以調用測試樣本，利用HMM模型對手勢識別率的準確度進行測試。 五、系統實現與實驗(shyn)結果 本節重點介紹系統實現的過程，從手勢圖像的提取，手勢分割的技術，手勢特征的提取，HMM模型的訓練，以及最終的HMM手勢的識別等幾個部分來介紹整個系統的實現流程，并且給出最終系統識別的結果與識別率。5.1、圖像獲取及手勢的分割本文在攝像頭采集完手勢運動的圖像以后，首先對圖像進行降噪，然后使用拉普拉斯算子對彩色圖像進行銳化，處理的目的是為了提高了手勢檢測和分割的準確性。隨后，利用幀間差分法，結合

16、膚色建模，很好的將運動的手的部分分割出來。實驗結果圖如下。 圖4幀間差分(ch fn)后的效果圖5利用(lyng)膚色建模將手的部分分割出來圖6幀間差分(ch fn)與膚色建模合并的效果圖5.2、手勢特征(tzhng)的提取本文通過分割出手之后，判斷其質心位置的變化，來確定其運動的方向。分別分為上、下、左、右。此外，還通過計算手勢面積的大小(dxio)變化，來判斷其是擴大還是縮小。面積放大縮小部分以縮小才做為例，剩余的放大和旋轉亦可類比，得到如下結果：圖8縮小操作圖9縮小操作面積大小的變化數據質心位置移動以向右的手勢運動為例，其余的上下左亦可類比，得到如下結果：圖10標出質心(zh xn)的位

17、置用以判斷手勢運動方向5.3 HMM模型參數的訓練以及(yj)基于HMM模型的手勢識別HMM模型(mxng)訓練階段，運用存有個各個形態的手勢去訓練HMM模型，運用Baum-Welch算法，對HMM模型的參數=(A,B,)進行不斷的迭代更新，最終按照各個手勢運動的類型形成7個HMM模型，分別代表向上，向下，向左，向右，放大，縮小，旋轉的姿勢。在訓練完HMM模型之后，用幾組數據對HMM模型的識別率進行檢測。實驗結果如下向右： 9 5 5 4 6 5 5 5 5Name. right match rate is 8.544e-006 最大，識別為向右的手勢Name. up match rate i

18、s 6.0688e-016Name. down match rate is 7.3297e-093Name. left match rate is 5.3424e-117Name. nomove match rate is 9.3901e-0185.4、識別率分析及改進點手勢名稱測試數目正確數目錯誤數據識別率向上2019195%向下20200100%向左2018290%向右2019195%放大2015575%縮小2016480%旋轉2013765%總體統計1401202085.71%表1 識別率統計表實驗結果表明，利用質心移動進行(jnxng)判斷手勢走向的識別率較高，而通過計算面積進行識別的

19、放大、縮小及旋轉的識別率相對于通過質心移動判斷的方法來說要低。這是由于按照質心走勢的運動方向對于手勢的運動判斷相對的直觀，質心在圖像內的某個方向上的坐標變化相對明顯（如向上手勢，朝著向上方向的坐標變化就相對明顯），因此比較容易辨別出手勢的運動方向，所以識別率相對較高。然而，對于通過計算面積變化來判斷手勢含義的放大、縮小以及旋轉三個手勢來說，由于手勢分割階段分割出的手的部分還不算(b sun)好，以及手勢在做上下左右運動時候攝像頭拍攝到手勢的角度不同，所以導致計算面積變化的時候誤差相對較大，以至于旋轉部分的手勢很容易會識別成為放大或者縮小，向左向右的手勢由于攝像頭的采集圖像角度不同而造成面積的變

20、化，導致識別率的降低。對此要想對識別率得以提升，必須增加部分特征向量，上下左右的運動不僅依靠坐標的變化，放大(fngd)縮小旋轉變化不局限于面積的變化，這樣增加了限定條件之后，可以更精確的定義每一個手勢，以此來提高手勢的識別率。六、結束語本文主要通過外部設備自行采集連續的圖像之后，對其進行分析，從中提取出手勢的部分，對其的運動狀態進行判斷，從而從計算機的角度理解用戶的交互行為。實現通過攝像頭獲取手勢動作的內容，從而實現翻頁、上拉、下拉、放大、縮小、旋轉等動作，從而進行人機交互。參考文獻Schlenzig J, Hunter E, Jain R. Recursive Identification of Gesture Inputers Using Hidden Markov ModelsC/