1、CENTRAL SOUTH UNIVERSITY腦與認知科學調研報告題 目人類表情識別技術學生姓名何偉峰學號0918140119專業班級智能科學與技術1401完成時間2015/10/27目錄人類表情識別技術一摘要：2二 前言：2三 表情識別2人臉檢測與定位2圖像預處理3面部表情特征的提取方法3表情分類與識別4四 應用前景4五 面部表情識別的國內外研究情況4六 目前存在的難點和問題5參考文獻：5人臉表情識別技術綜述一摘要：一直以來，表情是人類引以為傲的東西，這是我們和機器的一種本質上的區別。隨著計算機的發展，我們更期盼人機之間的溝通交流，尤其是一種帶有感情的溝通交流。計算機在情感方面的成長經歷也

2、類似于我們每個人的成長過程以觀察和辨別情感作為最終自然，親切，生動的交互的開始。在物聯網技術發展的今天，面部識別已經不是什么太大的技術性問題，而對于人類表情識別來說，仍舊是一片空白。我們希望有一天機器可以讀懂我們的語言、知悉我們的表情，更好的為我們服務，或許這才是真正的物聯網時代。表情識別作為一種人機交互的方式，成為研究的熱點。基于對表情識別的基本分析，文章重點介紹了面部表情識別的國內外研究情況和面部表情特征的提取方法和他的應用前景。 關鍵詞：表情識別；特征提取；表情分類；應用前景。二 前言：進入21世紀，隨著計算機技術和人工智能技術及其相關學科的迅猛發展，整個社會的自動化程度不斷提高，人們對

3、類似于人和人交流方式的人機交互的需求日益強烈。計算機和機器人如果能夠像人類那樣具有理解和表達情感的能力，將從根本上改變人與計算機之間的關系，使計算機能夠更好地為人類服務。表情識別是情感理解的基礎，是計算機理解人們情感的前提，也是人們探索和理解智能的有效途徑。如果實現計算機對人臉表情的理解與識別將從根本上改變人與計算機的關系，這將對未來人機交互領域產生重大的意義。三 表情識別人臉表情識別系統主要包括人臉檢測與定位、圖像預處理、人臉表情特征提取和人臉表情分類識別。人臉檢測與定位人臉檢測與定位表情特征提取表情分類與識別圖像預處理 人臉檢測與定位可以基于Haar特征的特征提取方法和基于Adaboost

4、的分類方法進行人臉檢測與定位 圖像預處理由于受圖像采集硬件條件或采集環境條件的影響，采集到的圖像會存在對比度不高、亮度不夠、圖片大小不定等問題，這些問題會對人臉識別產生影響，為了減少這些因素所產生的影響，對圖像進行適當的預處理是必不可少的。常用的圖像預處理方法包括幾何歸一化，亮度歸一化，直方圖均衡化，能量歸一化和圖像分割。 面部表情特征的提取方法 表情特征提取是表情識別系統中最重要的部分，有效的表情特征提取工作將使識別的性能大大提高，當前的研究工作也大部分是針對表情特征的提取。目前為止的人臉面部表情特征提取方法大都是從人臉識別的特征提取方法別演變而來，所用到的識別特征主要有:灰度特征、運動特征

5、和頻率特征三種閻。灰度特征是從表情圖像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據。運動特征利用了不同表情情況下人臉的主要表情點的運動信息來進行識別。頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。在具體的表情識別方法上，分類方向主要有三個:整體識別法和局部識別法、形變提取法和運動提取法、幾何特征法和容貌特征法。整體識別法中，無論是從臉部的變形出發還是從臉部的運動出發，都是將表情人臉作為一個整體來分析，找出各種表情下的圖像差別。其中典型的方法有:基于特征臉的主成分分析(prineipalComponentAnalysis，pCA)法、獨立分量分析法(In

6、dendent ComPonent Analysis，ICA)、Fisher線性判別法(Fishers Linear Discriminants，FLD)、局部特征分析 (LoealFeatureAnalysis，LFA)、Fishe誕動法(Fisherctions)、隱馬爾科夫模型法(HideMarkovModel，HMM)，聚類分析法和流形法。局部識別法就是將人臉的各個部位在識別時分開，也就是說各個部位的重要性是不一樣。比如說在表情識別時，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運動表示了豐富的面部表情。相比較而言，鼻子的運動就較少，這樣在識別時就可以盡量少的對鼻子進行分析，能加快

7、速度和提高準確性。其中最典型的方法就是臉部運動編碼分析法(FacialAetionseodesystem，FAes)和MPEe一4中的臉部運動參數法其他的還有局部主分量分析法 (LocalPCA)、Gabor小波法和神經網絡法。形變提取法是根據人臉在表達各種表情時的各個部位的變形情況來識別的，主要的方法有:主分量分析法(PeA)、o汕or小波、運動模板法 (Aetivesh叩 eModel，AsM)6和點分布模型(PointDistributionModel，PDM)法。運動法是根據人臉在表達各種特定的表情時一些特定的特征部位都會作相應的運動這一原理來識別的。典型的識別方法有:光流法 (OPt

8、icalFlow)78和MPEG一4中的臉部運動參數法 (FaceAnimationparameterFAp)。 幾何特征法是根據人的面部的各個部分的形狀和位置(包括嘴、眼睛、眉毛、鼻子)來提取特征矢量，這個特征矢量來代表人臉的幾何特征。根據這個特征矢量的不同就可以識別不同的表情。重要的方法是:基于運動單元(AU)的主分量分析法。 在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor小波。當然，這三個發展方向不是嚴格獨立，它們只是從不同側面來提取所需要的表情特征，都只是提供了一種分析表情的思路，相互聯系，相互影響。有很多種方法是介于兩者甚至是三

9、者之間。例如說面部運動編碼系統法是局部法的一種，同時也是從臉部運動上考慮的等等。所以，接下來的分析將不從這三個方向上去說明，而是直接簡單描述各種主要的算法。 流形學習算法在實現降維的過程中，較好的保留了本樣本間的非線性結構，這對于靜態表情圖像和序列表情圖像的分析都有獨特的優勢。但是，用流形學習算法來處理表情特征有個問題需要解決：意思大多數流形學習算法不像線性降維法那樣，可從訓練集中得到適用于待測樣本的投影向量，只能以批處理的方式進行。為了得到某些待測樣本的流形嵌入向量，必須要將該樣本加入其中。表情分類與識別在人臉表情特征提取階段，要準確提取出人類表情圖像中最能有效表征表情信息的特征，表情識別的

10、準確與否講直接影響后續的表情分類結果。在表情分類識別階段根據表情特征提取階段提取的表情特征進行分類，分類方法的好壞及分類結果的準確程度也將影響表情分類結果。四 應用前景.表情檢測防疲勞駕駛百度移動部門技術工程師整合百度“表情識別 LBS 百度云”等基礎技術，研發出一款提示“疲勞駕駛”的解決方案，可以對接在汽車開放平臺上使用，不過目前尚在概念階段。通過用攝像頭實時捕捉駕駛者的面部表情特征，解析表情背后的人物狀態。一旦發現司機有可能疲勞駕駛（閉眼超時、眉頭下垂、睜眼被動等），后臺技術會做出判斷，觸發啟動一系列干預手段：語音播報提示，播放嘹亮音樂為駕駛者提神；發送短信給駕駛者事先設定的緊急聯系人，請

11、求幫助喚醒或解救（有可能司機的異常狀態實為心臟病等突發疾病導致）；LBS技術獲取車主地理位置，以“云推送”方式通知周邊車輛注意避讓。五 面部表情識別的國內外研究情況面部表情識別技術是近幾十年來才逐漸發展起來的，由于面部表情的多樣性和復雜性，并且涉及生理學及心理學，表情識別具有較大的難度，因此，與其它生物識別技術如指紋識別、虹膜識別、人臉識別等相比，發展相對較慢，應用還不廣泛。但是表情識別對于人機交互卻有重要的價值，因此國內外很多研究機構及學者致力于這方面的研究，并己經取得了一定的成果。人臉面部表情運動的描述方法-人臉運動編碼系統FACS (Facial Action Coding System

12、)，根據面部肌肉的類型和運動特征定義了基本形變單元AU（Action Unit），人臉面部的各種表情最終能分解對應到各個AU上來，分析表情特征信息，就是分析面部AU的變化情況 FACS有兩個主要弱點：1.運動單元是純粹的局部化的空間模板；2.沒有時間描述信息，只是一個啟發式信息六 目前存在的難點和問題 (1) 基于Ekinan分類的六種基本表情和中性表情不足以描述人類復雜多變的真實表情，如何找到更精確的描述方式是目前魚待解決的問題；(2) 多特征融合和多分類器融合的方法也是改善識別性能的一個手段。 (3) 由于人臉為非剛體性，人臉之間的相似性以及各種變化因素的影響，準確的人臉識別仍較

13、困難。為了滿足自動人臉識別技術具有實時要求，在必要時需要研究人臉與指紋、虹膜、語音等識別技術的融合方法。 (4) 3D形變模型可以處理多種變化因素，具有很好的發展前景。已有研究也表明，對各種變化因素采用模擬或補償的方法具有較好的效果。三維人臉識別算法的選取還處于探索階段，需要在原有傳統識別算法的基礎上改進和創新。 (5) 已有人臉表情數據庫或自建人臉表情數據庫往往受約束條件較多，如背景單一、沒有各種飾物的干擾、人臉不發生旋轉或只有微小旋轉、夸張化的面部表情等。 用計算機來分析識別面部表情是一個非常復雜的問題，準確的人臉表情識別仍然存在諸多困難。參考文獻：l張一鳴。人臉表情識別。遼寧:大連理工大學碩士學位論文，2006，12。2劉芳。應用圖像處理技術的人臉表情識別研究。北京:北京科技大學碩士學位論文，2003，06。3王志良，劉芳，王莉。基于計算機視覺的表情識別技術綜述J