基于視頻數據集的情感分析方法研究目錄1引言 [31]其優秀的設計和強大的功能使得wxPython成為PythonGUI開發領域的佼佼者。Jython是Python的一個實現版本，它可以與Java無縫集成。除了標準的Python模塊，Jython還利用Java的模塊來增強其功能。實際上，Jython幾乎包含了標準Python中所有不依賴于C語言的模塊。在用戶界面方面，Jython可以使用Swing、AWT或SWT等Java的GUI框架。此外，Jython可以動態或靜態地編譯成Java字節碼，這使得它在與Java集成和交互方面更具優勢。本節主要運用了Tkinter庫，它是Python的標準圖形用戶界面（GUI）庫。借助Tkinter，Python能夠迅速構建GUI應用程序，由于Tkinter內置于Python安裝包中，用戶只需安裝好Python，即可直接導入Tkinter庫。那么本文是如何來創建一個基于視頻模態的情感分析GUI程序的呢？首先導入tkinter模塊創建窗口，接下來創建控件并顯示控件和窗口，將其命名為基于VGG的情感識別系統。該系統采用的網絡為VGG網絡，其中拼接了七個情感標簽：“憤怒”、“恐懼”、“高興”、“厭惡”、“悲傷”、“驚訝”、“正常”，并顯示出了各自的百分比。該系統的人臉識別使用的是OpenCV自帶的人臉識別，并非是人工智能的網絡識別。關于OpenCV的原理與使用，在本文的3.1節有詳細說明，將“基于VGG的情感識別系統”在VScode中運行可以發現本地機攝像頭呈現開啟狀態，可以做到實時識別攝像頭前人物表情的情感狀態，呈現結果如圖13。圖13基于VGG的情感識別系統4實驗結果分析4.1結果分析為綜合評估模型的分類性能，本文采用準確率(Acc)作為評估指標，即：Acc=TP+TNTP+FP+FN+TN（5）在（5）式中：TP，TN為被準確分類的樣本數據；FP，FN為被錯誤分類的樣本數據。4.1.1基于VGG的情感識別系統圖13為從動態視頻中截取的一幀效果圖，從中我們可以看到其右側顯示的情感檢測結果為happy（快樂），與左側肉眼所能直觀看到的表情一致，該情感檢測結果由七大情感標簽中占比最大的情感產生，存在略微不足的地方。例如,該系統識別到憤怒情感占比9.82%，悲傷情感占比19.94%，這兩個與快樂相比的極端情感占比略高，可見該系統對人像面部表情的情感識別并非完全準確。另外經過不停的使用該系統測試面部表情，測試結果準確率如表1所示。表1測試結果表情準確率happy(高興)90%fear(恐懼)40%angry(憤怒)80%sad(悲傷)70%surprise(驚訝)90%disgust(厭惡)normal(正常)30%80%從表1可以看出，該系統對“高興”、“正常”的面部情感識別較為準確，對其余情感的識別略微不準確，尤其是“恐懼”最難準確識別，該系統對人臉面部表情的情感識別有所欠缺，還有待改進。4.1.2CNN模型在該模型中導入一段錄好的視頻，將調用本機攝像頭的命令行用“Ctrl+/”注釋掉，在VScode的終端里面對該模型進行測試，得到的結果如圖14所示。aneutralbangry圖14部分效果圖經過多次導入視頻以及調用本機攝像頭進行測試，發現該模型對“happy（高興）”、“neutral（中立正常）”、“angry（憤怒）”的情感識別較為準確，具體的準確率如表2所示。表2測試結果表情準確率happy(高興)90%fear(恐懼)30%angry(憤怒)75%sad(悲傷)70%surprise(驚訝)90%disgust(厭惡)normal(正常)20%80%從上表可以看出，一些臉部動作比較大的表情容易被準確識別到，悲傷、恐懼這種細膩的情感較難識別。4.1.3Resnet模型將同樣的視頻導入該模型進行測試，接著調動本機攝像頭對電腦前的人臉進行面部情感分析，與前面的模型使用相同的面部表情，其中某幾幀效果圖如圖15所示。圖15效果圖由表3可以看出Resnet模型對“happy(高興)”的識別效果最好，對“disgust(厭惡)”的面部情感識別效果稍有欠缺。但總體來說比前面兩種模型的情感識別效果更好一些。表3測試結果表情準確率happy(高興)100%fear(恐懼)50%angry(憤怒)80%sad(悲傷)75%surprise(驚訝)90%disgust(厭惡)normal(正常)30%85%4.1.4三種模型對比從表4可以直觀的看出三種模型均對“happy(高興)”有良好的識別效果，對“fear(恐懼)”和“disgust(厭惡)”的識別效果稍有欠缺，還有很大的進步空間，可能是由于測試集相關表情不足導致，后期將繼續優化。表4三種模型的準確率對比HappyFearangrysadsurprisedisgustneutralVGG90%40%80%70%90%30%80%CNN90%30%75%70%90%20%80%Resnet100%50%80%75%90%30%85%從表4可以看出Resnet模型對面部情感的總體識別效果優于其他兩種模型，相比于VGG與CNN模型，Resnet模型具有更高的人臉表情識別率及準確率。4.2總結與展望人臉表情識別的應用范圍很廣,在多個領域均展示了它的作用,使人機交互變得更加智能化、人性化,為人們帶來更多的方便。但人臉表情識別技術中仍然有需要攻克的難題,即特征提取,在現有的卷積神經網絡中,殘差網絡的性能較為優越,本文因此構建出其他兩種模型來與Resnet進行對比實驗，驗證了Resnet的優越性與準確性，實現并完成了本文的相關研究工作，例如為了滿足人臉表情識別技術的發展趨勢和課題要求,研究和學習人臉表情識別的理論知識。首先深入了解深度學習的相關知識,系統學習卷積神經網絡的構成以及當前常用的殘差網絡結構。此外,還了解了當前部分表情數據集,打下了關于深度學習的理論基礎。本文在面部表情的情感分析研究方面取得了一定進展，然而仍存在一些不足之處，有待進一步改進，如下所述：1、由于每類表情的樣本數量不相同,部分表情樣本數量較少,導致準確率相對較低,后續將考慮自己搜集表情圖像,生成數據集,以提升網絡測試效果。2、人類社會環境的是復雜多變的,本文所使用的數據集大部分是在宿舍條件下的,光照環境較單一,后續將設計針對非受控環境下的面部表情的情感識別網絡,以提升其識別準確率。參考文獻陳鄭淏,馮翱,何嘉.基于一維卷積混合神經網絡的文本情感分類[J].計算機應用,2019,39(07):1936-1941.瞿濤.基于深度學習的方面級情感分類方法研究[D].南京信息工程大學,2021.

劉泰廷.基于深度學習的人臉面部信息識別算法研究[D].長春工業大學,2020.

李棟.基于多模態融合的情緒識別系統設計與實現[D].沈陽工業大學,2023.

陳志韜.基于深度學習的圖像目標識別研究[D].哈爾濱工程大學,2018.周俊宇,趙艷明.卷積神經網絡在圖像分類和目標檢測應用綜述[J].計算機工程與應用,2017,53(13):34-41.肖允鴻.基于視覺和文本的標注短視頻情感分析研究[D].南京郵電大學,2022.SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[C]//The3rdInternationalConferenceonLearningRepresentations.ICLR,2015.HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016.RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].Nature,1986,323.CaiY,LandisM,LaidleyDT,etal.Multi-modalvertebraerecognitionusingTransformedDeepConvolutionNetwork[J].ComputerizedMedicalImaging&Graphics,2016,51:11-19.高震宇.基于深度卷積神經網絡的圖像分類方法研究及應用[D].中國科學技術大學,2018.肖允鴻.基于視覺和文本的標注短視頻情感分析研究[D].南京郵電大學,2022.余福.基于深度學習的變電站指針儀表讀數識別方法研究[D].東北電力大學,2022.申旺發.基于深度學習網絡的海馬體多圖譜融合算法研究[D].寧夏大學,2019.田程.基于深度學習模型的謠言檢測技術研究[D].東南大學,2021.卜玉婷.基于雙微陣列的語音命令詞識別研究[D].桂林電子科技大學,2020.

王學嘉.基于三維可變形卷積的視頻質量增強技術研究[D].哈爾濱工業大學,2021.楊偲樂.基于混合域注意力機制的卷積網絡和殘差收縮網絡的軸承故障診斷[D].北京郵電大學,2020.

葉宇光.基于深度殘差網絡的圖像識別技術研究[J].韶關學院學報,2020,41(06):18-22.徐國豪.毫米波輻射圖像去模糊重建與目標檢測算法的研究[D].華東交通大學,2022.楊齊訓.配網帶電作業目標實時檢測方法研究[D].山東大學,2022.耿立新.基于圖像去模糊網絡的目標跟蹤系統研究[D].西安電子科技大學,2021.鄧輝.基于卷積神經網絡的人體姿態估計研究[D].貴州大學,2023.賴玉芳.一種基于殘差網絡技術的多因子進化算法[D].廣東工業大學,2022.羅柱,龍婧.基于OpenCV圖像識別技術的金屬環熱脹冷縮實驗研究[J].物理通報,2024,(03