里蘭任、浙江大學(xué)黨委副書(shū)記大學(xué)腦科學(xué)學(xué)術(shù)委員會(huì)主任腦網(wǎng)絡(luò)組研究中心主任龍之江實(shí)驗(yàn)室黨委副書(shū)記陳偉之江實(shí)驗(yàn)室主任助理、黨委委員陳光之江實(shí)驗(yàn)室科研發(fā)展部部長(zhǎng)林峰之江實(shí)驗(yàn)室人工智能研究院副院長(zhǎng)級(jí)研究專家、跨媒體智能研究中心副主任、研究員究員、模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任、國(guó)家杰Ⅱ王蕊潘煜金佳曾紅梅林莊珺劉晶上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院學(xué)與技術(shù)學(xué)院副院長(zhǎng)、教授、安徽省杰出青年基金獲得者心主任、教授國(guó)際工商管理學(xué)院院長(zhǎng)、教授腦機(jī)協(xié)同信息行為重點(diǎn)實(shí)驗(yàn)室教授授究所研究員副首席執(zhí)行官、首席轉(zhuǎn)型官生態(tài)系統(tǒng)事業(yè)部總經(jīng)理究所產(chǎn)業(yè)創(chuàng)新研究室主任、研究員發(fā)展組織全球創(chuàng)新網(wǎng)絡(luò)項(xiàng)目上海全球科創(chuàng)中心副主任裴冠雄之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心副研究員德勤科學(xué)加速中心副總監(jiān)興版社副總編輯、《張江科技評(píng)論》主編技術(shù)總監(jiān)朱敏學(xué)院商業(yè)數(shù)據(jù)系主任、副教授學(xué)院企業(yè)管理系講師學(xué)計(jì)算機(jī)與信息學(xué)院副研究員科學(xué)與技術(shù)學(xué)院副教授之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心助理研究員之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心助理研究員之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心算法工程師Ⅲ計(jì)算旨在創(chuàng)建一種能感知、識(shí)別和理解人的情感，并能針對(duì)人的情感作出智慧、靈敏、自然反應(yīng)的計(jì)算系統(tǒng)。情感計(jì)算是實(shí)現(xiàn)自然化、擬人化、人格化人機(jī)交互的基礎(chǔ)性技術(shù)和重要前提，也為人工智能決策提供了優(yōu)化路徑，對(duì)開(kāi)啟智能化、數(shù)字化時(shí)代具有重大價(jià)值。近年來(lái)，中國(guó)成為情感計(jì)算領(lǐng)域最重要的崛起力量之一，并有越來(lái)越多的學(xué)者投入該領(lǐng)域的研究。同時(shí)，中國(guó)也成為情感計(jì)算賦能應(yīng)用的主戰(zhàn)場(chǎng)之一，為支撐經(jīng)濟(jì)高質(zhì)量發(fā)展和數(shù)字化改革發(fā)揮了重要作用。這本白皮書(shū)的發(fā)布，旨在回應(yīng)中國(guó)乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對(duì)了解和掌握情感計(jì)算最新發(fā)展動(dòng)向的需求，給科學(xué)研究人員和行業(yè)實(shí)踐人員提供較為完整的技術(shù)發(fā)展藍(lán)圖和應(yīng)用趨勢(shì)洞察，以助推情感計(jì)算的發(fā)展與轉(zhuǎn)化。這本白皮書(shū)有幾個(gè)鮮明的特點(diǎn)：一是以主流學(xué)術(shù)數(shù)據(jù)庫(kù)為基礎(chǔ)，之江實(shí)驗(yàn)室、中國(guó)科學(xué)院文獻(xiàn)情領(lǐng)域全周期、論文全量級(jí)、科研全過(guò)程的覆蓋優(yōu)勢(shì)，梳理出的重要研究論文、專利和標(biāo)準(zhǔn)，有助于明晰關(guān)鍵共性技術(shù)和前沿引領(lǐng)技術(shù)，對(duì)把握情感計(jì)算領(lǐng)域?qū)W術(shù)發(fā)展動(dòng)態(tài)具有指導(dǎo)性意義，對(duì)實(shí)現(xiàn)“高原造峰”和從“0”到“1”等不同創(chuàng)新路徑均具有較大參考價(jià)值。二是白皮書(shū)描繪了情感計(jì)算的學(xué)科全景，包括重要研究機(jī)構(gòu)、學(xué)術(shù)期刊、國(guó)際會(huì)議、代表性科學(xué)家、高水平學(xué)會(huì)等，并對(duì)合作生態(tài)進(jìn)行了梳理，這對(duì)指導(dǎo)學(xué)科建設(shè)和重大科研基金立項(xiàng)具有導(dǎo)向作用。中國(guó)學(xué)者在學(xué)科領(lǐng)域內(nèi)的進(jìn)步明顯，初步形成了高水平的學(xué)科人才梯隊(duì)，且在典型學(xué)者和重要研究陣地中占比較高。但是，在學(xué)術(shù)期刊、國(guó)際會(huì)議等方面存在劣勢(shì)，中國(guó)主導(dǎo)能力偏弱，這不利于學(xué)科話語(yǔ)權(quán)的提Ⅳ升，也與中國(guó)在該領(lǐng)域發(fā)文量排名世界第一的情況不匹配。這在一定程度上阻礙了中國(guó)科學(xué)家作為學(xué)術(shù)共同體的發(fā)展，不利于從跟隨性走向引領(lǐng)性的地位變革。三是白皮書(shū)非常重視對(duì)情感計(jì)算成果轉(zhuǎn)化及應(yīng)用情況的研究。中國(guó)共產(chǎn)黨二十大報(bào)告提出，“加快實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略。堅(jiān)持面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)、面向國(guó)家重大需求、面向人民生命健康，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)”。針對(duì)應(yīng)用情況的定量分析和案例研究，有助于引導(dǎo)廣大科技工作者面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)和重大實(shí)際需求開(kāi)展科研攻關(guān)，同時(shí)促進(jìn)相關(guān)從業(yè)人員對(duì)技術(shù)全景加深理解和認(rèn)知，促進(jìn)經(jīng)濟(jì)主體增加情感計(jì)算賦能應(yīng)用的探索，加速數(shù)字經(jīng)濟(jì)轉(zhuǎn)型升級(jí)和人工智能技術(shù)迭代應(yīng)用，促進(jìn)更多企業(yè)從產(chǎn)業(yè)鏈下游向產(chǎn)業(yè)鏈中上游的價(jià)值重塑。正是白皮書(shū)在以上三個(gè)方面的扎實(shí)工作，為情感計(jì)算未來(lái)趨勢(shì)預(yù)測(cè)筑牢了基礎(chǔ)。這本白皮書(shū)也專門設(shè)立章節(jié)，對(duì)技術(shù)走向和行業(yè)應(yīng)用作了展望。未來(lái)將會(huì)怎樣，不可準(zhǔn)確預(yù)知，但對(duì)過(guò)去和現(xiàn)狀的精準(zhǔn)把握，為情感計(jì)算的發(fā)展脈絡(luò)提供了蹤跡。當(dāng)今世界正在經(jīng)歷百年未有之大變局，這場(chǎng)變局不限于一時(shí)一事、一國(guó)一域，而是深刻而宏闊的時(shí)代之變。我堅(jiān)信，中國(guó)在情感計(jì)算領(lǐng)域的影響力將繼續(xù)迅速提升，我們樂(lè)見(jiàn)這種不可阻擋的力量為情感計(jì)算學(xué)術(shù)發(fā)展和應(yīng)用賦能提供源源不斷的動(dòng)力。Ⅴ近年來(lái)，中國(guó)在人工智能技術(shù)領(lǐng)域的發(fā)展突飛猛進(jìn)。上一代人工智能技術(shù)在研發(fā)、行業(yè)應(yīng)用和內(nèi)涵普及方面可謂“百花齊放”。經(jīng)過(guò)一大批科學(xué)家和實(shí)踐者的努力，在短短幾年的時(shí)間里，中國(guó)就在人工智能發(fā)展的第一階段追趕上了世界先進(jìn)水平。中國(guó)發(fā)展人工智能等前沿信息技術(shù)不僅為了實(shí)現(xiàn)中華民族偉大復(fù)興，也為了世界可持續(xù)發(fā)展和德勤作為一家立足中國(guó)本土的國(guó)際性專業(yè)服務(wù)機(jī)構(gòu)，正是感受到了這樣的使命而欣然地加入新一代人工智能技術(shù)——情感計(jì)算的開(kāi)發(fā)策源和轉(zhuǎn)化實(shí)踐的隊(duì)伍。與諸多科學(xué)家和實(shí)踐者一樣，我們也清楚地預(yù)見(jiàn)情感心智在整體智能技術(shù)群中的重要性。情感計(jì)算是一項(xiàng)涵蓋心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)等多學(xué)科交叉的前沿技術(shù)，因此我們需要通過(guò)一個(gè)由多方角色組成的生態(tài)網(wǎng)絡(luò)，通過(guò)實(shí)現(xiàn)各自的訴求來(lái)形成共贏，從而推動(dòng)情感計(jì)算技術(shù)從研發(fā)向轉(zhuǎn)化、普及等環(huán)節(jié)發(fā)展。為此，在之江實(shí)驗(yàn)室的發(fā)起和指導(dǎo)下，德勤通過(guò)多年創(chuàng)新積累的生態(tài)網(wǎng)絡(luò)群組織包括上海科學(xué)技術(shù)出版社、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心、英國(guó)工程技術(shù)學(xué)會(huì)、亞馬遜云科技、上海師范大學(xué)等在內(nèi)的大批專家學(xué)者，共同完成《情感計(jì)算白皮書(shū)》的撰寫(xiě)和發(fā)布工作。由于情感計(jì)算技術(shù)是過(guò)往鮮有人涉足的前沿技術(shù)領(lǐng)域，對(duì)當(dāng)前全球情感計(jì)算技術(shù)的相關(guān)信息進(jìn)行匯總、解讀和分析工作自然也是困難重重，尤其是在面臨日新月異的技術(shù)更替環(huán)境下，如何確保內(nèi)容的時(shí)效性，并以最快的速度、最高的質(zhì)量和最全的信息進(jìn)行白皮書(shū)發(fā)布，成為本次任務(wù)的最大挑戰(zhàn)。這樣的任務(wù)實(shí)施起來(lái)如同發(fā)起和管理一項(xiàng)大科學(xué)工程，也充分考驗(yàn)了參與者彼此的協(xié)同和默契。在撰寫(xiě)白皮書(shū)的半年多時(shí)間里，參與指導(dǎo)和編寫(xiě)的近50位學(xué)界領(lǐng)軍人物、學(xué)者專家Ⅵ和行業(yè)領(lǐng)袖能夠在新冠肺炎疫情頻發(fā)的不確定環(huán)境下，毅然打破地域限制，按時(shí)且高質(zhì)量地完成白皮書(shū)的撰寫(xiě)任務(wù)，這令人感到興奮白皮書(shū)從人類對(duì)自身情感研究的歷史到通過(guò)信息技術(shù)的手段如何進(jìn)行仿生實(shí)現(xiàn)情感計(jì)算，再到已經(jīng)實(shí)現(xiàn)的場(chǎng)景應(yīng)用，對(duì)情感計(jì)算技術(shù)進(jìn)行介紹，實(shí)為一部情感計(jì)算技術(shù)發(fā)展和應(yīng)用的簡(jiǎn)明百科。這樣的內(nèi)容安排，充分寄托了項(xiàng)目組對(duì)情感計(jì)算技術(shù)在科研和商業(yè)應(yīng)用兩個(gè)方面的期許。我們始終堅(jiān)信，一項(xiàng)好的技術(shù)既離不開(kāi)前沿科學(xué)的啟蒙，也脫不開(kāi)與社會(huì)經(jīng)濟(jì)發(fā)展的實(shí)質(zhì)聯(lián)系。白皮書(shū)的發(fā)布并不意味著項(xiàng)目組工作的結(jié)束，而是揭開(kāi)了中國(guó)在情感計(jì)算技術(shù)方面技術(shù)研究和應(yīng)用轉(zhuǎn)化的序幕。我們衷心地期盼更多對(duì)情感計(jì)算技術(shù)有熱情的個(gè)人和團(tuán)隊(duì)加入我們的大家庭，在新一代人工智能技術(shù)賦能社會(huì)安定、國(guó)家昌盛、人類發(fā)展等方面作出更多的貢獻(xiàn)。 1.1人類社會(huì)的情感 3 1.2情感計(jì)算的沿革、定義和內(nèi)容 8 3 Ⅷ3.1.2主要研究陣地(國(guó)家/地區(qū)分析) 27 29 29 言學(xué)年會(huì) 33.2.4IEEE計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議 33 ESI點(diǎn)論文 36 42 43 45 47 學(xué)者地圖 49中國(guó)學(xué)者分布 50全球典型學(xué)者 52高被引學(xué)者 52 情感計(jì)算促進(jìn)協(xié)會(huì) 52中國(guó)人工智能學(xué)會(huì)情感智能專業(yè)委員會(huì) 53 重要研究機(jī)構(gòu) 53 2 Ⅹ 0領(lǐng)域主要代表產(chǎn)品及應(yīng)用技術(shù) 92 1計(jì)算機(jī)科學(xué)(含智能科學(xué))、腦與心理科學(xué)(含心理學(xué)、神經(jīng)科學(xué))、社會(huì)科學(xué)(含社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、管理學(xué))、醫(yī)學(xué)等的交叉學(xué)科領(lǐng)域，并逐步成為全球?qū)W術(shù)和工程熱點(diǎn)。中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院發(fā)布的《2021年研究前沿?zé)岫戎笖?shù)》報(bào)告顯示，以“多模態(tài)情感計(jì)算”為核心的相關(guān)研究熱度指數(shù)位列前10名。根據(jù)英國(guó)工程技術(shù)學(xué)會(huì)(The的文獻(xiàn)進(jìn)行計(jì)量分析顯示，情感計(jì)算領(lǐng)域的發(fā)文量呈現(xiàn)高速增長(zhǎng)態(tài)勢(shì)，中國(guó)和美國(guó)的學(xué)者成為該領(lǐng)域最具代表性的研究力量。《自然》(Nature)旗自中國(guó)的研究力量迅速崛起，論文總數(shù)已超過(guò)美國(guó)，越來(lái)越多的科研機(jī)構(gòu)和高科技企業(yè)正投身于情感為了響應(yīng)中國(guó)乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對(duì)了握情感計(jì)算最新發(fā)展動(dòng)向的需求，向科學(xué)研和行業(yè)實(shí)踐人員提供較為完整的技術(shù)發(fā)展藍(lán)用趨勢(shì)，以助推情感計(jì)算的發(fā)展與轉(zhuǎn)化。由智能研究院跨媒體智能研究中心發(fā)勤科學(xué)加速中心、上海科學(xué)技術(shù)出版社、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心和英國(guó)工程技術(shù)學(xué)會(huì)共同組成聯(lián)合項(xiàng)目組，推動(dòng)了《情感計(jì)算白皮書(shū)》(以下簡(jiǎn)稱“白皮書(shū)”)的發(fā)布。由行業(yè)領(lǐng)袖和國(guó)內(nèi)外知名學(xué)者組成的顧問(wèn)委員會(huì)和專家委員會(huì)為白皮書(shū)的編制給予了專業(yè)性審查和指導(dǎo)。涵理解的不斷深化，智能機(jī)器“雙商(智商+情商)”理念的進(jìn)一步普及，情感智能的迭代升級(jí)以字經(jīng)濟(jì)驅(qū)動(dòng)下的產(chǎn)業(yè)變革，多要素共同作用動(dòng)情感計(jì)算的學(xué)科發(fā)展、技術(shù)演化和行業(yè)進(jìn)要?jiǎng)?chuàng)新動(dòng)力。在白皮書(shū)的編寫(xiě)過(guò)程中，項(xiàng)目調(diào)研了情感計(jì)算及其關(guān)聯(lián)學(xué)科的技術(shù)發(fā)展和遷移進(jìn)程，在學(xué)術(shù)界和產(chǎn)業(yè)界專家的共同努力下，白皮書(shū)最終形成“集大成”和“思全局”的框架，研究者和實(shí)踐者能夠?qū)η楦杏?jì)算的最新發(fā)展全面的認(rèn)識(shí)，并以更廣闊、更長(zhǎng)遠(yuǎn)的視角思2算機(jī)科學(xué)、腦與心理科學(xué)、社會(huì)科學(xué)等學(xué)科。計(jì)機(jī)科學(xué)與機(jī)電科學(xué)側(cè)重于提供各類信息技術(shù)手段和工程化能力，能夠?qū)η楦械母兄⒆R(shí)別、理解、饋等實(shí)施數(shù)字化重構(gòu)和計(jì)算實(shí)現(xiàn)，從而使機(jī)器能擁有類人情感心智功能。腦與心理科學(xué)的心理及識(shí)領(lǐng)域側(cè)重于提供關(guān)于人類情感的基礎(chǔ)定義、相要素結(jié)構(gòu)存在的意義等方面的理論，這為情感理認(rèn)知神經(jīng)科學(xué)則側(cè)重于研究人類大腦對(duì)情感加工的機(jī)理以及建立與情感相關(guān)的心理要素功能網(wǎng)絡(luò)，這為開(kāi)發(fā)情感計(jì)算模型提供了關(guān)鍵的啟發(fā)和策略的指導(dǎo)。社會(huì)科學(xué)和醫(yī)學(xué)為情感計(jì)算的應(yīng)用提供武之地”，是該類技術(shù)應(yīng)用場(chǎng)景設(shè)計(jì)由此可見(jiàn)，情感計(jì)算是一個(gè)多學(xué)科共建的領(lǐng)個(gè)由行業(yè)實(shí)際需求推動(dòng)技術(shù)進(jìn)步和迭代1.1人類社會(huì)的情感Grammarof和思想溝通的重要載體，是推動(dòng)人類文明生生不元繁榮的重要力量。根據(jù)物種進(jìn)化理論，情為是保障人類的基本生存能力、形成社會(huì)習(xí)撐高級(jí)思維的心理要素。人類如果不具有情感，那么維持生存的將只有原始沖動(dòng)和生存欲望，這樣的物種幾乎不可能發(fā)展出高度發(fā)達(dá)的社會(huì)文然情感在整個(gè)人類進(jìn)化過(guò)程中發(fā)揮了重要作是人們對(duì)情感功能的認(rèn)知和重視經(jīng)歷了一個(gè)時(shí)至今日，涉及情感的各種理論已具規(guī)模。類文明。這一歷程可大致分為三個(gè)階段，如第一階段的主要活動(dòng)是嘗試識(shí)別和厘清“情其有關(guān)的概念。在早期東方文明體系下，古代中國(guó)的《易經(jīng)》哲學(xué)和諸子百家哲學(xué)以及古代了理解和闡述。例如，《禮記·禮運(yùn)》提出了“七情”的概念以及“何謂人性論述。在早期西方文明體系下，古希臘醫(yī)前377年)在古代生理醫(yī)學(xué)體系下提出人類“體液性質(zhì)的物質(zhì)基礎(chǔ)，以不為性質(zhì)主導(dǎo)的人會(huì)更容易表現(xiàn)出某種或某幾種特定的情感。這與同時(shí)期人類的四種氣質(zhì)學(xué)說(shuō)34第一階段第二階段第三階段歐洲文藝復(fù)興及其之前的探索思辨階段(大及以前)法國(guó)啟蒙運(yùn)動(dòng)到科學(xué)心理學(xué)誕生的科學(xué)啟蒙階段(公元17—18世紀(jì)到19世紀(jì)末)科學(xué)心理學(xué)誕生之后的心理學(xué)、生理學(xué)和信息技術(shù)的融合階段(公元19世紀(jì)末及以后)圖1-1早期情感理論發(fā)展的三個(gè)階段 (膽汁質(zhì)、多血質(zhì)、黏液質(zhì)、抑郁質(zhì))似乎有潛在第二階段的主要活動(dòng)是以科學(xué)的視角對(duì)上述概念進(jìn)行驗(yàn)證，并明確概念之間的機(jī)能關(guān)系。該階段的兩大情感研究陣營(yíng)分別是現(xiàn)代生理醫(yī)學(xué)和科學(xué)心理學(xué)。在現(xiàn)代生理醫(yī)學(xué)體系下，著名生物學(xué)家查爾斯·達(dá)爾文(CharlesDarwin)的著作《人類和動(dòng)物的表情》(TheExpressionofEmotioninManandAnimals)被公認(rèn)為與他的《物種起源》 (OntheOriginofSpecies)分量相當(dāng)?shù)摹扒楦小毖芯烤拮鳌＿_(dá)爾文在書(shū)中提出了人類所擁有的一般表情，如痛苦、哭泣、快樂(lè)、憎恨、憤怒等。在此基礎(chǔ)上，他進(jìn)一步闡述了基于這些表情的情感、思維過(guò)程以及相應(yīng)的生理表現(xiàn)。這被認(rèn)為是現(xiàn)代科學(xué)有關(guān)情感及其行為研究的開(kāi)始。在科學(xué)心理學(xué)體系下，美國(guó)心理學(xué)家斯坦利·沙赫特(Stanley 同提出的激活歸因情緒理論(AttributionTheoryof 基礎(chǔ)。該理論認(rèn)為情感既來(lái)自生理反應(yīng)的認(rèn)知評(píng)價(jià)，也來(lái)自對(duì)導(dǎo)致這些反應(yīng)的情境的認(rèn)知評(píng)價(jià)。這一解釋為情感智能的實(shí)現(xiàn)提供了策略和思路。第三階段是心理學(xué)、生理學(xué)和信息技術(shù)的融合階段。在德國(guó)心理學(xué)家威廉·馮特(WilhelmWundt)創(chuàng)立科學(xué)心理學(xué)后的半個(gè)多世紀(jì)里，世界各地的心理學(xué)流派如雨后春筍般涌現(xiàn)。這些流派對(duì)情感都有著不同視角的認(rèn)知和理論。同時(shí)，隨著現(xiàn)代生理醫(yī)學(xué)的發(fā)展，在神經(jīng)科學(xué)視角下情感的腦機(jī)制研究得到長(zhǎng)足進(jìn)步。美國(guó)心理學(xué)家保羅·埃克曼(PaulEkman)提出了如今被視作普遍標(biāo)準(zhǔn)的人類七大基本表情理論：快樂(lè)、悲傷、憤怒、厭惡、驚訝、蔑視和恐懼。由埃克曼領(lǐng)導(dǎo)開(kāi)發(fā)的人類表情動(dòng)作編碼系統(tǒng)(FACS)被認(rèn)為是機(jī)器視覺(jué)讀懂人類表情的關(guān)鍵技術(shù)。1997年，美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室(MITMediaLab)羅莎琳德·皮卡德 式開(kāi)啟了實(shí)現(xiàn)情感智能的人工智能新時(shí)代。結(jié)合不同時(shí)期人們對(duì)情感性質(zhì)和作用的認(rèn)識(shí)，和發(fā)展的生理反應(yīng)，如在危險(xiǎn)環(huán)境中的緊張和、在受到侵?jǐn)_和威脅時(shí)的憤怒和亢奮、在獲得和生存必需品時(shí)的喜悅和興奮。情感不斷地強(qiáng)類適應(yīng)和利用環(huán)境的能力，并形成習(xí)得性的生理反應(yīng)，對(duì)個(gè)體的注意、記憶、感知等進(jìn)行調(diào)節(jié)，5二是溝通功能。諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者、美國(guó)心理學(xué)家赫伯特·西蒙(HerbertSimon)認(rèn)為，情感的識(shí)別和表達(dá)對(duì)于信息的交流和理解是必需的。情感對(duì)人類意圖的準(zhǔn)確表達(dá)和理解至關(guān)重要，同樣的文字語(yǔ)言用不同的情感來(lái)表達(dá)，其內(nèi)涵是完全不同的。因此，情感與語(yǔ)言密不可分。情感起到了關(guān)鍵的語(yǔ)義消歧作用，無(wú)論對(duì)信息的發(fā)出方還是信息的接收方都至關(guān)重要。這也是很多重要事項(xiàng)需要面對(duì)面交流的一個(gè)重要原因。在面對(duì)面場(chǎng)景下，相較于語(yǔ)音或文字溝通，表情、肢體動(dòng)作等具有情感內(nèi)涵的表達(dá)方式，有助于減少誤信。心理學(xué)家丹尼爾·卡尼曼(DanielKahneman)認(rèn)為，大腦通過(guò)快(“系統(tǒng)一”)與慢(“系統(tǒng)二”)兩出決策。常用的無(wú)意識(shí)的“系統(tǒng)一”主要于情感、經(jīng)驗(yàn)等迅速作出判斷；有意識(shí)的“系要依賴于理性思辨。因此，情感廣泛參與高級(jí)思維和決策過(guò)程，并深刻影響了決策體的資源投入程度、行為持久程度以及對(duì)、家庭等的維系紐帶，是低成本維系人類的核心，是潛在的社會(huì)交往契約，并與個(gè)密不可分，也對(duì)人類社會(huì)的進(jìn)步有著斷地?cái)U(kuò)展和豐富。早期的情感理論多是基于中國(guó)古代就有對(duì)“七情”“情理法”等理論的論述，并把與情感和心智有關(guān)的概念統(tǒng)稱為“情”。隨著白話文的普及和西方現(xiàn)代科學(xué)體系的引入，人情”等概念。本白皮書(shū)參考中國(guó)科學(xué)院心理研究所傅小蘭關(guān)于中英文譯法的說(shuō)明，將“emotion”譯“感情”或“感受”。和“movere”(意為“動(dòng)”)，從構(gòu)詞上來(lái)看，情緒含有移動(dòng)、運(yùn)動(dòng)的意思，強(qiáng)調(diào)非常短暫但強(qiáng)烈的體驗(yàn)。反觀感情和情感，英國(guó)心理學(xué)家邁克爾·艾森克(MichaelEysenck)和馬克·基恩(MarkKeane)認(rèn)為，情感具有廣泛的意義，表示情緒、心境和偏好等不同的內(nèi)心體驗(yàn)。中國(guó)心理學(xué)家孟昭蘭和黃希庭認(rèn)為，情感是情緒過(guò)程的主觀體驗(yàn)，而感情是情緒、情感這一類心理現(xiàn)象的籠統(tǒng)稱呼。綜合上述觀點(diǎn)，本白皮書(shū)認(rèn)為，情緒是情感性反應(yīng)的過(guò)程，感情是情感性反應(yīng)的內(nèi)容，而情感涵蓋上述詞義，是情緒和感情等的籠統(tǒng)稱謂。參考情感計(jì)算領(lǐng)域的做法以及孟昭蘭的定義，即“多成分組成、多維量結(jié)構(gòu)、多水平整合，并為有機(jī)體生存適應(yīng)和人際交往，而同認(rèn)知交互作用的心理活動(dòng)過(guò)程和心理動(dòng)機(jī)力量”，本白皮書(shū)將上述學(xué)術(shù)詞匯統(tǒng)稱為“情感”(在后續(xù)章節(jié)中不再區(qū)分上述概念)并進(jìn)行定義。情感是一種包括認(rèn)知、生理、體驗(yàn)、行為等多種要素的心理狀態(tài)，是有機(jī)體應(yīng)對(duì)和控制生存環(huán)境的進(jìn)化產(chǎn)物。在情感計(jì)算領(lǐng)域，運(yùn)用最多的理論模型是情感分類理論模型，主要包括離散情感模型和維度情感模型。離散情感模型將情感分為各個(gè)獨(dú)立的每一種情感之間沒(méi)有關(guān)聯(lián)性。美國(guó)心理學(xué)家卡羅爾·伊扎德(CarrollIzard)使用因素分析法，建立了包括興趣、驚訝、痛苦、厭惡、高興、憤通過(guò)表情分析，得出了更6詹姆斯-蘭格理詹姆斯-蘭格理論坎坎農(nóng)-巴德理論在詹姆斯-蘭格理論基礎(chǔ)上進(jìn)一步提出，除了外周神經(jīng)系統(tǒng)以外，更為和變化的中心系統(tǒng)。評(píng)評(píng)定-興奮學(xué)說(shuō)大腦皮層的興奮程度也是情感喚醒的重要通路，大腦皮層和皮下組織協(xié)同作用產(chǎn)生了情感。該學(xué)說(shuō)將情感的產(chǎn)生過(guò)程進(jìn)行了劃分，分別是情境刺激、情感評(píng)估和情感產(chǎn)生，并首次將認(rèn)知理論引入情感研究領(lǐng)域，這為沙赫特-辛格理論的提出進(jìn)行了鋪墊。沙赫特-辛格理沙赫特-辛格理論息認(rèn)認(rèn)知-評(píng)價(jià)理論情感是人與環(huán)境交互產(chǎn)生的結(jié)果，人會(huì)不斷地對(duì)周圍環(huán)境進(jìn)行初評(píng)、次傷、憤怒、厭惡、驚訝、恐懼和蔑視。離散情感模型更符合人的認(rèn)知與在日常生活中的表達(dá)形式，主要反映的是人類的基本情感類型，區(qū)分較為清晰，具有天然的可解釋性。維度情感模型則是運(yùn)用情感空間將不同的情感通過(guò)多維向量進(jìn)行表示。在情感的二維分類模型中具有代表性的是美國(guó)心理學(xué)家詹姆斯·羅素(JmaesRussel)提出的環(huán)形情感分類模型(見(jiàn)圖1-3)，也因其橫縱軸結(jié)構(gòu)(橫軸表示效價(jià)，左右分別表示消極和積極情感；縱軸表示喚醒度，上下分別表示喚醒程度高和低)被稱為VA 的種類很多，主要也是通過(guò)軸和極點(diǎn)來(lái)界定情感的類型，所有情感分布在每個(gè)軸兩極間的不同位置，比較常用的有兩種：由愉悅度(Pleasure)、激活度 ArousalDominance感三維模型；由愉悅度(Pleasure)、強(qiáng)度(Activation)、關(guān)注度(Attention)組成的情感三維模型。另一個(gè)著名的情感三維模型是美國(guó)心理學(xué)家羅伯特·普拉奇克 (RobertPlutchik)提出的基于情感進(jìn)化理論的“情感輪”模型(見(jiàn)圖1-4)，也被稱為倒錐體情感三維模型；包括兩極性(Polarity)、相似性(Similarity)、強(qiáng)度(Intensity)三個(gè)維度。不同于傳統(tǒng)的情感維度模型，該模型是情感進(jìn)化理論的一部分，系統(tǒng)闡釋驚驚奇奮興高采烈惡不愉快傷心松疲乏未喚醒愉快惶恐怒動(dòng)靜煩亂憋悶足煩警惕崇敬不耐煩生氣暴怒驚煉恐懼擔(dān)心憎恨驚記81956年美國(guó)達(dá)特茅斯學(xué)院(DartmouthCollege)開(kāi)會(huì)研討了如何用機(jī)器模擬人的智能。會(huì)上，人工智能 (Artificial1956年美國(guó)達(dá)特茅斯學(xué)院(DartmouthCollege)開(kāi)會(huì)研討了如何用機(jī)器模擬人的智能。會(huì)上，人工智能 (ArtificialIntelligence，AI)的概念被首次提出，人工智能學(xué)科由此誕生。此后，人們開(kāi)始通過(guò)研究人的智能活動(dòng)規(guī)律，開(kāi)發(fā)類人的智能系統(tǒng)，以使計(jì)算機(jī)能夠模擬人的智能行為。前期的研究基本集中在人的理性和邏輯活動(dòng)規(guī)律在機(jī)器的實(shí)現(xiàn)上。與此同時(shí)，心學(xué)家對(duì)感性或情感的研究也在逐步深化美國(guó)心理學(xué)家彼得·薩洛維(PeterSalovey)和約翰·邁耶(JohnMayer)發(fā)表的名為《情感智能》(EmotionalIntelligence)的文章，描述了他們創(chuàng)建的情感智能框架。該文章認(rèn)為，情感也是一智能，強(qiáng)調(diào)情感的認(rèn)知成分和處理能力論述。情感的四維分類模型由于過(guò)于抽象和復(fù)雜，并未被廣泛接納。分類模型和情感三基礎(chǔ)上，研究者嘗1.2情感計(jì)算的沿革、定義感計(jì)算的研究日益活躍(見(jiàn)圖1-5)。11960年美國(guó)社會(huì)心理學(xué)家丹尼爾·卡茨(DanielKatz)發(fā)表了關(guān)于態(tài)度功能的理論，揭示態(tài)度具有適應(yīng)功能、自我防御功能、認(rèn)知功能、價(jià)值表達(dá)功能等四功能19901990年1997年皮卡德出版了《情感計(jì)算》(AffectiveComputing)作，對(duì)情感計(jì)算進(jìn)行了系統(tǒng)的闡述。至此，這門性學(xué)科開(kāi)始得到廣泛關(guān)注1998年1999年2004年美國(guó)人工智能促進(jìn)協(xié)會(huì)(AAAI)分別召開(kāi)了針對(duì)人美國(guó)人工智能促進(jìn)協(xié)會(huì)(AAAI)分別召開(kāi)了針對(duì)人工情感和認(rèn)知的專業(yè)學(xué)術(shù)會(huì)議。同一時(shí)期，日本的“感性工學(xué)”逐步發(fā)展，即從工程學(xué)的角度實(shí)現(xiàn)對(duì)人的感性需求的滿足，把情感信息的研究從心理科學(xué)角度過(guò)渡到心理科學(xué)、機(jī)電科學(xué)、信息科學(xué)等相關(guān)學(xué)科的交叉融合領(lǐng)域。在歐洲，許多大學(xué)成立了情感與智的研究小組歐盟設(shè)立了一個(gè)名為HUMAINE的人機(jī)交互情感項(xiàng)目，旨在為能夠記錄、建模和影響個(gè)體情感的導(dǎo)向系統(tǒng)奠定基礎(chǔ)。歐盟27所大學(xué)聯(lián)合參與了該項(xiàng)目22010年《IEEE情感計(jì)算匯刊》(IEEETransactionsonAffectiveComputing)創(chuàng)刊。它是情感計(jì)算領(lǐng)域的第一本期刊，是由全球最大的非營(yíng)利性專業(yè)技術(shù)學(xué)會(huì)——電氣與電子工程師協(xié)會(huì)(IEEE)創(chuàng)辦的展歷程920世紀(jì)90年代2003年中國(guó)學(xué)者開(kāi)始投身于情感計(jì)算的研究。中國(guó)的情感計(jì)2003年第一屆“中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議”在北京第一屆“中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議”在北京2021年中國(guó)中文信息學(xué)會(huì)情感計(jì)算專委會(huì)(籌)在北京成立首屆“情感計(jì)算和智能交互國(guó)際學(xué)術(shù)會(huì)議”在北京召開(kāi)。此外，多所大學(xué)在2000年前后逐步建立起相關(guān)的研究單元。其中，具有代表性的有之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心、清華大學(xué)人機(jī)交互與媒體集成研究所、中國(guó)科學(xué)院自動(dòng)化研究所和哈爾濱工業(yè)大學(xué)社會(huì)計(jì)2021年中國(guó)中文信息學(xué)會(huì)情感計(jì)算專委會(huì)(籌)在北京成立展歷程曾被問(wèn)及關(guān)于機(jī)器情感的問(wèn)題，他認(rèn)為這一問(wèn)題的核心不在于智能機(jī)器能否有情感，而在于沒(méi)有情感的機(jī)器能否實(shí)現(xiàn)智能。雖然他最先提出了讓計(jì)算機(jī)具有情感能力的想法，但是學(xué)術(shù)界公認(rèn)的第一個(gè)正式提出情感計(jì)算完整定義的是皮卡德。她所著的表現(xiàn)，能夠進(jìn)行測(cè)量和分析，并能對(duì)情感施加影響的計(jì)算。此外，也有一些學(xué)者提出了不同的見(jiàn)解。與皮卡德采用認(rèn)知主義框架不同，瑞典計(jì)算機(jī)科學(xué)家克里斯蒂娜·霍克(KristinaH??k)以及美國(guó)計(jì)算機(jī)科學(xué)家菲比·森格斯(PhoebeSengers)和保羅·多羅希(PaulDourish)等學(xué)者從現(xiàn)象學(xué)出發(fā)，認(rèn)為情感計(jì)算的情感是在人與人、人與機(jī)器之間的交互過(guò)程中構(gòu)建起來(lái)的。日本工程院院士任福繼(FujiRen)認(rèn)為，情感計(jì)算旨在通過(guò)開(kāi)發(fā)能夠識(shí)別、表感的系統(tǒng)和設(shè)備來(lái)減少計(jì)算機(jī)與人之流障礙。中國(guó)科學(xué)院自動(dòng)化研究所胡包剛及認(rèn)為，情感計(jì)算的目的是通過(guò)賦予計(jì)算機(jī)識(shí)解、表達(dá)、適應(yīng)人情感的能力來(lái)建立和諧的人機(jī)環(huán)境，并使計(jì)算機(jī)具有更高、更全面的智能。驗(yàn)室人工智能研究院跨媒體智能研究中心李為，情感計(jì)算是賦予機(jī)器以感知、識(shí)別、理情感計(jì)算的研究?jī)?nèi)容主要包括五個(gè)方面(見(jiàn)1-7)。情感基礎(chǔ)理論模型主要包括離散情感模型和維度情感模型兩種類型(見(jiàn)圖1-8)。兩種類型各體采用哪種模型，取決于實(shí)際應(yīng)用任務(wù)通工具，在各種溝通載體上形成了海量的數(shù)，為文本挖掘提供了基礎(chǔ)。因此，語(yǔ)言文字信號(hào)獲取的成本最低。但是，數(shù)據(jù)質(zhì)量參差不齊，生語(yǔ)法錯(cuò)誤、文字亂碼等問(wèn)題，從而對(duì)情感1別3和深度學(xué)1別3和深度學(xué)集音、視覺(jué)4 (如表情、手勢(shì)等)、生理個(gè)方面，并建立相據(jù)集2論和維度情復(fù)合情感表達(dá)肢體動(dòng)作等表態(tài)5的研究?jī)?nèi)容型基礎(chǔ)理論模型識(shí)別產(chǎn)生不利的影響。由于攝像頭、麥克風(fēng)等傳感器成本較低且無(wú)須與用戶直接接觸，采集語(yǔ)音、面部表情等情感信號(hào)較為便利。這些領(lǐng)域的數(shù)據(jù)量十分龐大，相關(guān)的研究論文數(shù)量也很多，且不少數(shù)據(jù)直接來(lái)自實(shí)際場(chǎng)景。生理數(shù)據(jù)相較于文本、語(yǔ)音、表情等信號(hào)數(shù)據(jù)，其優(yōu)勢(shì)在于能夠更加直接、客觀、真實(shí)地反映個(gè)體的情感狀態(tài)，較少受到個(gè)體主觀意識(shí)的影響。因此，生理數(shù)據(jù)也成為情感計(jì)算領(lǐng)域的研究熱點(diǎn)之一。目前，在情感計(jì)算領(lǐng)域，運(yùn)用較多的生理數(shù)據(jù)包括腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等。由于需要佩戴較為復(fù)雜且成本較高的生理數(shù)據(jù)傳感器，生理數(shù)據(jù)的獲取較難在實(shí)際應(yīng)用中進(jìn)行推廣。目前，實(shí)驗(yàn)室或研究所能夠使用的生。針對(duì)文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、視覺(jué)數(shù)據(jù)、生理數(shù)據(jù)，研究人員開(kāi)發(fā)了相應(yīng)的數(shù)據(jù)分析算法和工具 (見(jiàn)圖1-9)。析分析①文本數(shù)據(jù)分析。傳統(tǒng)的文本情感分析通過(guò)建特定領(lǐng)域的情感詞典，再根據(jù)情感詞和文本的射關(guān)系進(jìn)行情感分析。但是，情感詞典的特定屬性限制了文本情感分析在多領(lǐng)域應(yīng)用的能力。近er語(yǔ)言模型為代表的預(yù)訓(xùn)練語(yǔ)言模型在多種情感分析任務(wù)中獲得成功，這引起了學(xué)術(shù)界和產(chǎn)業(yè)界極②語(yǔ)音數(shù)據(jù)分析。語(yǔ)音情感識(shí)別借助語(yǔ)言學(xué)聲學(xué)的相關(guān)技術(shù)，除了分析語(yǔ)法、語(yǔ)義之外，還會(huì)識(shí)別與情感狀態(tài)有關(guān)的聲學(xué)特征信息，如語(yǔ)速、音、語(yǔ)調(diào)。當(dāng)前，提取情感語(yǔ)音特征應(yīng)用較為廣③視覺(jué)數(shù)據(jù)分析。在表情、肢體動(dòng)作、場(chǎng)景圖片情感識(shí)別中，對(duì)面部表情的識(shí)別經(jīng)典的基本表情識(shí)別模型，該模型雖然簡(jiǎn)單但應(yīng)用廣泛。基于深度神經(jīng)網(wǎng)絡(luò)的深度情感特征，利用人臉情感識(shí)別數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，如④生理數(shù)據(jù)分析。與上述文本、語(yǔ)音、表情信號(hào)相比，生理信號(hào)的識(shí)別難度更大。同時(shí)，生理信號(hào)具有獨(dú)特的屬性。例如，在對(duì)腦電數(shù)據(jù)進(jìn)，需要開(kāi)展較為繁雜的預(yù)處理流程，包括電極位置定位、帶通濾波、轉(zhuǎn)換參考、分析段截取、偽跡去除、壞電極插補(bǔ)等，隨后要采取特征提取、特征降維等步驟，最后運(yùn)用機(jī)器學(xué)習(xí)分類對(duì)情感進(jìn)行識(shí)別。自2018年以來(lái)，運(yùn)用深度學(xué)習(xí)方法開(kāi)展腦電數(shù)據(jù)情感計(jì)算的論文呈現(xiàn)較大幅Encoders，SAE)等在內(nèi)的方法得到普遍運(yùn)用。早期的情感計(jì)算一般都是單模態(tài)的，即在文、表情、肢體動(dòng)作、生理信號(hào)等模態(tài)中對(duì)進(jìn)行數(shù)據(jù)分析和情感識(shí)別。然而，人在表達(dá)情感的時(shí)候往往是通過(guò)多種方式進(jìn)行聯(lián)合表達(dá)使用單模態(tài)進(jìn)行情感識(shí)別所獲取的情感信限性。人的情感豐富、細(xì)膩，表達(dá)形式多這就需要融合多個(gè)信息源，綜合處理，協(xié)以求盡可能精準(zhǔn)地識(shí)別人類情感。多模態(tài)利用來(lái)自不同模態(tài)的信息整合成一個(gè)穩(wěn)定表征，可以有效地解決這一問(wèn)題。根據(jù)融不同，常見(jiàn)的多模態(tài)融合方法可以分為基的早期融合、基于模型級(jí)的混合融合、基根據(jù)情感的分析識(shí)別結(jié)果，機(jī)器通過(guò)面部表情、情感回復(fù)生成、肢體動(dòng)作等方式向用戶傳遞帶有情感溫度的表達(dá)和回應(yīng)。例如，利用特定的聲音風(fēng)格、綜合具有情感標(biāo)簽的文本內(nèi)容合成語(yǔ)音，讓機(jī)器表達(dá)出特定的情感。這個(gè)過(guò)程將需要合成的文字內(nèi)容和特定風(fēng)格的聲音輸入神經(jīng)網(wǎng)絡(luò)，然后讓神經(jīng)網(wǎng)絡(luò)合成特定風(fēng)格的語(yǔ)音。如果需要通過(guò)肢體動(dòng)作表達(dá)情感，則需要先分析動(dòng)作的基本單元，然后再根據(jù)情感與單元組合的映射關(guān)系合成相應(yīng)的交互動(dòng)作，讓機(jī)器執(zhí)行。1.3情感計(jì)算的意義(1)情感計(jì)算是實(shí)現(xiàn)自然化、擬人化、人格基礎(chǔ)性技術(shù)和重要前提“深度”。計(jì)算機(jī)雖然已經(jīng)擁有強(qiáng)大的計(jì)算能力，但是因缺乏與人相似的情感能力而始終無(wú)法與人進(jìn)行深層次的、自然的人機(jī)交互。皮卡德曾表示，當(dāng)初就是因?yàn)樵谘芯咳斯ぶ悄軙r(shí)好像各方面受限于忽視了情感或者無(wú)法充分理解情感的機(jī)制。這促使她提出情感計(jì)算的概念并展開(kāi)研究。情感的識(shí)別和表達(dá)對(duì)信息的交流和理解是必需的，使機(jī)器具備情感智能從而有助于交互信息的深度感知和理解。交互擁有“溫度”。人與機(jī)器的交互不再冰冷和程式化，而是更加貼心和共情，以突出人本理念、人性理解、人文關(guān)懷。再”。機(jī)器擁有了人格化特征、個(gè)性甚至是自我意識(shí)，可以帶來(lái)態(tài)。(2)情感計(jì)算為人工智能決策提供了優(yōu)化路徑17—18世紀(jì)，法國(guó)哲學(xué)家勒內(nèi)·笛卡爾 (RenéDescartes)提出的身心二元論在西方世界占據(jù)思想的主流。笛卡爾拒絕承認(rèn)情感在理性決策中的作用，認(rèn)為受情感支配會(huì)喪失自主權(quán)。然而，如今眾多研究已經(jīng)表明情感在決策、理解、學(xué)習(xí)等理性思考中扮演著重要且正面的角色并影響最終的結(jié)果。認(rèn)知神經(jīng)科學(xué)家通過(guò)對(duì)情感障礙病理學(xué)、神經(jīng)生理學(xué)、神經(jīng)影像學(xué)等的研究，為情感影響認(rèn)知這個(gè)理論提供了堅(jiān)實(shí)的科學(xué)依據(jù)。大量的研究表明，人在解決某些問(wèn)題的時(shí)候，純理性的決策往往并非最優(yōu)解。在作出決策時(shí)，情感的加入反而有可能幫助人們找到更優(yōu)解。因此，情感變量的輸入或?qū)椭鷻C(jī)器作出更加人性化的決策。(3)情感計(jì)算在多領(lǐng)域具有巨大應(yīng)用價(jià)值，化、數(shù)字化時(shí)代具有重大價(jià)值應(yīng)用，極大地提高了人的生活質(zhì)量和學(xué)習(xí)者的情感狀態(tài)，然后給予相應(yīng)的反饋和調(diào)例如，教師能夠通過(guò)情感教學(xué)智能系統(tǒng)進(jìn)一步學(xué)生的課堂參與度，以便及時(shí)調(diào)整教學(xué)節(jié)奏和，改進(jìn)教學(xué)計(jì)劃。智能系統(tǒng)能夠通過(guò)情感分析學(xué)生感興趣的主題，從而推薦定制化的學(xué)習(xí)內(nèi)容。學(xué)生也能通過(guò)智能系統(tǒng)進(jìn)行真實(shí)的教學(xué)反饋，既能在傳統(tǒng)課堂中使用，也能嵌入網(wǎng)絡(luò)軟件于線上課堂。特別是在新冠肺炎疫情的影響下，線上教育培訓(xùn)的應(yīng)用場(chǎng)景更廣、頻率也更高。但是，遠(yuǎn)程教育缺乏面對(duì)面互動(dòng)的情感化課堂氛此使用情感計(jì)算的線上課堂值得被應(yīng)用和推了課堂教育之外，情感計(jì)算還有利于教育游育機(jī)器人的研究和發(fā)展。融入情感元素的游器人能夠帶來(lái)更好的人機(jī)交互體驗(yàn)，從而更在醫(yī)療健康領(lǐng)域，尤其是在心理疾病的治療情感計(jì)算能夠科學(xué)和客觀地對(duì)患者的情感進(jìn)行和判斷，這是對(duì)行為觀察、量表填寫(xiě)等主觀性的傳統(tǒng)診斷手段的有益補(bǔ)充。客觀的數(shù)據(jù)有利性化、精準(zhǔn)化醫(yī)療水平的提升，根據(jù)收集到的在商業(yè)服務(wù)領(lǐng)域，情感計(jì)算的應(yīng)用更加廣泛。，消費(fèi)者的體驗(yàn)與情感高度關(guān)聯(lián)，情感計(jì)算助企業(yè)了解消費(fèi)者的內(nèi)心世界以及驅(qū)動(dòng)消費(fèi)誘因。由此挖掘產(chǎn)生的信息能夠協(xié)助企業(yè)制前瞻性的商業(yè)策略。另一方面，融入情感計(jì)此外，情感計(jì)算還能用于安保防范和輿情監(jiān)減輕人力成本的同時(shí)提升監(jiān)控質(zhì)量，保是可以預(yù)見(jiàn)其潛力巨大。近代科學(xué)大部分是和改造外部世界的過(guò)程中發(fā)展開(kāi)來(lái)的，但目前人們對(duì)內(nèi)心世界的認(rèn)識(shí)還處于比較粗淺的階段。算是在人工智能框架下的一大進(jìn)步，體現(xiàn)了高層次的智能，有助于引領(lǐng)人類走向和諧人單模態(tài)情感計(jì)算多模態(tài)情感計(jì)算文本情感計(jì)算語(yǔ)音情感計(jì)算多情感單感計(jì)音計(jì)算算情感計(jì)情模視覺(jué)情感計(jì)算生理信號(hào)情感計(jì)算生理策合信號(hào)視覺(jué)多模態(tài)數(shù)據(jù)集計(jì)算計(jì)算情感情感態(tài)計(jì)算多模態(tài)融合策略單模態(tài)情感計(jì)算多模態(tài)情感計(jì)算文本情感計(jì)算語(yǔ)音情感計(jì)算多情感單感計(jì)音計(jì)算算情感計(jì)情模視覺(jué)情感計(jì)算生理信號(hào)情感計(jì)算生理策合信號(hào)視覺(jué)多模態(tài)數(shù)據(jù)集計(jì)算計(jì)算情感情感態(tài)計(jì)算多模態(tài)融合策略互需求的不斷增強(qiáng)，情感計(jì)算在人機(jī)交互性日益凸顯，基于情感理解與表達(dá)的人機(jī)也受到了各領(lǐng)域的廣泛關(guān)注。情感計(jì)算對(duì)、推理、決策、規(guī)劃、創(chuàng)造、社會(huì)互動(dòng)等動(dòng)起著不可或缺的作用。基于情感計(jì)算的研分析科學(xué)中具有重要意義。情感計(jì)算大致模態(tài)情感計(jì)算和多模態(tài)情感計(jì)算，本章將。情感計(jì)情感計(jì)算腦電信號(hào)心電信號(hào)信號(hào)肌電腦電信號(hào)心電信號(hào)信號(hào)肌電信號(hào)信號(hào)信號(hào)圖2-1情感計(jì)算研究框架2.1單模態(tài)情感計(jì)算單模態(tài)情感計(jì)算主要包含文本、語(yǔ)音、視覺(jué)、文本就是人與人之間的交流因時(shí)空等限制而助的媒介，也是記錄信息的一種載體。文本記錄人的思維意識(shí)活動(dòng)，其中一些文本一定帶有情感向，那么對(duì)這部分信息的挖掘、研究和應(yīng)用就是(1)研究背景和發(fā)展現(xiàn)狀由于機(jī)器無(wú)法直接理解語(yǔ)言文字這種非結(jié)NLU)通過(guò)語(yǔ)法分析、句法分析與語(yǔ)義分析對(duì)句落、語(yǔ)篇等長(zhǎng)文本進(jìn)行理解；二是自然語(yǔ)言言格式的數(shù)據(jù)轉(zhuǎn)換成人可以理解的語(yǔ)言格式。NLP由于數(shù)據(jù)的龐雜，人工分析成本高且耗時(shí)耗大數(shù)據(jù)技術(shù)和人工智能技術(shù)對(duì)文本的情感可以極大地提高效率和準(zhǔn)確率。因此，文范疇，主要研究情感狀態(tài)與文本信息的對(duì)應(yīng)關(guān)系。感的計(jì)算主要由文本情感特征標(biāo)注、文本情計(jì)算機(jī)無(wú)法識(shí)別文本，需要先將文本轉(zhuǎn)為向析。目前，常見(jiàn)的文本生成向量的方法(2)數(shù)據(jù)集P本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有根據(jù)新浪新聞RSS訂分類數(shù)據(jù)集、搜狗實(shí)驗(yàn)室開(kāi)發(fā)的全網(wǎng)新聞數(shù)據(jù)(SogouCA)和搜狐新聞數(shù)據(jù)(SogouCS)、騰訊云消息隊(duì)列CKafka上線的數(shù)據(jù)中心接入的服務(wù)模(3)主要方法的情感分類方法大致有五種：通過(guò)構(gòu)建帶有向的情感詞典再基于情感詞典進(jìn)行比較分析的方法、基于“情感詞典+習(xí)”的方法、基于弱標(biāo)注的方法、基于深度基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法主要有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)本質(zhì)上是分類，通過(guò)已有的訓(xùn)練樣本去訓(xùn)練以獲得一個(gè)最優(yōu)模型，再將全部的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)分類目的的方法。常見(jiàn)的監(jiān)督學(xué)習(xí)方法有K最近鄰(K-NearestNeighbor，KNN)、樸素貝葉斯(NaiveBayes)、支(SupportVectorMachine，SVM)等。無(wú)監(jiān)督學(xué)習(xí)沒(méi)有任何訓(xùn)練樣本，需要直接對(duì)數(shù)據(jù)進(jìn)行建模。常用的無(wú)監(jiān)督學(xué)習(xí)方法有K均值聚類算法 半監(jiān)督學(xué)習(xí)的方法是監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。上述方法雖然簡(jiǎn)單易懂也具有較高的穩(wěn)定性，在精度不高和依賴人工操作的缺陷。基于深度學(xué)習(xí)的分析方法彌補(bǔ)了這種缺陷。一方面，神絡(luò)的引入使模型的預(yù)測(cè)精度得到提高；另一方面，不需要額外構(gòu)建字典，從而降低了工作復(fù)雜對(duì)前后文進(jìn)行連貫性建模、BERT能夠?qū)⑷淖鳛楫?dāng)人在閱讀一段文本時(shí)，都是基于自己已經(jīng)擁有的對(duì)先前所見(jiàn)詞的理解來(lái)推斷當(dāng)前詞的真實(shí)含義，也就是說(shuō)，思想具有持久性。于是，循環(huán)神經(jīng)網(wǎng)絡(luò)最先被應(yīng)用到NLP中，保證了信息的持久化和前后信息的連貫性，其中比較經(jīng)典的RNNGRU)。隨著神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用逐漸深入，發(fā)現(xiàn)組合神經(jīng)網(wǎng)絡(luò)與單一的神經(jīng)網(wǎng)絡(luò)相比往接上捕捉局部特征的CNN，能夠進(jìn)一步提高精確度。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)也不是完美的，尤其是RNN的機(jī)制會(huì)存在長(zhǎng)程梯度消失的問(wèn)題，對(duì)于較子也很難寄希望于將輸入的序列轉(zhuǎn)化為定長(zhǎng)而保存所有的有效信息。為了解決由長(zhǎng)序列向量轉(zhuǎn)化而造成的信息損失的問(wèn)題，注意力歌公司推出的預(yù)訓(xùn)練語(yǔ)言理解模型BERT，通過(guò)大注的語(yǔ)言文本進(jìn)行語(yǔ)言模型的訓(xùn)練，從而得到一套模型參數(shù)，利用這套參數(shù)對(duì)模型進(jìn)行初始根據(jù)具體任務(wù)在現(xiàn)有語(yǔ)言模型的基礎(chǔ)上進(jìn)行(4)問(wèn)題和挑戰(zhàn)文本隱含內(nèi)容的提取、非標(biāo)準(zhǔn)化文本的出語(yǔ)言的文本情感分析等。鑒于文本情感分圍的復(fù)雜性，模型的適用范圍往往較為單在多個(gè)應(yīng)用場(chǎng)景下均保持良好的表現(xiàn)。此的數(shù)據(jù)集也限制了文本情感分析在多元化進(jìn)行的。因此，多更符合人對(duì)情感的感知，更符合人的情感分析效果更好。根據(jù)見(jiàn)方式，由文本情感分析衍生出兩大。(1)研究背景和發(fā)展現(xiàn)狀傳統(tǒng)的語(yǔ)音處理系統(tǒng)僅僅著眼于語(yǔ)音詞匯傳準(zhǔn)確性，隨著語(yǔ)音識(shí)別技術(shù)的迅速發(fā)展，如何語(yǔ)音中的情感已成為語(yǔ)音識(shí)別領(lǐng)域新興的研究向。如今，“物”與“人”的交互變得更加頻繁和重要，人與人之間最自然的交互——語(yǔ)音交互，語(yǔ)音情感是指語(yǔ)音信號(hào)蘊(yùn)含的說(shuō)話者的情感，現(xiàn)在兩個(gè)部分：一個(gè)是語(yǔ)音所包含的語(yǔ)言情，另一個(gè)是聲音本身所具有的情感特征，如高低變化等。與語(yǔ)音情感相關(guān)的計(jì)算稱為語(yǔ)計(jì)算。語(yǔ)音情感計(jì)算的研究?jī)?nèi)容包括語(yǔ)音情(2)數(shù)據(jù)集語(yǔ)音情感數(shù)據(jù)集是語(yǔ)音情感計(jì)算的重要組成分。目前，數(shù)據(jù)集的主要分類方式有兩種：按照情感語(yǔ)音的生成方式、情感的描述模型進(jìn)行分類。根據(jù)語(yǔ)音的生成方式分類，語(yǔ)音情感數(shù)據(jù)集可被類，分別是表演型、引導(dǎo)型、自然型；根據(jù)情感的描述模型分類，數(shù)據(jù)集可被分為兩類，分別是離散語(yǔ)音情感數(shù)據(jù)集、維度語(yǔ)音情感數(shù)據(jù)集。如圖2-2所示。(3)主要方法語(yǔ)音情感識(shí)別系統(tǒng)對(duì)給定語(yǔ)音的潛在情感進(jìn)行分類的方法包括傳統(tǒng)方法、基于深度學(xué)習(xí)的方法。傳統(tǒng)的分類器有兩類：一類是基于統(tǒng)計(jì)的分類器，另一類是基于判別的分類器。基于統(tǒng)計(jì)的分類器主要包括隱馬爾可夫模型(HiddenMarkov常用的代表性語(yǔ)音數(shù)據(jù)集常用的代表性語(yǔ)音數(shù)據(jù)集美國(guó)南加利福尼亞大學(xué)語(yǔ)音分析和解析實(shí)驗(yàn)室(SAIL)的IEMOCAP(TheInteractiveEmotionalDyadicMotionCaptureDatabase)數(shù)據(jù)集中國(guó)科學(xué)院自動(dòng)化研究所的CASIA(ChineseEmo-tionalSpeechCorpus)數(shù)據(jù)集和FAU-Aibo(FAUAiboEmotionCorpus)自然型數(shù)據(jù)庫(kù)德國(guó)柏林工業(yè)大學(xué)通信科學(xué)研究所的EmoDB(BerlinEmotionalDatabase)數(shù)據(jù)集德國(guó)卡爾斯魯厄理工學(xué)院通信工程實(shí)驗(yàn)室收集的無(wú)償數(shù)據(jù)集-VAM(VeraAmMittagDatabase)數(shù)據(jù)集英國(guó)貝爾法斯特女王大學(xué)(Queen'sUniversityBelfast)基于英國(guó)帝國(guó)理工學(xué)院(ImperialCollegeLondon)iBUG小組開(kāi)發(fā)的Semaine數(shù)據(jù)集決策樹(shù)(DecisionTree)和SVM。深度學(xué)習(xí)算法由次的結(jié)構(gòu)和高效的結(jié)果而被廣泛應(yīng)用于語(yǔ)音情感識(shí)別領(lǐng)域，主要包括深度玻爾茲曼機(jī)(Deep(4)問(wèn)題和挑戰(zhàn)未達(dá)到成熟階段。目前，語(yǔ)音情感計(jì)算尚待解決的問(wèn)題包括缺少被廣泛認(rèn)可的數(shù)據(jù)集、標(biāo)注困難、(1)研究背景和發(fā)展現(xiàn)狀各類圖片和視頻如潮水般涌入網(wǎng)絡(luò)，這算研究者提供了海量數(shù)據(jù)，人們嘗試用合目前，視覺(jué)情感計(jì)算的研究熱點(diǎn)主要包括基部表情的情感識(shí)別研究和基于肢體動(dòng)作的情感研究。基于面部表情的情感識(shí)別研究主要通過(guò)計(jì)算機(jī)視覺(jué)以及深度學(xué)習(xí)來(lái)理解面部特征和情基于肢體動(dòng)作的情感識(shí)別主要通過(guò)人體肢體動(dòng)獲取人的情感信息。肢體動(dòng)作與面部相比具有的自由度，這使得它能夠通過(guò)更豐富的方式來(lái)更復(fù)雜的情緒甚至意圖，也有助于使機(jī)器具有更豐富、更細(xì)微情感的能力，進(jìn)而挖掘個(gè)體內(nèi)(2)數(shù)據(jù)集視覺(jué)情感數(shù)據(jù)集可以分為圖片情感數(shù)據(jù)集 (見(jiàn)圖2-3)和視頻情感數(shù)據(jù)集(見(jiàn)圖2-4)。(3)主要方法視覺(jué)情感計(jì)算主要研究從視覺(jué)信息感知和理情緒，可以通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)方法與基于深要有方向梯度直方圖、支持向量機(jī)、K最近鄰、隨機(jī)森林等。但是，當(dāng)面對(duì)長(zhǎng)的視覺(jué)內(nèi)容數(shù)據(jù)量時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)方法難以快速、準(zhǔn)確地處理多媒體內(nèi)容數(shù)據(jù)的伸縮近年來(lái)，深度學(xué)習(xí)在許多領(lǐng)域均取得不錯(cuò)的是在圖片分類、圖片識(shí)別、圖片檢索等視覺(jué)領(lǐng)域。視覺(jué)情感計(jì)算的深度學(xué)習(xí)方法與法相比，具有更高的魯棒性與準(zhǔn)確性，因此應(yīng)用于基于視覺(jué)的情感計(jì)算與分析領(lǐng)域。圖計(jì)算方法以卷積神經(jīng)網(wǎng)絡(luò)方法為代表，主要度學(xué)習(xí)從大量圖像數(shù)據(jù)中自動(dòng)學(xué)習(xí)有助于情的有效特征或強(qiáng)特征，以進(jìn)一步提升圖片情或分類能力。視頻情感計(jì)算方法以循環(huán)神經(jīng)主，該深度學(xué)習(xí)方法擅長(zhǎng)處理視頻等序列輸tDERFADCE人臉檢DERFADCE人臉檢測(cè)基準(zhǔn)數(shù)據(jù)集別數(shù)據(jù)集APSArtPhoto在ArtPhoto在IAPS基礎(chǔ)上的擴(kuò)展注意力國(guó)家心理健康中心開(kāi)發(fā)，旨在為研究情緒和注意力提供一套標(biāo)準(zhǔn)化的主要被廣泛應(yīng)用于理學(xué)研究囊括三種類型的情緒標(biāo)簽包含負(fù)面圖片、正面等照片包含埃克曼提出的六種基本情緒及一個(gè)中性情類除了表情標(biāo)注以外，對(duì)典型的圖片情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集LIRIS-ACCEDE包括61個(gè)表現(xiàn)不同基本包括61個(gè)表現(xiàn)不同基本緒的成年人和25個(gè)對(duì)出反應(yīng)的成前被廣感分類個(gè)時(shí)長(zhǎng)為8~12秒)沿著效價(jià)軸排序，從最負(fù)面的視頻到最積極的視頻，被廣泛用MAHNOBHCI-MAHNOBHCI-據(jù)集組成(4)問(wèn)題和挑戰(zhàn)視覺(jué)情感計(jì)算在實(shí)際應(yīng)用中面臨不少難題。一是語(yǔ)義鴻溝。語(yǔ)義鴻溝是由于計(jì)算機(jī)獲取圖片的視覺(jué)信息與用戶對(duì)圖片理解語(yǔ)義信息的不一致而導(dǎo)致的偏差。二是情感表述的準(zhǔn)確性問(wèn)題和標(biāo)(1)研究背景和發(fā)展現(xiàn)狀基于生理信號(hào)的情感計(jì)算快速發(fā)展。廣義而有身體變化都可以視作生理信號(hào)。情感計(jì)算常用的生理特征是腦電、心率和心率異變以(2)常用生理信號(hào)腦電信號(hào)與其他生理信號(hào)相比，具有直接客量化、特征多元的特點(diǎn)，并且具有直接相關(guān)性，能夠表現(xiàn)出更高的情感識(shí)，因此成為基于生理信號(hào)的情感識(shí)別中應(yīng)用的信號(hào)之一。在腦電信號(hào)預(yù)處理中最重要的去除偽跡和噪聲，剝離與情感相關(guān)的腦電活動(dòng)，從而提取多種特征：如事件相關(guān)電位(ERP)、計(jì)量、不穩(wěn)定指數(shù)、高階交叉特征、分形維如事件相關(guān)去同步(ERS)、事件相關(guān)同步(ERD)、頻微分熵等時(shí)頻域特征；非線性動(dòng)力學(xué)特征；空域特征。最后，將多種特征帶入分類器進(jìn)行分類。經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)等深動(dòng)在時(shí)間和空間上的數(shù)據(jù)。這些數(shù)據(jù)主要時(shí)間、注視位置、瞳孔大小、眼電圖信號(hào)信號(hào)是在眼動(dòng)信號(hào)中應(yīng)用比較廣泛種方式提取特征，并將特征帶入分類器。深度學(xué)習(xí)算法也逐步被應(yīng)用于特征提合、情感分類等多個(gè)情感識(shí)別過(guò)程，以肌電信號(hào)主要通過(guò)電極檢測(cè)肌肉收縮時(shí)產(chǎn)生的表面電壓，從而獲取肌電圖數(shù)據(jù)。肌電信號(hào)數(shù)和時(shí)頻域兩個(gè)方面。時(shí)域主要提取肌電信號(hào)的均準(zhǔn)差、最大值、最小值等統(tǒng)計(jì)學(xué)的特征。時(shí)要是通過(guò)小波變換對(duì)肌電信號(hào)進(jìn)行分解，提小波系數(shù)的均值、標(biāo)準(zhǔn)差等。肌電信號(hào)的預(yù)括濾波、降噪等，通過(guò)基于時(shí)域、頻域以及結(jié)合等進(jìn)行特征提取，利用小波變換、獨(dú)立成分分析(ICA)算法等進(jìn)行特征選擇與降維，從征帶入基于傳統(tǒng)方法的分類器或深度學(xué)習(xí)算皮膚電信號(hào)是一種常用的情感計(jì)算指標(biāo)，依體的汗腺分泌，電導(dǎo)率隨著汗液離子填充汗腺而變化。皮膚電導(dǎo)可以在身體的任何地方測(cè)量，的電極放置位置是在手的中指和食指末梢部重要的情感計(jì)算特征。皮膚電信號(hào)數(shù)據(jù)集主通過(guò)提取統(tǒng)計(jì)特征或算法優(yōu)化的方式進(jìn)行特征提取，最后將特征放入合適的分類器中進(jìn)行情感計(jì)算。心電信號(hào)(ECG)是人體心臟搏動(dòng)時(shí)心肌細(xì)胞產(chǎn)生的動(dòng)作電位綜合而成的。心電信號(hào)能夠反映心臟的活動(dòng)，情緒的變化也會(huì)直接導(dǎo)致心臟活動(dòng)的變化，因此心電信號(hào)也能運(yùn)用于情感識(shí)別領(lǐng)域。心電特征主要包括PQRST(心電圖的5個(gè)波形)、用的是德國(guó)奧格斯堡大學(xué)情感生理數(shù)據(jù)集和HR-呼吸是人體重要的一個(gè)生理過(guò)程，隨著情感波動(dòng)，呼吸系統(tǒng)的活動(dòng)在速度和深度上會(huì)有。因此，通過(guò)對(duì)呼吸信號(hào)的研究，可以用于體情感狀態(tài)的變化。常用的呼吸信號(hào)特征包頻率、平均呼吸水平、連續(xù)呼吸之間的最長(zhǎng)時(shí)間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等。常用的(3)問(wèn)題與挑戰(zhàn)基于生理信號(hào)的情感識(shí)別技術(shù)雖然已經(jīng)擁有諸多成功案例，但是存在許多未解決的科學(xué)問(wèn)題。信號(hào)的采集不便。測(cè)量生理信號(hào)是建立生理算系統(tǒng)的第一步，而用于檢測(cè)信號(hào)的傳感器地受限于場(chǎng)地、環(huán)境、可操作性等，也面臨性差和計(jì)算能力弱等困擾。其次是生理信號(hào)性較低。例如，隨著年齡的變化或某些疾病，生理信號(hào)數(shù)據(jù)會(huì)產(chǎn)生差異，即使是同一個(gè)著體力活動(dòng)、交談或姿勢(shì)的變換，生理信號(hào)同。這并不與情感的變化直接相關(guān)。再者是注不精確、數(shù)據(jù)難以窗口化、采樣繁瑣、數(shù)理與計(jì)算難度大，以及非情感和情感對(duì)生理2.2多模態(tài)情感計(jì)算雖然人臉表情、肢體動(dòng)作、語(yǔ)音等均能獨(dú)立理解和表達(dá)，但是人的相互交流總是通模態(tài)信息的綜合表現(xiàn)來(lái)進(jìn)行的。多模態(tài)情感以將不同模態(tài)之間的信息進(jìn)行互補(bǔ)并用于消情感分析更準(zhǔn)確，具有更高的魯棒性，也更類的自然表達(dá)。這讓多模態(tài)情感計(jì)算成為當(dāng)單模態(tài)的信息量不足且容易受到外界各種因影響，如面部表情容易被遮擋、語(yǔ)音容易受噪擾等。此外，當(dāng)個(gè)體主觀上對(duì)情感信號(hào)加以掩飾或者單一通道的情感信號(hào)受到其他信號(hào)影響時(shí)，分析性能就會(huì)明顯下降。人的情感通常以多種的方式呈現(xiàn)，大腦在整合多感官信息時(shí)存在多階段融合的現(xiàn)象。多模態(tài)情感分析能夠有效利用模態(tài)信息的協(xié)同互補(bǔ)來(lái)增強(qiáng)情感理解與表達(dá)能引入多模態(tài)情感計(jì)算是提高模型魯棒性等性能別和理解的方法上。多模態(tài)情感計(jì)算的發(fā)展中體現(xiàn)在四個(gè)方面：①融合語(yǔ)義信息多尺度進(jìn)行準(zhǔn)確地理解，從多個(gè)維度進(jìn)行多模態(tài)情感分析；②提高在復(fù)雜環(huán)境下情感計(jì)算的魯棒性，非協(xié)作開(kāi)放模式下，面向高維碎片化開(kāi)源數(shù)目標(biāo)對(duì)象情感狀態(tài)的精準(zhǔn)識(shí)別；③與預(yù)訓(xùn)練及多任務(wù)聯(lián)合訓(xùn)練等方法結(jié)合，實(shí)現(xiàn)在更多場(chǎng)景下的多模態(tài)情感計(jì)算；④探索通用的多模態(tài)情感計(jì)算模型，通過(guò)適配多場(chǎng)景應(yīng)用，實(shí)現(xiàn)多模態(tài)應(yīng)用零成本遷移。針對(duì)多模態(tài)情感計(jì)算的迫切需求，美國(guó)卡內(nèi)大學(xué)提出了一個(gè)大規(guī)模的多模態(tài)對(duì)話情感計(jì)文本、用協(xié)同語(yǔ)音分析庫(kù)技術(shù)(COVAREP)抽取不僅具有情感標(biāo)簽，而且對(duì)情感的強(qiáng)弱進(jìn)行了標(biāo)注，從而可以支撐細(xì)粒度的情感分析任務(wù)。目前，生理信號(hào)類多模態(tài)情感計(jì)算資源主要采用音頻刺激方法誘發(fā)情緒，同步采集多模態(tài)生理進(jìn)而分析不同情緒下中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)的反應(yīng)，以實(shí)現(xiàn)基于多模態(tài)生理信號(hào)的情別。典型計(jì)算資源包括DEAP、DECAF、HR-EEG4EMO等數(shù)據(jù)集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信驗(yàn)被試者根據(jù)自身感受從喚醒度、效價(jià)、偏配度和熟悉度等維度進(jìn)行評(píng)分。由于被試個(gè)別、年齡等因素均會(huì)對(duì)情緒激發(fā)產(chǎn)生重要影慮引入相關(guān)人口統(tǒng)計(jì)學(xué)信息并建模是非常必算法創(chuàng)新，以提升情感分類的準(zhǔn)確率。在情中，每個(gè)模塊所傳達(dá)的人類情感的信息量大度不同。在人機(jī)交互中，不同的維度還存在不完善的問(wèn)題，因此情感計(jì)算應(yīng)盡可能從多入手，將單一不完善的情感通道補(bǔ)上，最后在模態(tài)融合方面，多模態(tài)情感計(jì)算可分為模關(guān)和模型依賴兩種路線。模型無(wú)關(guān)包括特征級(jí)融合(前期融合)、決策級(jí)融合(后期融合)和混融合。特征級(jí)融合主要先通過(guò)構(gòu)建特征集合或特征空間，再送入分類模型進(jìn)行分類決策。決融合關(guān)鍵在于找出不同模態(tài)在決策階段的可信，再進(jìn)行協(xié)調(diào)、聯(lián)合決策。混合式融合包含上種融合。模型依賴的方法為多模態(tài)融合設(shè)計(jì)了結(jié)構(gòu)，基于核函數(shù)的融合和基于圖的融合常用層模型，基于神經(jīng)網(wǎng)絡(luò)的融合、基于張量的融合、基于注意力機(jī)制的融合等則多用于深層模型。級(jí)融合可以將不同模態(tài)特征分別輸入不同模型再進(jìn)一步提取特征。決策級(jí)融合與特征級(jí)融合易進(jìn)行，但關(guān)鍵是要探究各個(gè)模態(tài)對(duì)情別的重要程度。然而，模型級(jí)融合并不需要重探究各模態(tài)的重要程度，而是根據(jù)模態(tài)特性需立合適的模型，聯(lián)合學(xué)習(xí)關(guān)聯(lián)信息。總之，模融合相較于決策級(jí)融合和特征級(jí)融合最大的特于靈活地選擇融合的位置。近年來(lái)，有學(xué)者提出了多階段多模態(tài)情感融合，即先訓(xùn)練一個(gè)單模態(tài)模型，將其隱含狀態(tài)與另一個(gè)模型特征拼接得到雙模態(tài)模型并進(jìn)行再訓(xùn)練，以此類推，得到多解決多模態(tài)情感計(jì)算問(wèn)題需要更豐富的模態(tài)以及不同模態(tài)之間的細(xì)粒度對(duì)齊，這無(wú)疑對(duì)多模態(tài)信息的提煉與整合提出了更高的要求。，受情感信息捕獲技術(shù)的影響，以及標(biāo)記困難題，建立高質(zhì)量多模態(tài)數(shù)據(jù)集是當(dāng)下的主要挑一。傳統(tǒng)多模態(tài)學(xué)習(xí)范式對(duì)特征之間的關(guān)聯(lián)關(guān)息和特征的高階信息的關(guān)注不夠，而深度多模習(xí)范式則缺乏大規(guī)模的情感數(shù)據(jù)資源，有關(guān)多特征融合的情感理解模型研究還有待深入，如語(yǔ)義信息進(jìn)行多尺度情感準(zhǔn)確理解、提高復(fù)雜下情感計(jì)算的魯棒性、探索通用的多模態(tài)情感模型等。這些技術(shù)的完善將進(jìn)一步推動(dòng)多模態(tài)間次均不在引文統(tǒng)計(jì)范用機(jī)器與人工方式協(xié)于機(jī)構(gòu)名稱撰寫(xiě)不規(guī)論文統(tǒng)計(jì)的遺漏中國(guó)(含港澳臺(tái)地區(qū))統(tǒng)計(jì)時(shí)會(huì)說(shuō)明作者統(tǒng)，主要包括第一作者統(tǒng)計(jì)數(shù)數(shù)據(jù)庫(kù)的深度分析型研究工具。ESI可以確定在某領(lǐng)域有影響力的國(guó)家、機(jī)構(gòu)、出版物、論文JCR數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)是一個(gè)多學(xué)科期刊評(píng)價(jià)工引證報(bào)告提供基于引文數(shù)據(jù)統(tǒng)計(jì)信息的期文獻(xiàn)的標(biāo)引和統(tǒng)計(jì)，期刊引證報(bào)告可以在期刊層面衡量某項(xiàng)研究的影響力，s發(fā)文量/篇發(fā)文量/篇策略主題關(guān)鍵詞(TS)學(xué)科分類(WC)y3.1情感計(jì)算領(lǐng)域研究趨勢(shì)情感計(jì)算已歷經(jīng)26年的發(fā)展，該領(lǐng)域科研人員產(chǎn)心合集數(shù)據(jù)庫(kù)為數(shù)據(jù)基礎(chǔ)，對(duì)該領(lǐng)域的論文進(jìn)行其中，會(huì)議論文13836篇，會(huì)議論文和期刊論文感計(jì)算領(lǐng)域的全球發(fā)文量平穩(wěn)上升，雖然偶有波的崛起推動(dòng)了情感計(jì)算領(lǐng)域的高速發(fā)展，發(fā)文量迅速上升，情感計(jì)算研究進(jìn)入爆發(fā)式增長(zhǎng)階度學(xué)習(xí)方法創(chuàng)新進(jìn)入平臺(tái)期，情感計(jì)算研究也隨之進(jìn)入平臺(tái)期，研究熱度和上升趨勢(shì)有所放35003000250020001500100050003208321930772955240121331940 1596138111087676643484515474743482221320174536537313212522219971999200120032005200720092011201320151997199920012003年份域發(fā)文趨勢(shì) (2022年不完全統(tǒng)計(jì))占總發(fā)文量的百分比/%1997131998201999172000452001362002532003732004132200512520062222007348200845120095472010474201166420127672013201420152016201720182019202020212022緩。2022年，因統(tǒng)計(jì)時(shí)間窗口未覆蓋全年，數(shù)據(jù)統(tǒng)計(jì)，分析情感計(jì)算領(lǐng)域的主要研究陣地。如表3-4所示，在情感計(jì)算領(lǐng)域全球發(fā)文量前20名的國(guó)家中，中國(guó)是全部作者和第一作者發(fā)中國(guó)、印度、英國(guó)和德國(guó)位居全部作者和第一陣地。其中，美國(guó)在全部作者發(fā)文量上排名第二，但在第一作者發(fā)文量上排名第三，位居印度之后。情感計(jì)算領(lǐng)域前20名的全作者發(fā)文國(guó)家的歷年發(fā) 123456789坡坡為步長(zhǎng)對(duì)情感計(jì)算領(lǐng)域發(fā)文量前10名國(guó)家的發(fā)文如圖3-2所示，在整個(gè)發(fā)文期內(nèi)，中美兩國(guó)1997—2000年中國(guó)發(fā)國(guó)的3倍。由此可見(jiàn)，近年來(lái)中國(guó)在情感計(jì)算領(lǐng)域的研究積累較快，研究數(shù)量相比美國(guó)有一定的優(yōu)勢(shì)。此外，近兩年印度的發(fā)文量首超美 1997—20002001—20042005—20082009—20122013—20162017—20202021—202216231146576717829193國(guó)，可見(jiàn)印度逐漸成為情感計(jì)算領(lǐng)域的主要研究陣地。本部分以期刊論文為基礎(chǔ)數(shù)據(jù)進(jìn)行分析，如期刊上，其中發(fā)文最多的是IEEEACCESS，發(fā)文量為650篇。該刊在2021年期刊引證報(bào)告電 3.476。1204本期刊中有834本在2021年期刊引子分布如表3-7所示，其中影響因子大于10的期刊共計(jì)26種，影響因子最高的5本期刊分別是《美國(guó)精神病學(xué)雜志》(AmericanJournalofPsychiatry)(19.242)、《IEEE控制論交易》(IEEE TransactionsonCybernetics)(19.118)、《信息融合》(InformationFusion)(17.564)、《大腦》 (Brain)(15.255)、《美國(guó)計(jì)算機(jī)協(xié)會(huì)計(jì)算概觀》 ACMComputingSurveys)(14.324)。如圖3-3所示，絕大多數(shù)地球科學(xué)領(lǐng)域期刊的影響因子都分布在2≤IF＜4和4≤IF＜7這兩個(gè)區(qū)間內(nèi)。本部分通過(guò)對(duì)情感計(jì)算領(lǐng)域論文的Webof 1IEEEAccess2MultimediaToolsandApplications3FrontiersinPsychology4IEEETransactionsonAffective5sors6ExpertSystemswithApplications7Neurocomputing8AppliedSciences-Basel9InternationalJournalofAdvancedienceandApplicationsPsychiatryResearchKnowledgeBasedSystemsizophreniaResearchNeuropsychologiaJournalofIntelligent&FuzzySystemsNeuralComputing&ApplicationsInformationProcessing&ManagementmputationElectronicsIEEETransactionsonMultimediaInformationSciences IF≥104≤IF＜72≤IF＜4IF2IF≤1圍、作者與編委會(huì)的隸屬關(guān)系、提供贈(zèng)情感計(jì)算領(lǐng)域的所有文章共涉及158個(gè)Web別如表3-8所示。占比最多的類別為計(jì)算機(jī)科學(xué)與人工智能，發(fā)文量為10470篇，占總發(fā)文量的號(hào)1科學(xué)與人工智能23科學(xué)理論與方法4科學(xué)與信息系統(tǒng)5科學(xué)與跨學(xué)科應(yīng)用67科學(xué)與軟件工程8(續(xù)表)號(hào)9學(xué)科學(xué)與控制論和攝影技術(shù)科學(xué)與硬件架構(gòu)學(xué)學(xué)程3.2高水平國(guó)際會(huì)議本部分結(jié)合了《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》《核心計(jì)算機(jī)科學(xué)會(huì)議排名》 家意見(jiàn)形成情感計(jì)算領(lǐng)域高水平國(guó)際會(huì)議列表。需指出的是，該部分只根據(jù)目前已有的目錄和排名進(jìn)行整理和歸納，并不能作為學(xué)術(shù)評(píng)價(jià)的依外，會(huì)議的影響力并不直接與發(fā)表在會(huì)議上議號(hào)CCFRANKCORERANK1A2A3A4IEEE計(jì)算機(jī)視覺(jué)和模會(huì)AA(續(xù)表)號(hào)CCFRANKCORERANK5IEEE計(jì)算機(jī)視覺(jué)國(guó)際議A6算和智能交互國(guó)——7IEEE自動(dòng)人臉和手勢(shì)國(guó)際會(huì)議和研討會(huì)CB8IEEE國(guó)際聲學(xué)語(yǔ)音和BB注：“CCFRANK”“CORERANK”分別為《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》分類、《核心計(jì)算機(jī)科學(xué)會(huì)議排名》3.2.1ACM多媒體國(guó)際會(huì)議機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》中“計(jì)媒體”的A類會(huì)議。ACMMM視頻和海報(bào)演示、輔導(dǎo)、座談會(huì)、展覽、研討會(huì)、研討會(huì)、多媒體挑戰(zhàn)賽等多種方式塑造研究領(lǐng)域的新想法。ACMMM會(huì)議專注于推進(jìn)多媒體的和應(yīng)用，包括但不限于圖像、文本、音頻、語(yǔ)音樂(lè)、傳感器、社交數(shù)據(jù)。會(huì)議涉及的研究主)。信號(hào)”領(lǐng)域的研究?jī)?nèi)容包用戶情感從而開(kāi)發(fā)更具有吸引力的多媒也是《中國(guó)計(jì)算機(jī)學(xué)會(huì)推會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A+會(huì)議。AAAI人工智能會(huì)議也設(shè)置了情感計(jì)算領(lǐng)域的研討會(huì)(Workshop)，如2018年的“情感內(nèi)容分析 點(diǎn)對(duì)文本和語(yǔ)言進(jìn)行情感計(jì)算，構(gòu)建情感計(jì)算過(guò)程中的標(biāo)準(zhǔn)化的基線、數(shù)據(jù)集和評(píng)估指標(biāo)。《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》分為A、B、C類。中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)在制定目錄時(shí)規(guī)定，會(huì)議論文是Brief、Summary以及作為伴隨會(huì)議的研討會(huì)(Workshop)等，不計(jì)入目錄。信號(hào)和推薦和陳述主題3多媒體內(nèi)容理解件多媒體系統(tǒng)言管理與索引通過(guò)多媒體吸引用戶主題4主題2體驗(yàn)言處理領(lǐng)域最高級(jí)別的會(huì)議，由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)辦。國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)是主要的國(guó)際科學(xué)和專業(yè)協(xié)會(huì)，致力于研究涉及人的語(yǔ)言計(jì)算問(wèn)題。該協(xié)會(huì)成立于1962年，最初名為機(jī)器翻譯和計(jì)算語(yǔ)為國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)。國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)的活動(dòng)除了每年夏天舉行國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)之外，還贊助美國(guó)麻省理工學(xué)院出版社出版《計(jì)算語(yǔ)言學(xué)》 的主要出版物。國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)為《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》人工智能領(lǐng)域的A類會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A+會(huì)議。該會(huì)議的研究主題為各種語(yǔ)言的計(jì)算模型，為特定的語(yǔ)言學(xué)或心理語(yǔ)言學(xué)現(xiàn)象提供計(jì)算IEEE計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議(IEEEIEEECVPR)是首屈一指的計(jì)算機(jī)視覺(jué)領(lǐng)域年度會(huì)計(jì)算機(jī)視覺(jué)基金會(huì)(ComputerVisionFoundation)贊助。使用者可以通過(guò)計(jì)算機(jī)視覺(jué)基金會(huì)開(kāi)放獲取會(huì)議論文。IEEECVPR是《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》人工智能領(lǐng)域的A類會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A類3.3高水平期刊學(xué)院文獻(xiàn)情報(bào)中心期刊分區(qū)表與期刊引證報(bào)表相結(jié)合的方式標(biāo)定高水平期刊，這兩種分是基于期刊影響因子進(jìn)行分區(qū)計(jì)算的。特別明的是，期刊影響因子是反應(yīng)期刊影響力的常用指標(biāo)，但并不代表期刊或者期刊文章的質(zhì)量，(1)期刊影響因子期刊影響因子是美國(guó)科技信息研究所所長(zhǎng)尤EugeneGarfield2年提出的刊的重要指標(biāo)。該指標(biāo)是一個(gè)相對(duì)數(shù)量用以調(diào)整和修正期刊總被引頻次過(guò)大的期刊影響因子是指某刊在某年被全部源刊物2年發(fā)表論文在該年的(2)期刊引證報(bào)告期刊引證報(bào)告包括SCI收錄的12000余種期刊之間的引用和被引用的數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)、運(yùn)算，針對(duì)每種期刊定義了期刊影響因子等指數(shù)。截至報(bào)告撰寫(xiě)日，《期刊引證報(bào)告2021》是最新公布的期刊引文報(bào)告。期刊引證報(bào)告將期刊劃分為21個(gè)大類(Groups)、254個(gè)小類 (3)中國(guó)科學(xué)院期刊引證報(bào)告期刊分區(qū)中國(guó)科學(xué)院期刊引證報(bào)告期刊分區(qū)是中國(guó)科獻(xiàn)情報(bào)中心的研究成果，中國(guó)科