-.z**外國語學(xué)院學(xué)士學(xué)位論文中文題目：情感語料庫的構(gòu)建和分析英文題目：ConstructionandAnalysisofEmotionalCorpus二級學(xué)院：俄語系學(xué)科、專業(yè)：阿拉伯語專業(yè)研究生：*慧指導(dǎo)教師：曾磊副教授2011年11月-.z情感語料庫的構(gòu)建和分析**基金資助：國家自然科學(xué)基金資助工程〔60373095，60673039〕和國家863高科技方案資助工程〔2006AA01Z151〕。作者簡介：*琳宏，女，碩士生，研究方向為文本分類和文本傾向性識別；林鴻飛，男，博導(dǎo)，教授，研究方向為文本過濾，文本挖掘和自然語言理解，.；*琳宏，林鴻飛〔**理工大學(xué)計算機(jī)科學(xué)與工程系，**116024〕摘要：本文介紹了情感語料庫構(gòu)建方面的一些經(jīng)歷，討論了在設(shè)計和建立情感語料庫中的幾個根本問題：制定標(biāo)注規(guī)*、選擇標(biāo)注集、設(shè)計標(biāo)注工具以及標(biāo)注過程中的質(zhì)量監(jiān)控。目前已經(jīng)標(biāo)注完成近四萬句，一百萬字的語料。在完成這些已標(biāo)注語料的根底上，進(jìn)一步給出了語料庫的情感分布，情感遷移規(guī)律等統(tǒng)計數(shù)據(jù)，分析了情感語料庫的特點及應(yīng)用。它的建成將為文本情感計算提供更加強大的資源支持。關(guān)鍵詞：情感語料庫；文本編碼規(guī)*；一致性檢查；情感遷移中圖法：TP391文獻(xiàn)標(biāo)識符：AConstructionandAnalysisofEmotionalCorpus*uLinhong,LinHongfei(DepartmentofputerScienceandEngineering,DalianUniversityofTechnology,DalianThispaperintroducedsomee*periencesonconstructingemotionalcorpus,anddiscussedseveralbasicquestionswhichincludedthetaggingcriterion,taggingset,taggingtoolsandqualitymonitoring.Therewereabout40000sentencesinthecorpus.Moreoverbasedonthese,statisticaldataaboutemotionaldistributionandrulesofemotionaltransferencewereavailable,andcharactersandapplicationsofcorpuswereanalyzed,soemotionalcorpusprovidesupportforte*taffectiveputing.emotionalcorpus;Te*tCodingInitiative;consistencychecking;emotionaltransference引言情感計算目前是人工智能領(lǐng)域的研究熱點，它的主要目標(biāo)是使計算機(jī)能識別人類的情感，也就是需要建立完善的情感識別模型。然而要使訓(xùn)練的模型準(zhǔn)確，容錯能力強，就必須有大規(guī)模的情感語料支撐。在國外，語料庫的研究很早就已經(jīng)開場了，也建立完成了許多大規(guī)模的語料庫，如Brown語料庫等。漢語語料庫的建立開場于20世紀(jì)80年代，現(xiàn)有的大規(guī)模語料有國家現(xiàn)代漢語語料庫[1]、**中央研究院平衡語料庫[2]、中港臺漢語語料庫[3]、大學(xué)和富士通公司共同制作的人民日報語料庫[4]等。上述大規(guī)模語料庫的建立在收集語料，制定標(biāo)注規(guī)*和質(zhì)量監(jiān)控等方面積累了珍貴的經(jīng)歷。文本情感語料庫的建立方面，目前已有的語料庫包括Pang語料庫[5]，Whissell語料庫[6]，Berardinelli電影評論語料庫[7],產(chǎn)品評論語料庫[8]。漢語情感語料庫標(biāo)注方面的資源則較少，清華大學(xué)標(biāo)注了局部旅游景點的描述的情感語料[9]，用來輔助語音合成的，但是規(guī)模也較小。總之，在國內(nèi)情感計算剛剛興起，這方面還沒有比擬大規(guī)模、權(quán)威的漢語文本情感語料庫。大局部語料庫的建立分為語料的收集和預(yù)處理、標(biāo)注規(guī)*的制定，質(zhì)量監(jiān)控等幾方面，下面的論文將分別闡述語料庫建立的各個步驟。第2節(jié)概略的介紹了目前選擇語料的類型和規(guī)模，第3節(jié)詳細(xì)地介紹了情感語料庫的標(biāo)注體系，第4節(jié)介紹了語料建立中質(zhì)量監(jiān)控的方法，包括正確性和一致性檢查的方法。第5節(jié)闡述了語料庫的一些統(tǒng)計數(shù)據(jù)及應(yīng)用，最后，第6節(jié)總結(jié)語料庫的優(yōu)點和缺乏，并進(jìn)一步提出改進(jìn)的措施。語料的收集語料的收集工作，即選擇適宜的語料，做預(yù)處理，為語料的標(biāo)注提前做好準(zhǔn)備。語料選擇的方法關(guān)系到語料庫的覆蓋率，所謂覆蓋是指語料在各個不同領(lǐng)域的分布或散布，這些不同領(lǐng)域通常是指由時間軸(反映時代特征)、空間軸(反映地域特征)、學(xué)科軸(反映知識特征)、風(fēng)格軸(反映語體特征)構(gòu)成的四維模型[10]。我們的語料包括小學(xué)教材〔人教版〕，電影劇本，童話故事，文學(xué)期刊等。從時間軸上看，有童話故事和小學(xué)教材等完成較早的經(jīng)典文章，也有期刊和電影劇本等近一年多的作品。語料以中文的作品為主，但是也有局部電影劇本和童話故事是外文翻譯而來，考慮了地域特征的跨度。在風(fēng)格方面，小學(xué)教材等用詞比擬規(guī)*、嚴(yán)謹(jǐn)，而電影劇本等則口語特征比擬明顯。總的來說，語料的選擇偏重于文學(xué)色彩比擬濃，情感表達(dá)豐富多彩的作品，舍棄一些科學(xué)說明性的文章。表1列出了各類語料的詳細(xì)信息。表1語料的詳細(xì)信息語料來源詳細(xì)說明字?jǐn)?shù)詞數(shù)句子數(shù)篇章數(shù)小學(xué)教材人教版，12冊129,48691,0324,809171電影劇本?獅子王?、?汽車總發(fā)動?等6個電影劇本84,11854,0925,911237童話故事局部格林童話、安徒生童話5,406639,0052,01173文學(xué)期刊?少年文藝?、?青年文摘?、?新青年?等9本期刊的2006年全年12期6,308,5264,375,396237,2903754總計6,576,1964,559,525250,0214,235情感語料庫的標(biāo)注體系語料庫的標(biāo)注體系就是指對語料的加工程度，即一個待標(biāo)注的單元需要填充的信息集合。標(biāo)注體系決定了語料標(biāo)注的粒度。如果類別劃分過粗,就不能全面、細(xì)致地描述語言的復(fù)雜現(xiàn)象;但如果類別劃分過細(xì)、標(biāo)注信息過于龐大,不但會增加標(biāo)注難度、降低標(biāo)注效率，關(guān)系之間只有細(xì)微差異的情況也會使標(biāo)注結(jié)果呈現(xiàn)嚴(yán)重的不一致性[11]。此外，在語料庫規(guī)模有限的情況下，類別分的太細(xì)，統(tǒng)計數(shù)據(jù)的稀疏問題越嚴(yán)重，則訓(xùn)練出來的模型強健性就越差。可見，語料庫的標(biāo)注體系是構(gòu)建一個高質(zhì)量、大規(guī)模語料庫的關(guān)鍵。情感標(biāo)注體系理想的情感標(biāo)注體系是在標(biāo)注前事先確定，在標(biāo)注過程中保持不變，這樣可以保證標(biāo)注的一致性。但是由于語料的多樣性和復(fù)雜性，標(biāo)注規(guī)*也需要屢次修正，這就可能導(dǎo)致語料庫的質(zhì)量下降。為了充分考慮各種特殊情況，本文預(yù)先標(biāo)注了局部語料，在總結(jié)標(biāo)注中發(fā)現(xiàn)的問題的根底上，綜合考慮其他類型語料的標(biāo)注經(jīng)歷和文本情感標(biāo)注自身特點，制定了如下的標(biāo)注體系：DocumentModel=(title,author,style,source,persons,sentences,keynote)〔1〕SentenceModel=(origin,sender,[accepter],[rhetoric],emotions,[keywords])〔2〕由上面兩個公式可以看出本文的情感標(biāo)注體系的標(biāo)注粒度分為詞匯、語句和篇章。其中語句是主要的情感標(biāo)注粒度，詞匯和語篇的相關(guān)信息都是語句情感標(biāo)注的輔助。方括號內(nèi)的變量accepter、rhetoric和keywords是可選的，其他的是不能為空的。語篇和語句標(biāo)注模型中各變量表示含義和取值*圍如下：表2標(biāo)注體系中各變量的說明類別變量說明取值*圍語篇標(biāo)注模型(documentModel)title文章題目author作者**，國籍，作品寫作年代style類別散文|詩歌|小說|戲劇source來源小學(xué)教材|格林通話|電影劇本|文學(xué)期刊persons情感主體主人公1|主人公2…|主人公i…sentences所有語句的標(biāo)注集合詳見sentenceModelkeynote情感基調(diào)o|h|e|i|m|f|d|s語句標(biāo)注模型(sentenceModel)origin原始語句sender本句的情感主體主人公iaccepter情感的承受者主人公irhetoric修辭類別比喻|比擬|借代|夸*|對偶|排比|設(shè)問|反問|重復(fù)emotions本句包含的所有情感o|h|e|p|r|b|l|k|c|i|s|w|g|m|u|f|*|t|d|a|j|y|qkeywords確定情感的關(guān)鍵詞詞1|詞2…|詞i…在上述變量中persons、sentences、emotions和keywords取值都是一個集合，即變量的取值可以表示為一個向量，如persons=(persona1,persona2…,personai…)，變量sender和accepter分別選擇persons中的一個分量作為變量值。需要說明的是persons中包含兩個特殊的情感主體，“旁白〞和“其他〞。“旁白〞表示該句是作者的表達(dá)，沒有鮮明的情感發(fā)出人，而“其他〞是為了處理當(dāng)一篇文章中涉及的任務(wù)較多時，所有非主要人物發(fā)出的情感都用它代替，這樣可以減輕標(biāo)注者的負(fù)擔(dān)，又能防止*個情感主體出現(xiàn)次數(shù)較少的數(shù)據(jù)稀疏問題。變量sentences是所有語句情感標(biāo)注的集合，每個語句標(biāo)注的內(nèi)容就是語句標(biāo)注模型中聲明各個變量。keywords中的值是原始語句中對表達(dá)該句情感有決定作用的詞，標(biāo)注keywords是為了更準(zhǔn)確地確定語句中代表情感的詞匯。而實驗證明，情感詞匯的特征在語句的情感自動標(biāo)注中是一個區(qū)分度較大的特征[12]。另外，否認(rèn)詞和程度副詞對句子情感色彩影響也較大，特別是對語句的褒貶傾向性影響較大[13]，但是本文的標(biāo)注體系沒有標(biāo)注這兩方面的信息，這主要是為了提高標(biāo)注效率，所以沒有列入標(biāo)注體系。變量keynote的取圖1中的所有分支節(jié)點。變量emotions的取值是由圖1葉子節(jié)點中的一個或幾個組成的向量。基于TEI的標(biāo)注集選擇選擇標(biāo)注集就是選擇適宜的標(biāo)注附碼和便利的表示方式來存儲標(biāo)注后的語料。英國著名語言學(xué)家Leech是當(dāng)今語料庫語言學(xué)的代表人物之一,他認(rèn)為(1993)語料的標(biāo)注應(yīng)該遵循標(biāo)注附碼可以刪除；所作的標(biāo)注可以單獨抽出；任何標(biāo)注模式都不能作為第一標(biāo)準(zhǔn)等七個根本原則。本文在綜合考察已有的各種標(biāo)注集優(yōu)缺點的根底上，結(jié)合自己語料庫的實際應(yīng)用情況，以半構(gòu)造化的方式表示已標(biāo)注的文本。圖1情感分類樹本文標(biāo)注集的選擇是在TEI(Te*tEncodingInitiative)的根底上，結(jié)合情感標(biāo)注的特殊需求制定的。TEI(Te*tEncodingInitiative)是機(jī)讀語篇的國際信息編碼規(guī)*。TEI標(biāo)注模式是由計算語言學(xué)學(xué)會(ACL,AssociationforputationalLinguistics)、文學(xué)與語言學(xué)計算協(xié)會(ALLC,AssociationforLiteraryandLinguisticputing)和計算機(jī)與人文科學(xué)學(xué)會(ACH,AssociationforputersandHumanities)等三家學(xué)術(shù)團(tuán)體共同參與制訂的。“英國國家語料庫〞(TheBritishNationalCorpus)等許多大型語料庫都采用了TEI的標(biāo)注模式。根據(jù)TEI標(biāo)注模式,一篇語料分為篇頭(header)和篇體兩局部。篇頭指與語篇有關(guān)的背景信息,包括作者、標(biāo)題、日期、語篇來源、標(biāo)注方式等信息,而篇體是指語篇本身。在TEI標(biāo)注模式中語言單位可以是詞、句子或段落等，每個語言單位都有起始標(biāo)記(starttag)和完畢標(biāo)記(endtag)。例如,段落的開場和完畢標(biāo)記分別為<p>和</p>。圖2語料標(biāo)注例如在本文的標(biāo)注集中通用的信息，如篇頭，段落等采用TEI的標(biāo)記規(guī)*。另外定義一些標(biāo)簽來標(biāo)記情感標(biāo)注中特有的信息，標(biāo)簽的定義以簡潔，易懂為原則。圖2是一篇語料的局部標(biāo)注例如。整篇語料在<document>和</document>之間，<header>和</header>之間的是篇頭局部，<body>和</body>中的為篇體局部。<p>和</p>分別為段落的開場和完畢標(biāo)記，<sect>和</sect>為語句的標(biāo)記。上面的標(biāo)記模式一方面可以從title和orgin域中復(fù)原出原始語料，另一方面也可以從每句的emotions域中得到語篇或者段落的標(biāo)記序列。這根本符合Leech的標(biāo)注附碼可以刪除和標(biāo)注可以單獨抽出的幾個重要原則。另外，這種半構(gòu)造化的存儲方式使每個標(biāo)注單元都有開場和完畢標(biāo)記，與*ml格式類似，也為訓(xùn)練模型時解析語料提供了方便。語料庫的質(zhì)量監(jiān)控本文的情感語料庫的質(zhì)量監(jiān)控主要從標(biāo)注規(guī)*、標(biāo)注系統(tǒng)和糾錯機(jī)制三個方面完成。標(biāo)注規(guī)*及標(biāo)注系統(tǒng)標(biāo)注規(guī)*和標(biāo)注系統(tǒng)都是在語料的標(biāo)注過程中減少誤操作，提高標(biāo)注速度和增加一致性的有效措施。統(tǒng)一的標(biāo)注規(guī)*，可以有效縮小不同標(biāo)注者之間的差異，減少語料標(biāo)注中的錯誤和不一致性。情感語料標(biāo)注的規(guī)*是在建立的過程中動態(tài)更新的，規(guī)*的局部內(nèi)容如下：圖3情感標(biāo)注系統(tǒng)在前后句情感主體一樣的條件下，各句的情感具有連續(xù)性。例如，假設(shè)連續(xù)的三句話都是同一個情感主體發(fā)出的，而第2句有明顯的“快樂〞類標(biāo)記，則第1句和第3句沒有太明顯的情感類別時，也傾向于快樂。每句的關(guān)鍵詞是廣義*圍的詞匯，可以是詞匯或者常用短語，但是不能擴(kuò)大到一個分句。除了關(guān)鍵詞、修辭類別和情感承受者，其他內(nèi)容都是不能為空的。一個句子可以包含多個情感，但是同一個句子不能同時標(biāo)記為無情感和其他23類中的任何一個。當(dāng)文章沒有清楚的說明作者時，填寫“不詳〞代替。每篇文章的情感主體除了主人公外，還有“旁白〞和“其他〞兩類特殊的情感主體。“旁白〞表示該句是作者的表達(dá)，沒有鮮明的情感發(fā)出人，而“其他〞是為了處理當(dāng)一篇文章中涉及的任務(wù)較多時，所有非主要人物發(fā)出的情感都用它代替。全面的標(biāo)注規(guī)*可以減少語料的不一致，而方便、高效的標(biāo)注系統(tǒng)可以大幅度提高標(biāo)注的效率和準(zhǔn)確性，防止標(biāo)注者的誤操作。圖3是情感語料標(biāo)注系統(tǒng)的界面，“情感主體〞以上的局部是描述語篇的信息，接下來的局部是標(biāo)注語句情感的，從最下面的文本框中可以瀏覽整篇文檔。為了減輕標(biāo)注者的負(fù)擔(dān)，提高標(biāo)注速度和準(zhǔn)確率，該系統(tǒng)采用啟發(fā)式搜索算法[14]自動分割語句，并根據(jù)*些項不能為空的規(guī)*自動完成合法性檢查，防止錯誤的語料進(jìn)入語料庫。糾錯機(jī)制標(biāo)注規(guī)*和標(biāo)注系統(tǒng)是保證語料在錄入時的準(zhǔn)確率和一致性，而糾錯機(jī)制是在語料標(biāo)注完成后統(tǒng)一進(jìn)展語料的正確性和一致性檢查。為了統(tǒng)一標(biāo)注者在*些常見情況的標(biāo)注標(biāo)準(zhǔn)，我們采用了許多大規(guī)模語料庫常用的方法，即做局部的穿插標(biāo)注，保證語料標(biāo)注的正確性。在一致性檢查方面本文采用的糾錯機(jī)制是機(jī)器自動檢查，人工修正的方法。根據(jù)情感語料標(biāo)注的特點，本文從詞匯和情感連續(xù)性兩個角度分析標(biāo)注的一致性，為了清楚的介紹這局部內(nèi)容，首先說明這局部相關(guān)的函數(shù)和變量，具體見表3。表3一致性檢查的局部函數(shù)說明函數(shù)名自變量說明取值條件NegSi第i個語句中是否包含否認(rèn)詞0沒有否認(rèn)詞1包含否認(rèn)詞larSameEi,Ej第i句和第j句的情感在大類*圍內(nèi)〔情感分類樹的分支節(jié)點〕是否一樣0不同1一樣wordSameSi,Sj第i句和第j句是否包含一樣的關(guān)鍵詞0不同1一樣personSameSi第i-1,i和i+1句情感主體是否一樣0不同1一樣emotionSameEi第i-1,i和i+1句情感是否一樣0不同1一樣從情感詞匯的角度出發(fā)考慮一致性，主要以關(guān)鍵詞為依據(jù)，檢查一致性。〔3〕公式中Si和Sj分別表示一篇語料中的第i句和第j句，Ei和Ej分別表示第i句和第j句的情感。wordConsistency表示當(dāng)兩句中都不包含否認(rèn)詞時，如果兩句的關(guān)鍵詞一樣，但是所屬的情感大類不同時，兩句可能存在不一致，此時取值為1。從情感的連續(xù)性上考慮，當(dāng)前后句的情感不一致，但是情感主體一樣的條件下，該句的情感可能存在錯誤。具體見公式〔4〕〔4〕上述的兩個公式分別從詞匯和情感連續(xù)性兩個方面檢查情感的一致性，通過機(jī)器自動識別出不一致的地方，再人工確認(rèn)是否需要修改。兩種方法雖然都是進(jìn)展一致性檢查，但是關(guān)鍵詞方法的一致性錯誤級別較高，需要優(yōu)先確認(rèn)。而情感連續(xù)性方面的一致性檢查，則只是說明有出現(xiàn)不一致的可能，但是不一定都是錯誤。語料庫的統(tǒng)計數(shù)據(jù)及應(yīng)用語料庫的統(tǒng)計數(shù)據(jù)目前已經(jīng)標(biāo)注完的語料有103,5601字，726,605詞次，39,488句。這是情感語料庫第一期方案完成的語料，第二期完成后預(yù)計標(biāo)注的總量將到達(dá)一千萬字。語句的情感分布在39,488句中，標(biāo)注的各類情感所占的比例大致分為三個等級。其中標(biāo)注為“無情感〞類的語句數(shù)最多，到達(dá)15449句，其次是“快樂〞、“贊揚〞、“煩悶〞和“疑心〞四類情感數(shù)較多，都超過2000句，其余各類情感均在1000句左右。情感遷移規(guī)律情感遷移規(guī)律是指在語句的上下文中，情感的接續(xù)概率，即由一種情感向另一種情感〔包括轉(zhuǎn)移前情感〕遷移的可能性。本文通過公式〔5〕計算情感遷移的概率：〔5〕transfer(Ea,Eb)表示由情感a向情感b遷移的概率，n表示語料庫中語篇的總數(shù)，mi表示第i篇文檔的句子總數(shù)，Ti表示語料庫中被標(biāo)記為i類情感的句子總數(shù)。當(dāng)Ei與Ej一樣時，函數(shù)equal〔Ei,Ej〕取值為1，否則取值為0。將a類和b類情感的總數(shù)作為分母是為了減弱各類情感包含的語句數(shù)量不同給情感遷移帶來的影響。公式主要計算語篇*圍內(nèi)，上下句之間的情感變化。圖4情感遷移圖圖4是23類情感之間的遷移概率圖，因為23類情感彼此的遷移可能性比擬多，為了表示的更加清楚明晰，本文在圖中給出了transfer(Ea,Eb)大于等于0.05的情感遷移概率。由圖可以看出“哀〞類情感的內(nèi)聚性〔情感大類內(nèi)的情感遷移〕較弱，而“惡〞類情感的內(nèi)聚性較強，“懼〞和“好〞類情感的內(nèi)聚性一般。語料庫的應(yīng)用語料庫的標(biāo)注內(nèi)容和標(biāo)注形式?jīng)Q定了它的應(yīng)用*圍。目前情感語料庫主要應(yīng)用在訓(xùn)練文本情感識別模型、情感詞匯本體的自動學(xué)習(xí)和統(tǒng)計情感遷移規(guī)律三方面。按句標(biāo)注的情感不僅給出了情感的類別，而且標(biāo)注了情感主體、關(guān)鍵詞和修辭手法等信息，這些都為情感識別模型的訓(xùn)練提供了豐富和區(qū)分度較高的特征，為提高情感識別的準(zhǔn)確率奠定了根底。每句在情感標(biāo)注過程中都盡可能標(biāo)記了關(guān)鍵詞，這些關(guān)鍵詞為情感詞匯本體的自動學(xué)習(xí)提供了第一手的資料。文本情感的遷移規(guī)律不同于臉譜和語音的情感遷移，它有其自身的特點。通過統(tǒng)計語料庫中種數(shù)據(jù)，可以得到類似圖4的情感遷移規(guī)律圖。結(jié)論及改進(jìn)措施情感語料庫在建立過程中從制定標(biāo)注規(guī)*，選擇適宜的標(biāo)注集以及質(zhì)量監(jiān)控等多方面提高語料標(biāo)注的質(zhì)量和速度。目前已標(biāo)注完成的語料有103,5601字，39,488句，第一期標(biāo)注的語料已經(jīng)根本完成。在總結(jié)第一期標(biāo)注經(jīng)歷的根底上，方案完成10，000句，近千萬字的語料。任何語料庫的建立都不可能是完美無缺的，肯定會存在一些問題和缺乏。情