1、.Semi-supervised Text Categorization by Semi-supervised Text Categorization by Considering Sufficiency and DiversityConsidering Sufficiency and DiversityShoushan Li Sophia Yat Mei Lee Wei Gao Chu-Ren HuangShoushan Li Sophia Yat Mei Lee Wei Gao Chu-Ren Huang Natural Language Processing Lab, School of

2、 Computer Science and Natural Language Processing Lab, School of Computer Science and Technology, Soochow University, ChinaTechnology, Soochow University, China CBS, The Hong Kong Polytechnic University, Hong Kong CBS, The Hong Kong Polytechnic University, Hong Kong.目錄目錄半監(jiān)督文本分類傳統(tǒng)半監(jiān)督方法所面臨的問題樣本的多樣性與充分

3、性多樣性的實(shí)現(xiàn)特征子空間差異性實(shí)現(xiàn)實(shí)驗(yàn)設(shè)置實(shí)驗(yàn)結(jié)果分析結(jié)語.半監(jiān)督文本分類半監(jiān)督文本分類近些年來，半監(jiān)督文本分類在自然語言處理研究領(lǐng)域獲得了顯著的發(fā)展。半監(jiān)督文本分類旨在少量的標(biāo)注樣本基礎(chǔ)上，利用未標(biāo)注樣本，提高分類性能。半監(jiān)督情感分類常見方法： 自訓(xùn)練（self-training） 標(biāo)簽傳播算法(LP) Tri-training EM.傳統(tǒng)半監(jiān)督方法所面臨的問題傳統(tǒng)半監(jiān)督方法所面臨的問題傳統(tǒng)半監(jiān)督學(xué)習(xí)方法（self-training）理論上應(yīng)該是有效的： eg: This brand is the worst quality that I have purchased. I would av

4、oid this brand.分類器從未標(biāo)注樣本中學(xué)習(xí)額外知識實(shí)際上傳統(tǒng)半監(jiān)督學(xué)習(xí)方法并不是很成功l 多樣性l 充分性.樣本的多樣性與充分性樣本的多樣性與充分性多樣性(diversity)：衡量半監(jiān)督中加入的未標(biāo)注樣本與已標(biāo)注樣本之間的相似度。充分性(sufficiency)：衡量分類器對樣本分類的準(zhǔn)確性。好的半監(jiān)督學(xué)習(xí)方法應(yīng)該考慮充分性的基礎(chǔ)上，盡量保證樣本的多樣性，從而獲得好的分類性能。.樣本的多樣性與充分性樣本的多樣性與充分性.多樣性的實(shí)現(xiàn)多樣性的實(shí)現(xiàn)傳統(tǒng)的半監(jiān)督學(xué)習(xí)方法傾向于加入與已標(biāo)注樣本相似度較大的未標(biāo)注樣本。利用隨機(jī)特征子空間增加樣本之間的差異性，每次迭代選取不同的特征子空間保證

5、相鄰兩輪迭代特征子空間的差異性l 在上輪余下的特征空間中挑選特征l 保證unigram的不同，擴(kuò)展bigram.特征子空間差異性實(shí)現(xiàn)特征子空間差異性實(shí)現(xiàn)以unigram作為種子詞，擴(kuò)展bigram eg: 若包含特征 excellent, 則特征 is_excellent, very_excellent 均被加入。特征子空間的構(gòu)建，unigram個(gè)數(shù)（r）固定，通過unigram加入與之相關(guān)的bigram。保證相鄰兩輪迭代特征子空間中的unigram特征不同，從而降低了特征子空間中特征的相似度，如 excellent與is_excellent, 加大了相鄰特征子空間的差異性。.實(shí)驗(yàn)設(shè)置實(shí)驗(yàn)設(shè)置

6、實(shí)驗(yàn)語料：l主題分類：20News，WebKBl情感分類：book, DVD, electronic, kitchen 實(shí)驗(yàn)設(shè)置l200篇樣本作為測試語料，余下的作為標(biāo)注樣本和未標(biāo)注樣本分類工具lMALLET 機(jī)器學(xué)習(xí)工具包中的最大熵分類器分類效果衡量標(biāo)準(zhǔn)l分類準(zhǔn)確率 .分類方法對比分類方法對比我們實(shí)現(xiàn)了以下分類方法的比較研究： BaselineBaseline: training a classifier with the initial labeled data (no unlabeled data is employed);Bootstrapping-TBootstrapping-T:

7、the traditional bootstrapping algorithm;Bootstrapping-RSBootstrapping-RS: the bootstrapping algorithm with random subspace classifiers;Bootstrapping-ESBootstrapping-ES: the bootstrapping algorithm with excluded subspace classifiers;Bootstrapping-ES+Bootstrapping-ES+: the Bootstrapping-ES implementation with a feature excluding strategy to guarantee the difference between different types of features, i.e., word unigrams and bigrams in this study.。.分類方法比較分類方法比較- -主題分類主題分類.分類方法比較分類方法比較- -情感分類情感分類.特征子空間大小設(shè)置特征子空間大小設(shè)置.實(shí)驗(yàn)結(jié)果分析實(shí)驗(yàn)結(jié)果分析半監(jiān)督學(xué)習(xí)在情感分類中要比主題分類困難比較Bootstrapping-T，Bootstrapping-RS，Bootst