1、分析處理分析處理檢索系統(tǒng)的一般模式檢索系統(tǒng)的一般模式網(wǎng)頁(yè)網(wǎng)頁(yè)互聯(lián)網(wǎng)互聯(lián)網(wǎng)匹配匹配檢索結(jié)果檢索結(jié)果用戶需求用戶需求網(wǎng)頁(yè)采集網(wǎng)頁(yè)采集分分析析處處理理建立索引建立索引索引庫(kù)索引庫(kù) 格式分析與轉(zhuǎn)換格式分析與轉(zhuǎn)換 編碼分析與轉(zhuǎn)換編碼分析與轉(zhuǎn)換 詞匯分析與處理詞匯分析與處理 結(jié)構(gòu)分析（文本分割）結(jié)構(gòu)分析（文本分割） 類別分析（文本分類）類別分析（文本分類）分析處理分析處理 格式分析與轉(zhuǎn)換格式分析與轉(zhuǎn)換 編碼分析與轉(zhuǎn)換編碼分析與轉(zhuǎn)換 詞匯分析與處理詞匯分析與處理 結(jié)構(gòu)分析（文本分割）結(jié)構(gòu)分析（文本分割） 類別分析（文本分類）類別分析（文本分類）格式分析與轉(zhuǎn)換格式分析與轉(zhuǎn)換輸入：輸入：HTML, WORD,

2、PDF, PS 目標(biāo)：轉(zhuǎn)換為純文本目標(biāo)：轉(zhuǎn)換為純文本HTML:HTML2TXTPDF:XPDFPS:Ps2TxtWORD:CatDoc編碼分析與轉(zhuǎn)換編碼分析與轉(zhuǎn)換 中文中文 GB BIG5 Unicode詞匯分析與處理詞匯分析與處理 字符處理字符處理 數(shù)字、連字符、標(biāo)點(diǎn)符號(hào)、外文字母數(shù)字、連字符、標(biāo)點(diǎn)符號(hào)、外文字母 詞匯處理詞匯處理 Steming Stopwords 分詞分詞 詞性標(biāo)注詞性標(biāo)注Steming 性、數(shù)、格性、數(shù)、格 獲得原形獲得原形 查表法查表法 后綴法后綴法軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)2：詞形還原：詞形還原 輸入輸入 任意一個(gè)英文單詞任意一個(gè)英文單詞 輸出輸出 該單詞的原形該單詞的原形

3、要求要求 盡量全面還原數(shù)、格等變形盡量全面還原數(shù)、格等變形 1人完成人完成Stopwords a, an, the, of, to, and, or, 的、地、得的、地、得 了、著、過了、著、過 to be or not to beX分詞分詞 西文西文 Mr. Li I d better 中文中文 我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道 我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道 我知道我知道 你不知道你不知道 我知道我知道 你不知道我知道你不知道我知道 你不知你不知道道 我知道你我知道你 不知道我不知道我

4、 知道你不知道我知道你不知道我 知道你不知道知道你不知道 我我 知道你不知道我知道知道你不知道我知道 你不知道我知道你不知道你不知道我知道你不知道分詞對(duì)中文搜索引擎的影響分詞對(duì)中文搜索引擎的影響Google6/20“瑞星以技術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)瑞星以技術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)”“陳慧琳陳慧琳心口不一心口不一化妝和服裝自己包辦化妝和服裝自己包辦”百度百度14/20“商品和服務(wù)實(shí)行明碼標(biāo)價(jià)商品和服務(wù)實(shí)行明碼標(biāo)價(jià)”“青島東和服裝設(shè)備青島東和服裝設(shè)備”中搜中搜20/20搜索引擎結(jié)果中的錯(cuò)誤，是由于分詞的不準(zhǔn)確造成的。搜索引擎結(jié)果中的錯(cuò)誤，是由于分詞的不準(zhǔn)確造成的。中文分詞的準(zhǔn)確度，對(duì)搜索引擎結(jié)果相

5、關(guān)性和準(zhǔn)確性有相中文分詞的準(zhǔn)確度，對(duì)搜索引擎結(jié)果相關(guān)性和準(zhǔn)確性有相當(dāng)大的影響。當(dāng)大的影響。無(wú)關(guān)網(wǎng)頁(yè)從哪里來(lái)？無(wú)關(guān)網(wǎng)頁(yè)從哪里來(lái)？互聯(lián)網(wǎng)互聯(lián)網(wǎng)匹配匹配瑞星以技術(shù)瑞星以技術(shù)和服務(wù)開拓和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)網(wǎng)絡(luò)安全市場(chǎng)用戶需求用戶需求網(wǎng)頁(yè)采集網(wǎng)頁(yè)采集分分析析處處理理建立索引建立索引索引庫(kù)索引庫(kù)檢索結(jié)果檢索結(jié)果索引策略索引策略技術(shù)和服務(wù)技術(shù)和服務(wù)按字按字技技 術(shù)術(shù) 和和 服服 務(wù)務(wù)按二元語(yǔ)法按二元語(yǔ)法技術(shù)技術(shù) 術(shù)和術(shù)和 和服和服 服務(wù)服務(wù)按詞按詞技術(shù)技術(shù) 和和 服務(wù)服務(wù)中文分詞中文分詞分詞是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程分詞是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程瑞星以技

6、術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)瑞星以技術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)瑞星瑞星 / 以以 / 技術(shù)技術(shù) / 和和 / 服務(wù)服務(wù) / 開拓開拓 / 網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全 / 市場(chǎng)市場(chǎng)中文分詞與其他分詞不同中文分詞與其他分詞不同英文中單詞之間是以空格作為自然分界符英文中單詞之間是以空格作為自然分界符中文只是字、句、段有明顯的分界符中文只是字、句、段有明顯的分界符詞沒有一個(gè)形式上分界符詞沒有一個(gè)形式上分界符從字串到詞串，是一個(gè)降低不確定性的過程。從字串到詞串，是一個(gè)降低不確定性的過程。正向最大匹配法正向最大匹配法信息檢索課程是三個(gè)學(xué)時(shí)。信息檢索課程是三個(gè)學(xué)時(shí)。課程課程信息檢索信息檢索學(xué)科學(xué)科學(xué)時(shí)學(xué)時(shí)學(xué)問學(xué)問分詞詞表分

7、詞詞表正向最大匹配的問題正向最大匹配的問題 最大詞長(zhǎng)最大詞長(zhǎng) 詞長(zhǎng)過短，長(zhǎng)詞就會(huì)被切錯(cuò)詞長(zhǎng)過短，長(zhǎng)詞就會(huì)被切錯(cuò) 詞長(zhǎng)過長(zhǎng)，效率就比較低詞長(zhǎng)過長(zhǎng)，效率就比較低 分詞歧義分詞歧義 瑞星瑞星/以以/技術(shù)技術(shù)/和服和服/務(wù)務(wù)/開拓開拓/網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全/市場(chǎng)市場(chǎng) 瑞星以技術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)瑞星以技術(shù)和服務(wù)開拓網(wǎng)絡(luò)安全市場(chǎng)分詞歧義分詞歧義發(fā)現(xiàn)問題發(fā)現(xiàn)問題雙向最大匹配雙向最大匹配分析問題分析問題歧義字段的類型與特點(diǎn)歧義字段的類型與特點(diǎn)解決問題解決問題歧義字段庫(kù)歧義字段庫(kù)詞性詞性我為人民工作。我為人民工作。統(tǒng)計(jì)統(tǒng)計(jì)技術(shù)和服務(wù)技術(shù)和服務(wù)歧義字段的鏈長(zhǎng)歧義字段的鏈長(zhǎng) 鏈長(zhǎng)：交集型歧義字段中含有交集字段的個(gè)

8、數(shù)，鏈長(zhǎng)：交集型歧義字段中含有交集字段的個(gè)數(shù)， 稱為鏈長(zhǎng)。稱為鏈長(zhǎng)。 鏈長(zhǎng)為鏈長(zhǎng)為1： 從小學(xué)從小學(xué) 鏈長(zhǎng)為鏈長(zhǎng)為2： 市民政局市民政局 鏈長(zhǎng)為鏈長(zhǎng)為3： 為人民工作為人民工作 鏈長(zhǎng)為鏈長(zhǎng)為4： 結(jié)合成分子時(shí)結(jié)合成分子時(shí) 鏈長(zhǎng)為鏈長(zhǎng)為6： 努力學(xué)習(xí)語(yǔ)法規(guī)則努力學(xué)習(xí)語(yǔ)法規(guī)則軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)3：長(zhǎng)鏈：長(zhǎng)鏈歧義字段獲取歧義字段獲取 輸入輸入 1998年年1月人民日?qǐng)?bào)電子版月人民日?qǐng)?bào)電子版 輸出輸出 歧義字段歧義字段 按鏈長(zhǎng)降序排列，前按鏈長(zhǎng)降序排列，前100個(gè)個(gè) 要求：要求： 1人完成人完成分詞歧義分詞歧義發(fā)現(xiàn)問題發(fā)現(xiàn)問題雙向最大匹配雙向最大匹配分析問題分析問題歧義字段的類型與特點(diǎn)歧義字段的類型與特

9、點(diǎn)解決問題解決問題歧義字段庫(kù)歧義字段庫(kù)詞性詞性我為人民工作。我為人民工作。統(tǒng)計(jì)統(tǒng)計(jì)技術(shù)和服務(wù)技術(shù)和服務(wù)歧義字段庫(kù)歧義字段庫(kù)市民政局市民政局13001300為人民工作為人民工作1202012020結(jié)合成分子時(shí)結(jié)合成分子時(shí)201201201201技術(shù)和服務(wù)技術(shù)和服務(wù)2012020120軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)4：歧義字段規(guī)則庫(kù)獲取歧義字段規(guī)則庫(kù)獲取 輸入輸入 1998年年1月人民日?qǐng)?bào)電子版月人民日?qǐng)?bào)電子版 輸出輸出 歧義字段規(guī)則庫(kù)歧義字段規(guī)則庫(kù) 要求：要求： 1人完成人完成最大概率分詞最大概率分詞S: 有意見分歧有意見分歧W1: 有有/ 意見意見/ 分歧分歧/ P(W1|S)W2: 有意有意/ 見見/ 分

10、歧分歧/ P(W2|S)()()|()|(SPWPWSPSWP)|2(),| 1(SWPSWPMax)(WP)(.)()()(21iwPwPwPWPNnwwPii語(yǔ)料庫(kù)中的總詞數(shù)在語(yǔ)料庫(kù)中的出現(xiàn)次數(shù))(單詞單詞概率概率有有0.0180有意有意0.0005意見意見0.0010見見0.0002分歧分歧0.0001P(W1) = P(有) * P(意見) * P(分歧) = 1.8 10-9P(W2) = P(有意) * P(見) * P(分歧) = 110-11P(W1) P(W2)軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)5：漢語(yǔ)分詞系統(tǒng)：漢語(yǔ)分詞系統(tǒng)輸入輸入任意一段文本任意一段文本可能包含中文標(biāo)點(diǎn)、西文標(biāo)點(diǎn)、阿拉伯?dāng)?shù)字

11、、西文字符可能包含中文標(biāo)點(diǎn)、西文標(biāo)點(diǎn)、阿拉伯?dāng)?shù)字、西文字符輸出輸出分詞結(jié)果分詞結(jié)果詞之間用詞之間用“/”分隔分隔要求要求雙向最大匹配發(fā)現(xiàn)歧義片斷雙向最大匹配發(fā)現(xiàn)歧義片斷利用歧義片斷庫(kù)解決分詞歧義利用歧義片斷庫(kù)解決分詞歧義未解決的用最大概率分詞未解決的用最大概率分詞可可3人完成人完成國(guó)內(nèi)中文分詞水平國(guó)內(nèi)中文分詞水平 863評(píng)測(cè)評(píng)測(cè)軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)6：人名識(shí)別：人名識(shí)別 要求要求 閱讀資料，開發(fā)一個(gè)人名識(shí)別器閱讀資料，開發(fā)一個(gè)人名識(shí)別器 從給定語(yǔ)料庫(kù)中獲取人名從給定語(yǔ)料庫(kù)中獲取人名 1人完成人完成軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)7：人名讀音分析：人名讀音分析 要求要求 獲取獲取1000個(gè)人名個(gè)人名 得到這些人名的

12、漢語(yǔ)拼音得到這些人名的漢語(yǔ)拼音 驗(yàn)證驗(yàn)證“起名時(shí)，不傾向使用需區(qū)分平翹舌的字起名時(shí)，不傾向使用需區(qū)分平翹舌的字”的假設(shè)的假設(shè) 1人完成人完成準(zhǔn)確率、召回率、準(zhǔn)確率、召回率、F值值 準(zhǔn)確率準(zhǔn)確率 Precision 結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值 召回率召回率 Recall 結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值 F值值 準(zhǔn)確率和召回率的加權(quán)平均準(zhǔn)確率和召回率的加權(quán)平均 一般用一般用F1RPRPF21RPRPF22) 1(準(zhǔn)確率、召回率、準(zhǔn)確率、召回率、F值值 準(zhǔn)確率準(zhǔn)確率 Preci

13、sion 結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值 召回率召回率 Recall 結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值 在分詞性能的度量時(shí)：在分詞性能的度量時(shí)： Precision = 切分正確的詞數(shù)切分正確的詞數(shù) / 系統(tǒng)切分出的詞數(shù)系統(tǒng)切分出的詞數(shù) Recall = 切分正確的詞數(shù)切分正確的詞數(shù) / 標(biāo)準(zhǔn)答案的詞數(shù)標(biāo)準(zhǔn)答案的詞數(shù)準(zhǔn)確率、召回率、準(zhǔn)確率、召回率、F值值 在分詞性能的度量時(shí)：在分詞性能的度量時(shí)： Precision = 切分正確的詞數(shù)切分正確的詞數(shù) / 系統(tǒng)切分出的詞數(shù)系統(tǒng)切分

14、出的詞數(shù) Recall = 切分正確的詞數(shù)切分正確的詞數(shù) / 標(biāo)準(zhǔn)答案的詞數(shù)標(biāo)準(zhǔn)答案的詞數(shù) 舉例舉例 某分詞系統(tǒng)的切分結(jié)果某分詞系統(tǒng)的切分結(jié)果 瑞瑞/星星/以以/技術(shù)技術(shù)/和服和服/務(wù)務(wù)/開拓開拓/市場(chǎng)市場(chǎng) 標(biāo)準(zhǔn)答案標(biāo)準(zhǔn)答案 瑞星瑞星/以以/技術(shù)技術(shù)/和和/服務(wù)服務(wù)/開拓開拓/市場(chǎng)市場(chǎng)準(zhǔn)確率、召回率、準(zhǔn)確率、召回率、F值值 準(zhǔn)確率準(zhǔn)確率 Precision 結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值結(jié)果中的正確樣例數(shù)與結(jié)果中全部樣例總數(shù)的比值 召回率召回率 Recall 結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值結(jié)果中的正確樣例數(shù)與實(shí)際存在的正確樣例數(shù)的比值 在作為搜索引擎性能的度量時(shí)：

15、在作為搜索引擎性能的度量時(shí)： Precision = 搜索到的相關(guān)文檔數(shù)搜索到的相關(guān)文檔數(shù) / 搜索到的全部文檔數(shù)搜索到的全部文檔數(shù) Recall = 搜索到的相關(guān)文檔數(shù)搜索到的相關(guān)文檔數(shù) / 網(wǎng)上全部相關(guān)文檔數(shù)網(wǎng)上全部相關(guān)文檔數(shù)準(zhǔn)確率、召回率、準(zhǔn)確率、召回率、F值值 在作為搜索引擎性能的度量時(shí)：在作為搜索引擎性能的度量時(shí)： Precision = 搜索到的相關(guān)文檔數(shù)搜索到的相關(guān)文檔數(shù) / 搜索到的全部文檔數(shù)搜索到的全部文檔數(shù) Recall = 搜索到的相關(guān)文檔數(shù)搜索到的相關(guān)文檔數(shù) / 網(wǎng)上全部相關(guān)文檔數(shù)網(wǎng)上全部相關(guān)文檔數(shù) 舉例：利用某搜索引擎搜索舉例：利用某搜索引擎搜索“和服和服” 搜索引擎

16、返回搜索引擎返回100個(gè)結(jié)果，其中有個(gè)結(jié)果，其中有78個(gè)與和服相關(guān)個(gè)與和服相關(guān) 互聯(lián)網(wǎng)上共有互聯(lián)網(wǎng)上共有10000個(gè)與和服相關(guān)的網(wǎng)頁(yè)個(gè)與和服相關(guān)的網(wǎng)頁(yè)SIGHAN詞匯分析與處理詞匯分析與處理 字符處理字符處理 數(shù)字、連字符、標(biāo)點(diǎn)符號(hào)、外文字母數(shù)字、連字符、標(biāo)點(diǎn)符號(hào)、外文字母 詞匯處理詞匯處理 Steming Stopwords 分詞分詞 詞性標(biāo)注詞性標(biāo)注詞性標(biāo)注詞性標(biāo)注 我明天去北京我明天去北京 我我/r 明天明天/nt 去去/v 北京北京/ns 兼類兼類 我設(shè)計(jì)的是個(gè)程序我設(shè)計(jì)的是個(gè)程序 我的設(shè)計(jì)是個(gè)程序我的設(shè)計(jì)是個(gè)程序漢語(yǔ)兼類詞統(tǒng)計(jì)漢語(yǔ)兼類詞統(tǒng)計(jì)詹衛(wèi)東摘自詹衛(wèi)東摘自現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典現(xiàn)代

17、漢語(yǔ)語(yǔ)法信息詞典1997年版年版兼類數(shù)兼類數(shù)兼類詞數(shù)兼類詞數(shù)百分比百分比例詞及詞性標(biāo)記例詞及詞性標(biāo)記530.01%和：和：c-n-p-q-v4200.04%光：光：a-d-n-v31260.23%畫：畫：n-q-v214752.67%鎖：鎖：n-v合計(jì)合計(jì)16242.94%總詞數(shù)：總詞數(shù)：55191和hu用于時(shí)間,相當(dāng)于“會(huì)兒” moment看一和用于洗東西或煎中藥換水,相當(dāng)于“次”、“道” time衣裳已洗四和光發(fā)揚(yáng)光大英語(yǔ)兼類詞統(tǒng)計(jì)英語(yǔ)兼類詞統(tǒng)計(jì)(Brown Corpus)兼類數(shù)兼類數(shù)兼類詞數(shù)兼類詞數(shù)7162512461326423760274100135340如何標(biāo)注詞性？如何標(biāo)注詞性？

18、套用一個(gè)合適的模型，剩下的問題交給數(shù)學(xué)家解決套用一個(gè)合適的模型，剩下的問題交給數(shù)學(xué)家解決隱馬爾可夫模型隱馬爾可夫模型(HMM)馬爾可夫模型馬爾可夫模型馬爾可夫模型馬爾可夫模型tiX1X2X3X4X5X6X7X8X9X10thetitip有限視野有限視野：X6的值僅與前一個(gè)的值僅與前一個(gè)(X5)有關(guān)有關(guān)無(wú)限視野無(wú)限視野：X6的值僅與前面所有的有關(guān)的值僅與前面所有的有關(guān))|(),.,|(111tkttktXsXPXXsXP馬爾可夫模型馬爾可夫模型tiX1X2X3X4X5X6X7X8X9X10thetitip時(shí)間不變性時(shí)間不變性：任何時(shí)候：任何時(shí)候t后面出現(xiàn)后面出現(xiàn)i的概率都相等的概率都相等)|()|(121XsXPXsXPktkt非確定性有限狀態(tài)自動(dòng)機(jī)非確定性有限狀態(tài)自動(dòng)機(jī)非確定性有限狀態(tài)