機器學習與自然語言處理Python自然語言處理第十章CONTENT目錄

01幾種常用的機器學習方法03文本分類實戰02無監督學習的文本聚類04文本聚類實戰課前回顧情感分析的應用情感分析的基本方法實戰電影評論情感分析本章概述機器學習自然語言處理（NLP）獲取歷史數據獲取語料庫形成認知模型形成規律對未知數據進行預測進行文本分析處理本章概述機器學習分類：有監督學習無監督學習半監督學習強化學習幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習文本分類

自動文本分類：文本信息挖掘的基本功能，處理和組織文本數據的核心技術文本分類

二分類(BinaryClassification)問題

多分類問題郵件是垃圾郵件不是垃圾郵件文檔中文文檔英文文檔日文文檔其他文本分類正常郵件：垃圾郵件：文本分類常見的分類器：邏輯回歸（LogisticRegression，LR）支持向量機（SupportVectorMachines，SVM）樸素貝葉斯（NaiveBayes，NB）K近鄰（K-NearestNeighbor，KNN）決策樹（DecisionTree，DT）神經網絡（NeuralNetwork，NN）文本分類文本分類步驟：1）定義階段2）數據預處理3）數據提取特征4）模型訓練階段5）評測階段6）應用階段幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習特征提取特征提取：文本的結構化表示文本結構化數據特征提取

Bag-of-words：將文檔看成詞匯集合特征提取統計特征：考慮每個特征的權重Termfrequency(TF)、Inversedocumentfrequency(IDF)合并的TF-IDF可以評估一個詞元對于這個文檔在整個語料庫中的重要程度詞元的重要性隨著它在文檔中出現的次數成正比，隨著它在語料庫中出現在其他文檔的篇數成反比特征提取N-Gram與N階馬爾科夫鏈例圖

N-Gram：考慮詞匯順序幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習標注女孩狗風景…標記任務：給定一個輸入，輸出不定量類別標注標簽分類財經扶貧農村…幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習搜索與排序百度搜索NLP搜索與排序排序算法：詞頻位置加權排序算法DirectHit算法PageRank算法搜索與排序

通過查詢關鍵詞在頁面中出現的次數和位置對網頁進行排序基本思想：對于用戶輸入的搜索關鍵詞，如果它在某網頁中出現的頻率越高，位置越重要，就認為該網頁和關鍵詞的相關性越好，也越能滿足用戶的需求詞頻位置加權排序算法：搜索與排序用戶瀏覽時間短——降低該網頁相關性用戶瀏覽時間長——增加該網頁相關性

DirectHit算法：注重信息質量和用戶反饋基本思想：將查詢的結果返回給用戶，并跟蹤用戶在檢索結果中的點擊搜索與排序評估頁面被引用的情況設網頁A有T1、T2…Tn共n個網頁指向它，參數d是0~1間的控制系數，C（Ti）是從A鏈出的網頁數，則A的PageRank值PR(A)計算公式：

PageRank算法：幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習推薦系統給買過洗浴用品的用戶的推薦效果推薦系統物品協同過濾思想協同過濾(CollaborativeFiltering)幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統序列學習序列學習序列學習（seq2seq模型）：

輸入和輸出的長度是不固定的

案例：

問答、翻譯、語音序列學習輸入序列：麥克風聲音輸出：說出的單詞的文本轉錄通常輸出比輸入短（1）語音識別序列學習把一種語言的文字翻譯成另一種語言的文字（2）文本轉語音語音識別的逆問題輸出比輸入長（3）機器翻譯小結幾種常用的機器學習方法文