2023學年完整公開課版文本降維_第1頁
2023學年完整公開課版文本降維_第2頁
2023學年完整公開課版文本降維_第3頁
2023學年完整公開課版文本降維_第4頁
2023學年完整公開課版文本降維_第5頁
已閱讀5頁，還剩7頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

文本降維理解文本降維為什么降維降維方法分類理解降維/01理解文本降維文本降維屬于統計學建模的應用，該類應用在對原始文本特征向量進行壓縮的同時可以提取更豐富、更隱含的文本信息。根據上下文，向量空間模型在最初始的文檔向量表示的基礎上，每個維度對應一個詞匯或詞組。理解文本降維現實情況中，詞典的規模很大，如果將每個詞匯都映射到向量的一個維度，就會使整個向量空間變得規模很大，這就導致數據矩陣稀疏，造成計算資源和存儲資源的極大浪費。理解文本降維在向量空間模型的基礎上可以進一步對文本向量進行壓縮，用更少的特征向量來表示原始的文檔，常用的技術主要是矩陣降維技術，包括主成分分析、非負矩陣分解、隱性語義索引等。

為什么降維/02

為什么降維1）一些分類算法無法應付高維特征向量2）降維后能提高計算性能3）可以避免過擬合；有實驗表明，為了避免過擬合，所需的訓練樣本和特征維度需要大致滿足一個比例。在文本分類中，每維特征大概需要50-100個訓練樣本。這意味著，降低維度，即使訓練樣本不多，也能避免過擬合

降維方法分類/03

降維方法分類降維方法分類基于特征選擇基于特征提取文本降維：

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論