爬蟲常用工具_第1頁
爬蟲常用工具_第2頁
爬蟲常用工具_第3頁
爬蟲常用工具_第4頁
爬蟲常用工具_第5頁
已閱讀5頁，還剩4頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

負責人：鄭美容01目錄爬蟲常用工具爬蟲常用工具1爬蟲常用工具1.OctoparseOctoparse是一個免費且功能強大的網站爬蟲工具，用于從網站上提取需要的各種類型的數據。它有兩種學習模式：向導模式和高級模式，所以非程序員也可以使用。可以下載幾乎所有的網站內容，并保存為EXCEL，TXT，HTML或數據庫等結構化格式。具有ScheduledCloudExtraction功能，可以獲取網站的最新信息。提供IP代理服務器，所以不用擔心被侵略性網站檢測到。爬蟲常用工具2.WebCopyWebCopy是一款免費的爬蟲工具，允許將部分或完整網站內容本地復制到硬盤以供離線閱讀。它會在將網站內容下載到硬盤之前掃描指定的網站，并自動重新映射網站中圖像和其他網頁資源的鏈接，以匹配其本地路徑。還有其他功能，例如下載包含在副本中的URL，但不能對其進行爬蟲。還可以配置域名，用戶代理字符串，默認文檔等。爬蟲常用工具3.ScraperScraper是一款Chrome擴展工具，數據提取功能有限，但對于在線研究和導出數據到GoogleSpreadsheets非常有用。適用于初學者和專家，可以輕松地將數據復制到剪貼板或使用OAuth存儲到電子表格。不提供全包式抓取服務，但對于新手也算友好。爬蟲常用工具4.HTTrack作為網站免費爬蟲軟件，HTTrack提供的功能非常適合從互聯網下載整個網站到你的PC。它提供了適用于Windows，Linux，SunSolaris和其他Unix系統的版本。它可以鏡像一個或多個站點（共享鏈接）。在“設置選項”下下載網頁時決定要同時打開的連接數。可以從整個目錄中獲取照片，文件，HTML代碼，更新當前鏡像的網站并恢復中斷的下載。爬蟲常用工具5.GetleftGetleft是一款免費且易于使用的爬蟲工具。啟動Getleft后輸入URL并選擇應下載的文件，然后開始下載網站此外，它提供多語言支持，目前Get

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論