網絡爬蟲簡介第1頁/共48頁網絡爬蟲教育技術系第2頁/共48頁網絡爬蟲1、網絡爬蟲簡介2、通用網絡爬蟲和聚焦爬蟲3、網絡爬蟲的抓取策略4、幾種常見的網絡爬蟲5、Metaseeker第3頁/共48頁1、網絡爬蟲簡介

1.1定義1.2用途1.3原理第4頁/共48頁1.1網絡爬蟲定義網絡爬蟲（Crawler）又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中，更經常的被稱為網頁追逐者，它是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。

另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。第5頁/共48頁1.2用途很多站點，尤其是搜索引擎，都使用爬蟲提供最新的數據，它主要用于提供它訪問過頁面的一個副本，然后，搜索引擎就可以對得到的頁面進行索引，以提供快速訪問。蜘蛛也可以在web上用來自動執行一些任務，例如檢查鏈接，確認html代碼；也可以用來抓取網頁上某種特定類型信息，例如抓取電子郵件地址（通常用于垃圾郵件）。

第6頁/共48頁1.3原理一個網絡蜘蛛就是一種機器人，或者軟件代理。大體上，它從一組要訪問的URL鏈接開始，可以稱這些URL為種子。爬蟲訪問這些鏈接，它辨認出這些頁面的所有超鏈接，然后添加到這個URL列表，可以稱作檢索前沿。這些URL按照一定的策略反復訪問。第7頁/共48頁2、通用網絡爬蟲和聚焦爬蟲2.1前言2.2通用網絡爬蟲2.3聚焦爬蟲2.4兩種爬蟲比較第8頁/共48頁2.1前言隨著網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰。搜索引擎(SearchEngine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性。第9頁/共48頁為了解決通用搜索引擎的局限性，定向抓取相關網頁資源的聚焦爬蟲應運而生。聚焦爬蟲與通用爬蟲不同，聚焦爬蟲并不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢準備數據資源。第10頁/共48頁2.2通用網絡爬蟲通用網絡爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。

第11頁/共48頁2.3聚焦爬蟲聚焦爬蟲根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止。第12頁/共48頁2.4兩種爬蟲比較通用網絡爬蟲

聚焦爬蟲

目標

通用網絡爬蟲的目標是盡可能多的采集信息頁面，而在這一過程中它并不太在意頁面采集的順序和被采集頁面的相關主題。這需要消耗很多的系統資源和網絡帶寬，并且對這些資源的消耗并沒有換來采集頁面的較高利用率。

聚焦爬蟲的目標是盡可能快地爬行、采集盡可能多的與預先定義好的主題相關的網頁。聚焦爬蟲可以通過對整個Web按主題分塊采集，并將不同塊的采集結果整合到一起，以提高整個Web的采集覆蓋率和頁面利用率。第13頁/共48頁相對于通用網絡爬蟲，聚焦爬蟲還需要解決三個主要問題：(1)對抓取目標的描述或定義；

(2)對網頁或數據的分析與過；

(3)對URL的搜索策略。抓取目標的描述和定義是決定網頁分析算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。第14頁/共48頁3、網絡爬蟲的抓取策略3.1網頁搜索策略3.2爬行策略

第15頁/共48頁3.1網頁搜索策略網頁的抓取策略可以分為深度優先、廣度優先和最佳優先三種。深度優先在很多情況下會導致爬蟲的陷入(trapped)問題，目前常見的是廣度優先和最佳優先方法。第16頁/共48頁3.1.1廣度優先搜索策略廣度優先搜索策略是指在抓取過程中，在完成當前層次的搜索后，才進行下一層次的搜索。該算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁，一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用于聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。第17頁/共48頁

另外一種方法是將廣度優先搜索與網頁過濾技術結合使用，先用廣度優先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在于，隨著抓取網頁的增多，大量的無關網頁將被下載并過濾，算法的效率將變低。第18頁/共48頁3.1.2最佳優先搜索策略最佳優先搜索策略按照一定的網頁分析算法，預測候選URL與目標網頁的相似度，或與主題的相關性，并選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析算法預測為“有用”的網頁。

第19頁/共48頁存在的一個問題是，在爬蟲抓取路徑上的很多相關網頁可能被忽略，因為最佳優先策略是一種局部最優搜索算法。因此需要將最佳優先結合具體的應用進行改進，以跳出局部最優點。研究表明，這樣的閉環調整可以將無關網頁數量降低30%-90%。

第20頁/共48頁3.2爬行策略更新頻率太快了數據量好大啊頁面是動態的呀以上三種網絡特征使得設計網頁爬蟲抓取策略變得很難。第21頁/共48頁網頁爬蟲的行為通常是四種策略組合的結果：(a)選擇策略，決定所要下載的頁面；(b)重新訪問策略，決定什么時候檢查頁面的更新變化；(c)平衡禮貌策略，指出怎樣避免站點超載；(d)并行策略，指出怎么協同達到分布式抓取的效果。第22頁/共48頁4、幾種常見的網絡爬蟲

4.1Google爬蟲

4.2Mercator

4.3北大天網4.4InternetArchive

4.5UbiCrawler

4.6IRLBOT

第23頁/共48頁4.1Google爬蟲斯坦福大學設計了用于Google的爬蟲第24頁/共48頁

早期的Google爬蟲系統由5個模塊處理不同的任務。一個URL服務器從磁盤文件讀URL列表并將其轉發到Crawler上。每個Crawler單獨運行在一臺機器上，采用單線程異步10方式，一次維持300個連接并行爬行。Crawler將網頁傳輸到存儲服務器上壓縮并保存。索引進程從HTML頁面中抽取鏈接并存放在不同的文件中。一個URL解析器讀取這些鏈接文件并轉化為絕對路徑，由URL服務器讀取。

第25頁/共48頁后期Google的改進主要有：(1)采用自有的文件系統(GFS)和數據庫系統(BigTable)來存取數據；(2)采用MapReduce技術來分布式處理各種數據的運算。第26頁/共48頁4.2Mercator

康柏系統研究中心的AIlanHeydon和MarcNajork設計了名叫Mercator的爬行器。系統采用Java的多線程同步方式實現并行處理，并加入了很多優化策略如DNS緩沖、延遲存儲等以提升爬行器運行效率。它采用的數據結構可以不管爬行規模的大小，在內存中只占有限的空間。這些數據結構的大部分都在磁盤上，在內存中只存放有限的部分，伸縮性很強。

第27頁/共48頁4.3北大天網北大天網是國內高性能網絡爬蟲的先行者，它的架構經歷了集中式向分布式的改進，能夠勝任10億級的網頁搜索，其基于站點的兩階段哈希機制有效地解決了搜索過程中Crawler動態加入和退出的問題。

第28頁/共48頁4.4

InternetArchiveInternetArchive的每臺Crawler同時對64個站點進行爬行，每個站點被唯一分派到一個Crawler上。Crawler從磁盤上讀取URL列表，采取異步10方式下載網頁，并抽取鏈接。如果該鏈接屬于本機抓取，則放人待抓取列表，存到磁盤上，并周期性地傳送到其它Crawler上。第29頁/共48頁4.5UbiCrawlerUbiCrawler項目是一個高性能的爬蟲，主要側重于完全分布性和高容錯率。它的主要特性包括：平臺獨立性、良好的伸縮性、高效的分配函數、各功能模塊的完全分布式、沒有單點故障的問題。

第30頁/共48頁4.6IRLBOTIRLBOT是TAMU開發的大規模網絡Crawler，它們宣稱已經抓取了60億網頁。該爬蟲能勝任100億級網頁爬行，可伸縮性很強，在“禮貌”爬行和反垃圾頁面上做了很多工作。

第31頁/共48頁5、Metaseeker5.1Metaseeker的特點5.2Metaseeker的使用

5.2.1第32頁/共48頁5.1Metaseeker的特點5.1.1定義MetaSeeker是一個Web網頁抓取/數據抽取/頁面信息提取工具包，能夠按照用戶的指導，從Web頁面上篩選出需要的信息，并輸出含有語義結構的提取結果文件（XML文件）。第33頁/共48頁

5.1.2優點眾所周知，Web頁面顯示的信息是給人閱讀的，對于機器來說，是無結構的，MetaSeeker解決了一個關鍵問題：將無結構的Web頁面信息轉換成有結構的適于機器處理的信息。可以應用于專業搜索、Mashup和Web數據挖掘領域。第34頁/共48頁5.1.3工具包的組成(a)MetaStudio：是Web頁面信息結構描述工具，提供GUI界面，作為Firefox擴展（Firefoxextension）發行，推薦與MetaCamp和DataStore配套使用，這樣信息結構描述文件和各種信息提取指令文件就可以上載到MetaCamp和DataStore服務器，以擁有協同描述頁面信息結構和分享信息提取成果的能力。第35頁/共48頁(b)DataScraper：是Web頁面信息提取(網頁抓取/抽取)工具，利用MetaStudio生成的各種信息提取指令文件，對特定頁面的信息進行連續提取，并將信息存儲在DataStore服務器中。提供GUI界面，作為Firefox擴展發行，技術核心是一個自研的工作流引擎，由信息提取工作流指令文件驅動。第36頁/共48頁(c)MetaCamp：是存儲和管理信息結構描述文件的服務器。作為一個應用（application）部署在Tomcat等Servlet容器中。(d)DataStore：是存儲和管理信息提取線索、各種信息提取指令文件和信息提取結果文件的服務器，集成Lucenev2.3.2技術，能夠為結果文件建立索引。作為一個應用（application）部署在Tomcat等Servlet容器中。

第37頁/共48頁5.2Metaseeker的使用5.2.1安裝5.2.1.1硬件環境要求Web頁面語義結構描述工具MetaStudio的工作臺比較復雜，顯示器的分辨率在1280X1024以上才能完整展現。

Web頁面信息提取工具DataScraper對顯示器分辨率沒有特別的要求。第38頁/共48頁5.2.1.2軟件環境要求雖然語義結構描述和網頁數據抓取規則生成軟件MetaStudio和網頁數據抓取和格式化軟件DataScraper都作為Firefox的擴展發行的，但兩者對軟件環境要求是不一樣的，同一個DataScraper軟件包可以安裝在不同操作系統和不同版本的Firefox上，而MetaStudio針對不同的系統軟件環境有不同的發行包，需要區別對待。第39頁/共48頁5.2.1.3下載和安裝下載和安裝方式有兩種：

(1)下載的同時進行安裝：在下載彈出窗口中選擇“運行”，并指定運行程序Firefox

(2)下載保存后安裝：在下載彈出窗口中選擇“保存”，以后安裝第40頁/共48頁5.2.2使用方法Metaseeker的一位使用者免費提供了Metaseeker的使用教程。下面介紹一下學習總結以及使用中的一些問題。第41頁/共48頁

5.2.2.1三種映射的區別抓取網頁信息時需要將各字段值映射到已構建好的信息屬性（我們要抓取的內容名稱）中，有內容映射、FreeFormat映射和樣例復制品映射三種。下面用一個表格來說明一下三者的區別。第42頁/