1、4.3.1 建立Web網站4.3.1 建立Web網站這個網站有一個網頁，返回基本計算機教材，flask程序如下：import flaskapp=flask.Flask(_name_)app.route(/)def index(): html= Python程序設計 James 清華大學出版社 Java程序設計 Robert 人民郵電出版社 MySQL數據庫 Steven 高等教育出版社 return htmlif _name_=_main_: app.run()4.3.2 編寫數據項目類4.3.2 編寫數據項目類程序要爬取的數據是多本教材，每本教材有名稱與作者，因此要建立一個教材的類，類中包含

2、教材名稱title、作者author與出版社publisher。在我們的scrapy框架中有的c:exampledemodemo目錄下有一個文件items.py就是用來設計數據項目類的，打開這個文件，改造文件成如下形式：import scrapyclass BookItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() author=scrapy.Field() publisher=scrapy.Field()其中BookItem是我們設計的教材項目類，這個類必須從scrapy

3、.Item類繼承，在類中定義教材的字段項目，每個字段項目都是一個scrapy.Field對象，這里定義了3個字段項目，用來存儲教材名稱title、作者author、出版社publisher。如果item是一個BooItem的對象，那么可以通過itemtitle、itemauthor、itempublisher來獲取與設置各個字段的值，例如：item=BookItem()itemtitle=Python程序設計itemauthor=Jamesitempublisher=清華大學出版社print(itemtitle)print(itemauthor)print(itempublisher)4.3.

4、3 編寫爬蟲程序mySpider4.3.3 編寫爬蟲程序mySpider數據的項目設計好后就可以編寫爬蟲程序如下：import scrapyfrom demo.items import BookItemclass MySpider(scrapy.Spider): name = mySpider start_urls=:5000 def parse(self, response): try: data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book) for book in

5、 books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text().extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item except Exception as err: print(err)這個程序訪問:5000的網站，得到的網頁包含教材信息，程序過程如下：(1) from demo.items import

6、 BookItem從demo文件夾的items.py文件中引入BookItem類的定義。(2) data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book)得到網站數據并建立Selector對象，搜索到所有的節點的元素。(3) for book in books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text(

7、).extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item對于每個節點，在它下面搜索到節點，取出它的文本即教材名稱，其中注意使用book.xpath(./title/text()搜索到下面的節點的文本，一定不能缺少./的部分，它表示從當前節點往下搜索。同樣道理搜索、節點的文本，它們組成一個BookItem對象，這個對象通過語句：yield item向上一級調用函數返回，接下來scrapy會把這個對象推送給與items.py同目錄下的pipelines.py文件中的數據管道執

8、行類取處理數據。4.3.4 編寫數據管道處理類4.3.4 編寫數據管道處理類在我們的scrapy框架中有的c:exampledemodemo目錄下有一個文件pipelines.py就是用來數據管道處理類文件，打開這個文件可以看到一個默認的管道類，修改并設計數據管道類如下：class BookPipeline(object): count=0 def process_item(self, item, spider): BookPipeline.count+=1 try: if BookPipeline.count=1: fobj=open(books.txt,wt) else: fobj=ope

9、n(books.txt,at) print(itemtitle, itemauthor, itempublisher) fobj.write(itemtitle+,+itemauthor+,+itempublisher+n) fobj.close() except Exception as err: print(err) return item這個類我們命名為BookPipeline，它繼承自object類，類中最重要的函數是process_item函數，scrapy爬取數據開始時會建立一個BookPipeline類對象，然后每爬取一個數據類BookItem項目item，mySpider程序會

10、把這個對象推送給BookPipeline對象，同時調用process_item函數一次。process_item函數的參數中的item就是推送來的數據，于是我們就可以在這個函數中保存爬取的數據了。注意scrapy要求process_item函數最后返回這個item對象。在我們這個程序中采用文件存儲爬取的數據，BookPipeline類中先定義一個類成員count=0，用它來記錄process_item調用的次數。如果是第一次調用(count=1)那么就使用語句fobj=open(books.txt,wt)新建立一個books.txt的文件，然后把item的數據寫到文件中。如果不是第一次調用(c

11、ount1)，就使用語句fobj=open(books.txt,at)打開已經存在的文件books.txt，把item的數據追加到文件中。這樣我們反復執行爬蟲程序的過程保證每次清除掉上次的數據，記錄本次爬取的數據。4.3.5 設置scrapy的配置文件我們說mySpider爬蟲程序執行后每爬取一個item項目都會推送到BookPipelines類并調用的process_item函數，那么scrapy怎么樣知道要這樣做呢？前提是我們必須設置這樣一個通道。在demo文件夾中有一個settings.py的設置文件，打開這個文件可以看到很多設置項目，大部分是用#注釋的語句，找到語句ITEM_PIPLI

12、NES的項目，把它設置成如下形式：# Configure item pipelines# See /en/latest/topics/item-pipeline.htmlITEM_PIPELINES = demo.pipelines.BookPipeline: 300,其中ITEM_PIPLINES是一個字典，把關鍵字改成demo.pipelines.BookPipeline，而BookPipelines就是我們在pipelines.py文件中設計的數據管道類的名稱，后面的300是一個默認的整數，實際上它可以不是300，它可以是任何整數。這樣設置后就連通了爬蟲程序mySpider數據管道處理程序pipelines.py的通道，scrapy工作時會把mySpider爬蟲程序通過yield返回的每項數據推送給pipelines.py程序的BoolPipeline類，并執行process_item函數，這樣就