趣學(xué)Python爬蟲(chóng)爬蟲(chóng)框架之分布式本課目錄INDEX什么是分布式框架實(shí)現(xiàn)分布式原理scrapy框架實(shí)現(xiàn)分布式什么是分布式分布式的官方解釋在一個(gè)分布式系統(tǒng)中，一組獨(dú)立的計(jì)算機(jī)展現(xiàn)給用戶(hù)的是一個(gè)統(tǒng)一的整體，就好像是一個(gè)系統(tǒng)似的。系統(tǒng)擁有多種通用的物理和邏輯資源，可以動(dòng)態(tài)的分配任務(wù)，分散的物理和邏輯資源通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)信息交換。系統(tǒng)中存在一個(gè)以全局的方式管理計(jì)算機(jī)資源的分布式操作系統(tǒng)。通常，對(duì)用戶(hù)來(lái)說(shuō)，分布式系統(tǒng)只有一個(gè)模型或范型。分布式通俗解讀訪問(wèn)萬(wàn)門(mén)網(wǎng)站，你看到的都是同一個(gè)你熟悉的頁(yè)面，但是是由哪個(gè)服務(wù)器為你提供的頁(yè)面你并不知道，但是后臺(tái)有多個(gè)服務(wù)器可以給你提供，具體由哪個(gè)服務(wù)器為你服務(wù)由“統(tǒng)籌方”指定正正訪問(wèn)服務(wù)器1服務(wù)器2服務(wù)器3服務(wù)器4一臺(tái)服務(wù)器的服務(wù)能力是有上限的，在這個(gè)案例是平均訪問(wèn)壓力統(tǒng)籌方爬蟲(chóng)框架scrapy結(jié)構(gòu)InternetScheduler

調(diào)度器Items/Pipelines

管道Downloader

下載器主引擎2345STARTSpider

爬蟲(chóng)器7 6 1ENGINE88包含中間件包含中間件請(qǐng)求發(fā)起數(shù)據(jù)解析執(zhí)行請(qǐng)求或下載動(dòng)作任務(wù)存儲(chǔ)任務(wù)執(zhí)行調(diào)度數(shù)據(jù)持久化保存特別注意特別注意框架實(shí)現(xiàn)分布式原理分布式爬蟲(chóng)即在多個(gè)機(jī)器上運(yùn)行scrapy爬取同一個(gè)網(wǎng)站機(jī)器1機(jī)器2機(jī)器3互聯(lián)網(wǎng)一互聯(lián)網(wǎng)二互聯(lián)網(wǎng)三scrapy-1scrapy-2scrapy-3框架實(shí)現(xiàn)分布式原理我們?cè)賮?lái)梳理一下實(shí)現(xiàn)過(guò)程引擎調(diào)度器爬蟲(chóng)器下載器管

道實(shí)現(xiàn)的目標(biāo)是多個(gè)scrapy爬取同一個(gè)網(wǎng)站引擎1爬蟲(chóng)器

下載器scrapy-redis共享調(diào)度器單個(gè)引擎（單個(gè)電腦）目標(biāo)分布式（多電腦聯(lián)合一個(gè)任務(wù)）引擎2爬蟲(chóng)器

下載器引擎3爬蟲(chóng)器

下載器scrapy-redis共享管道pipinstall

scrapy-redis實(shí)現(xiàn)分布式所需的環(huán)境Redis數(shù)據(jù)庫(kù)安裝，

大家可自行下載也可以從課件資料中下載數(shù)據(jù)庫(kù)Python庫(kù)https://redis.io/download關(guān)于Redis的簡(jiǎn)單操作Redis服務(wù)配置文件Redis主服務(wù)可執(zhí)行文件Redis客戶(hù)端可執(zhí)行文件redis-cli–h192.168.X.X–p

6379keys

*查看所有鍵值的鍵名lrange鍵名0-1查看當(dāng)前鍵下所有值flushdb

清空數(shù)據(jù)庫(kù)lpush 鍵名字

訪問(wèn)地址

向隊(duì)列推入任務(wù)關(guān)于Redis的簡(jiǎn)單操