趣學Python爬蟲我與爬蟲有個約會本課目錄INDEX什么是爬蟲？爬蟲的數據延伸合理使用爬蟲爬蟲的分類爬蟲的業務場景關于反爬的說明爬蟲的基本原理Show一個小案例什么是爬蟲？爬蟲是一種大批量獲取數據的方法通俗易懂的說-爬蟲就是一個“機器/程序”，這臺“機器”根據目標/關鍵字模擬人的行為去各個網站/頁面提取數據，然后把數據拉回來。這是個信息爆炸的時代，也是個數據封鎖的時代，各大網站和應用（你懂的那些）他們會根據你的上網行為，用算法推薦你能看到哪些信息，但是這些信息真的是我們想看的嗎？我們怎么掌握主動權？批量爬取圖片 批量爬取關健文字 批量爬取視頻批量爬取購物網站價格 批量爬取某商品評論批量爬取某地房價…………爬蟲能做什么？

我的數據我做主爬蟲的數據延伸爬蟲課一向的重點是在爬這個層面上，那么本講與大家探討一下數據層的東西舉個簡單的例子業務需求：老板讓我爬取某個商品在全國各個省份的平均價格？STEP1

如何去爬？STEP2

如何讓數據有價值？鎖定有效關鍵字鎖定關鍵信息源（網站）爬取方式數據預處理（可用）原始數據與公司數據比對比對后的結論無序數據結構化數據作為參考比對（分析）結論（輔助決策）合理使用爬蟲關于爬蟲使用倡議爬蟲的破壞力：過度使用爬蟲輕則導致服務器下線，重則可以導致網站徹底宕機；通過爬蟲獲取的敏感數據、個人數據、版權數據進行銷售屬于嚴重違法，且爬蟲工程師連帶責任；爬蟲的合法性：在法律允許的范圍內進行注意使用中的法律風險（以爬蟲名義實施黑客行為）爬蟲的非正常使用如同黑客行為。且行且珍惜！出問題的從不是爬蟲，

是背后的“我們”，善用爬蟲讓他成為價值工具，

不要讓他成為作案工具爬蟲的分類通用爬蟲：抓取互聯網整個頁面數據，通常是搜索引擎使用，保證各個網站在搜索引擎上有一定的露出。聚焦爬蟲：聚焦爬蟲是通用爬蟲的升級版本，抓取特定的內容，或者說基于某個關鍵字或規則抓取內容。增量爬蟲：基于聚焦爬蟲的規則，

檢測是否有新的數據更新，如果有則進行抓取。爬蟲的業務場景暢銷書排行分析驗證碼破解用戶拓展關系分析模擬登陸系統文件下載助手開發音樂網站批量下載城市旅游數據分析購物網站數據挖掘分析電商信息數據分析論壇發帖、問答推廣、效果回訪爬取微信公眾號，進行數據分析頭條自動發文章，賺點廣告費新聞數據分析個人信息檢索系統特定信息收集系統自動填寫調查問卷爬蟲分析熱度排行爬蟲進行股票分析爬取網站定向數據視頻網站視頻批量下載購物網站比價系統文章批量下載飛機票比價系統招聘公司爬取招聘信息爬取房產網站做房產分析財務報表下載排行分析不看不知道一看嚇一跳總有一款適合你數據出處：/爬蟲的業務場景為現有應用提供數據數據作為分析基礎個人便利目的關于反爬的說明爬蟲和網站之間一直就在一個對立面上，是一個明刀明槍的對抗。網站知道爬蟲有什么爬取方法，那么網站會采取更新的反爬機制，有了機制爬蟲會再次升級自己，直到能繞過去這個機制。這是一個永不休止的“斗爭”所以說，爬蟲就是網站的一個逆向工程舉一個例子，

好比戰爭中交戰的雙方，一方加密自己的作戰指令，另一方想方設法破解對方的加密信息。關于反爬機制通過相應的安全機制、策略或者用通俗的說法叫門檻限制機器（爬蟲、非人）直接獲取數據關于反反爬機制爬蟲制定相關的策略破解/穿透/繞過去網站的反爬機制，反反爬機制的核心就是讓你的爬蟲更像人robots.txt

協議Robots協議是一個防君子不防小人的協議，

規定本網站哪些數據可以被爬取，哪些不可以爬取，這不是一個技術手段，而是一個聲明，但是具有法律效應。

https:///robots.txt

大家可以嘗試一下知乎的robots協議爬蟲的基本原理爬蟲其實就是WEB（網站）的逆向工程瀏覽器輸入

網址（）回車（向服務器發起請求）服務器接到請求返回代碼（前端代碼）瀏覽器接收代碼瀏覽器解析代碼展示出頁面發起請求返回代碼瀏覽器解析網站服務器靜態模式爬蟲的基本原理爬蟲其實就是WEB（網站）的逆向工程JS加載內容動態模式瀏覽器輸入

網址（）回車（向服務器發起請求）服務器接到請求返回部分前端和Javascript代碼Javascript再次發起請求加載頁面的實際內容實際上能看到這個頁面，

除了用戶錄入回車一次請求，那么頁面還向服務器發送了一次請求，

又一次加載了具體內容，比如課程列表等。用戶請求得到基礎頁面和js代碼js代碼Show一個小案例我想隨時查看中國任