項目1了解爬蟲與Python爬蟲環境教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：4學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標先對爬蟲的概念和原理，及反爬蟲的概念進行基本的概述，列舉針對反爬蟲的常用手段制定對應爬取策略。而后簡要介紹了Python常用爬蟲庫和爬蟲環境，以及用于存儲爬取的數據的MySQL、MongoDB數據庫。基本要求了解爬蟲的原理。了解爬蟲運行時應遵守的規則和相關法律法規。了解反爬蟲的目的和常用的爬蟲策略。了解Python爬蟲常用爬蟲庫。掌握PyCharm的安裝和使用。掌握MySQL、MongoDB數據庫的配置方法。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。在大數據時代，如何通過網絡收集數據？現實生活中收集數據的方式有那些？如何保存收集到的結構型和非結構型數據？Python語言有哪些優勢？PyCharm這個IDE有那些優點和缺點？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。如何收集網絡上的公開數據？網站如何防止被爬蟲批量收集數據？在瀏覽網絡過程中，遇到了那些反爬蟲技術手段，又該怎么克服？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。網絡上的一切數據是否皆可通過網絡爬蟲獲取？Python語言用于做網絡爬蟲有哪些優勢？討論網絡爬蟲會引發那些法律風險問題？主要知識點、重點與難點主要知識點爬蟲的概念、分類。爬蟲的合法性與robots協議。反爬蟲的手段與爬蟲策略制定。爬蟲環境的搭建PyCharm的使用。重點爬蟲的概念、爬蟲策略制定。PyCharm的使用。難點爬蟲的分類。教學過程設計理論教學過程爬蟲的概念。爬蟲的分類。爬蟲的合法性與robots協議。網站反爬蟲的目的與手段。爬蟲策略制定。爬蟲需要用到的編程環境、工具介紹。實驗教學過程在Windows/Linux系統上安裝Python、PyCharm、MySQL、MongoDB。PyCharm的使用。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目2爬蟲基礎知識準備教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：6學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標結合具體網頁，分析網頁技術和網頁結構，講解網頁中常用的HTTP標簽功能和具體用法；通過具體的網頁分析HTTP請求過程和方法，以及常見的狀態碼，闡述具體的HTTP頭部信息中各項字段的功能并借助開發者工具查看Cookie信息的方法。基本要求了解網頁開發技術和網頁基本結構。了解網頁中常用的HTTP標簽。熟悉HTTP請求的原理、狀態碼和頭部常用字段。熟悉在網頁中訪問網址，實現HTTP請求的對應處理流程。熟悉Cookie的運行機制。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。什么是網頁？網頁當中包含哪些類型的資源？我們經常使用到HTTP，是在什么時候用到？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。是否所有網頁都具有統一的網頁結構？如何區分靜態網頁和動態網頁？HTTP請求過程是分為哪幾步？Cookie信息是存儲在客戶端還是服務器端？如何查看Cookie信息？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。指定具體網頁，分析其中HTML、CSS和JavaScript技術各自實現的功能是什么？Cookie值中各字段有什么含義？主要知識點、重點與難點主要知識點網頁開發技術和網頁基本結構。網頁中常用的HTTP標簽。HTTP請求的過程、狀態碼和頭部常用字段。Cookie的運行機制。重點網頁中常用的HTTP標簽。HTTP請求的過程。難點HTTP請求過程。教學過程設計理論教學過程了解網頁開發技術。了解網頁的結構。了解網頁的分類。了解網頁的數據結構。熟悉HTTP請求方法與過程。熟悉常見HTTP狀態碼。熟悉HTTP頭部信息。熟悉Cookie。實驗教學過程使用html標簽和CSS樣式創建網頁。分析HTTP請求的過程。使用瀏覽器查看HTTP報文并分析報文的頭部信息。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目3簡單靜態網頁爬取——獲取某企業官網基本信息教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：16學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標使用Chrome開發者工具定位目標元素，查看網頁資源加載情況；使用urllib3和Requests庫實現HTTP請求，并使用Xpath、BeautifulSoup庫和正則表達式解析網頁內容；講解將解析得到的數據存儲到JSON文件、MySQL數據庫當中的方法。基本要求掌握Chrome瀏覽器開發者工具的使用方法。掌握使用urllib3和Requests庫實現HTTP請求的流程。掌握Xpath的基本語法和常用函數。掌握創建BeautifulSoup對象的方法。掌握正則表達式解析網頁的常用方法。掌握使用JSON模塊和PyMySQL庫存儲數據的方法。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。Chrome開發者模式中如何查看網頁源碼？定位某個元素？創建HTML文件時，使用到了各種標簽，能否使用標簽之間的關系定位到某個標簽？結合之前課程的學習，文本信息保存到本地，使用Python代碼可以保存為什么類型？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。Xpath和BeautiuflSoup定位標簽元素時，有何異同點？正則表達式中貪婪模式和非貪婪模式分別是何含義？如何區分？MySQL是用什么SQL指令實現數據插入？如何實現多行數據插入？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。使用PyMySQL庫如何從數據表中刪除數據？更新數據？Chrome開發者工具中，其他選項卡的作用是什么？主要知識點、重點與難點主要知識點Chrome瀏覽器查看網頁。urllib3庫實現HTTP請求。Requests庫實現HTTP請求。Xpath解析網頁。BeautifulSoup庫解析網頁。正則表達式解析網頁。將數據存儲為JSON文件。將數據存儲到MySQL數據庫。重點Requests庫實現HTTP請求。Xpath解析網頁。BeautifulSoup庫解析網頁。將數據存儲到MySQL數據庫。難點正則表達式解析網頁。將數據存儲到MySQL數據庫。教學過程設計理論教學過程使用Chrome瀏覽器查看網頁。使用urllib3庫實現HTTP請求。使用Requests庫實現HTTP請求。使用Xpath解析網頁。使用BeautifulSoup庫解析網頁。使用正則表達式解析網頁。將數據存儲為JSON文件。將數據存儲到MySQL數據庫。實驗教學過程使用Chrome瀏覽器查看網頁源碼，并定位節點。使用urllib3和Requests實現HTTP請求發送和接收響應結果。使用Xpath、BeautifulSoup或者正則表達式對響應的內容進行解析。將數據存儲到JSON文件中。將數據存儲到MySQL數據庫中。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目4爬取動態網頁——獲取圖書基本信息教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：14學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標結合某出版社網站，講解使用Chrome開發者工具采用逆向分析的方法分析定位動態數據所在的網址，并從該網址解析數據的方法；演示Chrome瀏覽器驅動的安裝和配置方法；介紹Selenium庫的常用方法和具體使用操作；介紹數據存儲到MongoDB數據庫的操作方法。基本要求掌握逆向分析定位動態數據所在網址的方法。掌握Selenium庫的安裝和配置方法。掌握Selenium庫的常用函數。掌握MongoDB存儲數據的基本方法。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。網頁中所有內容都可以通過靜態提取的方法獲得？嘗試用靜態提取的方法嘗試能否獲取到某出版社官網中新書推薦欄的圖書名稱？結合前面章節內容，談談網頁中什么算動態數據？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。逆向分析的具體步驟是什么？Selenium是否可以驅動其他瀏覽器？Selenium能否爬取靜態數據？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。請大家自行探索了解AJAX技術。總結當前我們已經學習過的數據存儲方式。主要知識點、重點與難點主要知識點逆向分析判斷網頁類型。逆向分析獲取動態網頁信息。Selenium庫打開瀏覽器對象并訪問頁面。Selenium庫進行元素選取、交互、頁面操作、等待。MongoDB數據庫和MySQL數據庫的區別。將數據存儲到MongoDB數據庫。重點逆向分析獲取動態網頁信息。Selenium庫打開瀏覽器對象并訪問頁面。Selenium庫進行元素選取、交互、頁面操作、等待。將數據存儲到MongoDB數據庫。難點逆向分析獲取動態網頁信息。將數據存儲到MongoDB數據庫。教學過程設計理論教學過程逆向分析判斷網頁類型。逆向分析獲取動態網頁信息。使用Selenium庫打開瀏覽器對象并訪問頁面。Selenium庫進行元素選取、交互、頁面操作、等待。MongoDB數據庫和MySQL數據庫的區別。將數據存儲到MongoDB數據庫。實驗教學過程判斷網頁類型。使用逆向分析的方法獲取網頁信息。Selenium庫及瀏覽器驅動安裝。使用Selenium庫爬取動態網頁。網頁元素選取。網頁元素交互。網頁頁面操作。網頁頁面等待。將數據存儲到MongoDB數據庫中。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目5模擬登錄——登錄某企業官網教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：6學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標分別用表單和Cookie實現模擬登錄。在表單模擬登錄時，學會查找提交入口、查找并獲取需要提交的表單數據、使用POST方法請求登錄。在Cookie實現模擬登錄時，知道保存已經成功登錄的Cookie、使用保存的Cookie發送請求。基本要求掌握使用開發者工具查找登錄入口。掌握使用開發者工具查找模擬登錄需要的相關信息。掌握表單登錄、Cookie登錄的流程。掌握保存和加載Cookie實現登錄的方法。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。當你成功登錄了一個網站，關閉后短時間內再進去網站并不用登錄是為什么？當你成功登錄了一個網站，關閉后長時間內再進去網站卻要登錄是為什么？為什么登錄網站時，除了輸入賬號和密碼外，往往還需要輸入驗證碼？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。為什么表單登錄要用POST請求？使用瀏覽器Cookie登錄和基于表單登錄的Cookie登錄，兩種基于Cookie的模擬登錄各有什么優缺點？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。你能想到哪些Cookie泄露帶來的安全問題？除了字符驗證碼外，在上網過程中還遇見了哪些驗證方式？除人工識別字符驗證碼外，還有那些方法識別驗證碼？主要知識點、重點與難點主要知識點查找表單登錄的提交入口。查找并獲取需要提交的表單數據。如何驗證是否模擬登錄成功。使用POST請求方法登錄。使用瀏覽器Cookie登錄。基于表單登錄的Cookie登錄。重點查找表單登錄的提交入口。使用瀏覽器Cookie登錄。基于表單登錄的Cookie登錄難點查找表單登錄的提交入口。教學過程設計理論教學過程掌握使用Chrome開發者工具，查找提交入口、查找需要提交的表單數據。掌握獲取驗證碼數據的方法。掌握使用POST方法向服務器發送登錄請求。掌握使用Chrome開發者工具獲取瀏覽器的Cookie，實現模擬登錄。掌握通過加載已經保存的表單登錄后的Cookie實現模擬登錄。實驗教學過程使用Chrome開發者工具，查找提交入口。使用Chrome開發者工具，查找需要提交的表單數據。獲取驗證碼數據。使用POST方法向服務器發送登錄請求。使用Chrome開發者工具獲取瀏覽器的Cookie，實現模擬登錄。加載已經保存的表單登錄后的Cookie，實現模擬登錄。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目6終端協議分析——獲取某音樂PC客戶端和App客戶端數據教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：8學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標分析目前互聯網數據獲取的現狀，獲取數據逐漸從Web端轉向了PC端和APP客戶端。而后介紹了HTTPAnalyzer工具的基本功能，利用HTTPAnalyzer工具進行抓包，以及通過抓包分析獲得在酷我音樂PC客戶端搜索的數據。緊接著了解并設置Fiddler工具，通過Fiddler工具得到酷我音樂App客戶端的JSON格式數據，利用Fiddler工具抓取的包，對酷我音樂App客戶端的圖片信息進行爬取。基本要求了解HTTPAnalyzer工具的基礎知識。掌握酷我音樂PC客戶端數據的爬取流程。了解Fiddler工具的基礎知識。掌握HTTPAnalyzer和Fiddler工具的抓包和數據分析方法。掌握酷我音樂App客戶端的數據分析方法。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發引導學生去解決問題，提問，從而達到理解、掌握知識，發展各種能力和提高思想覺悟的目的。（1）如何從網絡中獲取相關數據？（2）現實生活中可以使用哪些數據獲取的技術？（3）該如何進行數據爬取？（4）Python語言編寫爬蟲有哪些優勢？（5）通過Web端爬取數據的一般流程是什么？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。PC客戶端和APP客戶端抓包的完整流程是怎樣的？抓包軟件的能夠應用在那些場景？HTTPAnalyzer和Fiddler有哪些優缺點？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。有沒有更好的APP客戶端抓包方案（例如使用安卓模擬器等）？Python語言用于做數據分析有哪些優勢？如何從抓取的數據包中快速定位要爬取的資源？主要知識點、重點與難點主要知識點（1）了解HTTPAnalyzer工具的基礎知識。（2）掌握酷我音樂PC客戶端數據的爬取流程。（3）了解Fiddler工具的基礎知識。（4）掌握HTTPAnalyzer和Fiddler工具的抓包和數據分析方法。（5）掌握酷我音樂App客戶端的數據分析方法。重點抓包的概念、流程與應用場景。HTTPAnalyzer和Fiddler工具的常用功能。難點抓包的概念與流程。教學過程設計理論教學過程（1）HTTPAnalyzer的安裝。（2）HTTPAnalyzer的基本功能。（3）使用HTTPAnalyzer進行抓包。（4）對酷我客戶端抓取的數據包進行分析。（5）對數據包內容進行解析和數據提取。（6）編寫爬蟲下載歌手數據。（7）Fiddler工具的安裝。（8）Fiddler工具的基本功能。（9）設置Android系統的手機。（10）利用Fiddler工具進行抓包測試。（11）分析酷我音樂App客戶端數據。（12）編寫爬蟲下載首頁圖片。實驗教學過程通過HTTPAnalyzer抓包分析獲得在酷我音樂PC客戶端搜索的數據。使用Fiddler工具對酷我音樂App客戶端的圖片信息進行爬取。教材與參考資料教材池瑞楠．Python網絡爬蟲技術（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網絡爬蟲技術[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網絡爬蟲基礎教程[M]．人民郵電出版社．2022．項目7使用Scrapy爬蟲——爬取某企業官網新聞動態教案課程名稱：Python網絡爬蟲技術課程類別：必修適用專業：大數據技術類相關專業總學時：64學時（其中理論24學時，實驗40學時）總學分：4.0學分本章學時：10學時材料清單《Python網絡爬蟲技術（第2版）（微課版）》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標分析目前數據流通的現狀，明確數據爬取是實現數據要素化的重要方式。而后介紹Scrapy爬蟲框架，闡述該框架與一般Python爬蟲的區別，講解Scrapy爬蟲框架的安裝、創建爬蟲項目，框架中各組件的功能和用途，最后以某企業官網的“新聞中心”頁面為例，使用Scrapy框架實現爬蟲，抓取指定網站的內容或圖片，實時獲取企業動態，并進行備份和存儲。基本要求（1）了解Scrapy框架各組件的作用以及數據流向。（2）熟悉Scrapy的常用命令及其作用。（3）掌握Scrapy爬取文本信息的方法。（4）能夠使用Scrapy框架爬取網站信息。（5）能夠根據項目最終目標修改items/pipelines腳