中國礦業大學計算機學院2018級本科生課程報告課程名稱信息內容安全報告題目針對知乎內容的爬蟲程序報告時間2021.7.6姓名周俊杰學號08182778任課教師曹天杰2020-2021(二)《信息內容安全》課程報告評分表序號畢業要求課程教學目標考查方式與考查點占比得分12.3目標1:掌握信息內容安全的基本概念、分類、原理和相關技術，能夠根據課程基本知識對信息內容安全領域出現的問題進行歸類、分析、并有初步分析和解決問題的能力。通過課堂講授和課堂研討掌握信息內容安全概念和理論知識。40%3.2目標2：掌握信息內容安全處理相關的理論、技術以及健全的評價體系，能夠根據具體問題分析算法、設計算法、實現算法并能綜合評價算法。24.3目標3：掌握信息內容安全的基礎知識，針對具體問題和要求選擇正確的技術路線，通過在實驗環境中進行仿真實驗并能根據算法特點進行攻擊測試和綜合性能評價，得到具有參考價值的結論。課程報告；實現有關信息內容安全的一個軟件系統。分析和對比各項技術，選擇相應的技術進行算法設計并在實驗環境中進行仿真實驗和性能評價，得到有效結論。60%總分100%評閱人：2021年7月10日報告摘要知乎為中文互聯網高質量的問答社區和創作者聚集的原創內容平臺，其豐富多彩的內容有許多參考價值。然而其內容無法直接批量獲取和存儲。此系統采用python語句針對知乎，以問題、回答、用戶等不同類別為入口，批量爬取其所有內容并存儲于本地，便于整體閱讀參考。關鍵詞：知乎；爬蟲；python;

報告正文1.1系統框架流程1.2目錄結構目錄分為.idea文件腳本核心函數功能模塊zhihu腳本入口GrandConcourse.py詳細如圖所示：2.內容摘要GrandConcourse.py這是腳本的啟動入口.根據不同需求分為：特定用戶的回答，用戶的想法及文章，特定的文章，特定的回答，某一問題下的回答，某收藏夾內容將目標id填入相應的位置，并把不需要的目標id設為空（''）點擊運行即可啟動運行腳本。腳本通過檢測相應id是否為空，從而選擇運行對應的模塊，所以不需要的目標id一定要設置為空。在這里可以設置文件保存的本地路徑zhihu是功能模塊，所有要實現的功能（爬取專欄、文章等）都在這個模塊下實現。實現的功能：article、collection、question、topic、user其中article實現了單篇文章或專欄的爬取，question實現了單個或所有回答的爬取，user實現了針對用戶的所有文章和所有回答的爬取。這些模塊之間并不是完全獨立的，比如collection既有問答又有文章，在實現時使用了article模塊的article和question模塊的answer。本文件實現了Controller和evaluate，前者用于爬取控制，控制程序的停止、爬取目標的下一頁等，后者用于計算回答的評分，根據評分決定一個問題的某個回答是否收錄。評分由點贊數、回答日期、更新日期共同決定說明：這里實現了對單個回答或問題的所有回答的爬取，其中單個回答的爬取需要的是answer_id，而問題的所有回答需要的是question_id。通過相應的id發起網絡請求，返回的json文件中包含的內容的主體，通過解析json文件獲得文章的基本信息，生成一個msg對象，再將內容主體解析成BeautifulSoup對象，連同msg一起交給document下的有關類解析生成markdown文件。說明：document模塊統一了文章、問答的markdown生成樣式，兩者的區別僅在于：文章類有背景大圖，問答類有點贊數。這兩個模塊接收內容主體的基本信息和內容主體，解析基本信息并編譯成文章頭。內容主體由parse模塊下的Text類解析成markdown形式并返回給這里的調用者。最后模塊將文章頭和主體合成一篇markdown文檔，由外部提供保存路徑保存到本地硬盤。對于回答的內容劃分為各種基本類，如文字、圖片、鏈接、視頻等圖示為視頻類相關代碼說明：Simple類是基類（接口），parse模塊下的所有類都直接或間接繼承了Simple類。凡是直接繼承了Simple類的類都是屬于基本元素類。既內容單一，不能再細分的元素。如圖片類（figure）、視頻類（Video）、代碼類（Code），這些類都是可以直接解析成markdown元素的基本元素。Multilevel類是所用復合類型的基類，這個基類也繼承了Simple類。比如說一個p標簽就是一個Paragraph類，p標簽可以含有a標簽、b標簽等，這些都屬于是復合標簽，也就是復合類型。理論上復合類型還可以相互嵌套，比較復雜，需要逐步向基本類型分解。根據基礎api返回個人信息json文件，樣例如下運行示例如選取話題