第1頁共19頁第4頁，共19頁通過Python語言的Scrapy框架股票投資規劃的分析系統第一章引言 11.1研究背景 11.2研究意義 11.3系統概述 11.4論文的主要內容及章節安排 2第二章計算機技術與金融知識 22.1計算機相關技術 22.1.1Python語言 22.1.2Scrapy框架 32.2金融知識 52.2.1投資流派的介紹 52.2.2入場時機的判斷 52.2.3白馬股的特征和篩選過程 6第三章系統需求與設計 83.1系統的需求 83.2系統的設計 83.2.1數據收集模塊的設計 93.2.2數據處理模塊的設計 9第四章系統的實現 94.1數據收集模塊的實現 94.2數據處理模塊的實現 11第五章系統測試 125.1測試思路 125.2測試過程 125.3本章總結 15第六章結論 156.1論文總結 156.2改進方向 16摘要：本畢設是一個通過Python語言的Scrapy框架收集數據，并依據一定的金融知識對數據進行篩選，最終給出股票投資規劃的分析系統。通過在股票行情網站的數據的收集和分析，本系統最終可以幫助人在投資股票時做出合理的規劃。本畢設基本完成了預定的計劃，能夠從股票網站中合理的搜集數據，并依照所學金融知識做出分析，逐步篩選數據，基本能夠給出一份依照金融學知識的投資名單。關鍵詞：股票，Python，Scrapy框架第一章引言1.1研究背景二十一世紀以來，我們的生活隨著計算機技術的發展開始了日新月異的變化，計算機技術的應用逐步的改變我們原本的生活，乃至于成為了不可替代的一部分。隨著“互聯網+”戰略的提出[1]，傳統行業與計算機技術的結合已經成為一種必然的趨勢，尤其是與金融產業的結合已經被廣泛的認可和執行。金融產業需要及時的信息交流以及大量的數據處理，而不管是大量數據的搜集，還是對大量的數據進行比較篩選，這些都離不開計算機技術的幫助。同樣的，作為個人，也可應通過應用計算機技術，初步的參與金融行業，其中最常見的行為就是投資股票。一方面，投資股票市場有利于國家經濟的發展，第一，股市是國家經濟支撐的重要部分；第二，股市是融資市場，也是投資市場；第三，炒股是需要交手續費的，每交易一次都會交相對應的手續費[2]。另一方面，投資股票市場可以幫助自己抵御風險。比如2020年突發的新冠疫情導致經濟下行，如果有相應的副業以作支撐就可以比較成功的抵御風險，其中投資股市由于分散精力少是很適合成為副業的。 綜上，投資股票市場既有利于國家經濟發展，又有能幫助個人進行風險規避，最重要的是在計算機技術的發展和支持下，個人有能力對自己的投資做出合理規劃，所以可以預計，未來會有越來越多的人投身股市。1.2研究意義根據Mob研究院的數據，2020年股民規模已經破億，95后的股民已經進入股市，其中約有一半人的月收入在5000元以下，一半人的學歷不足本科[3]。有相當多的人不能輕松承擔炒股可能的風險，或是缺乏一定的金融知識難以對自己的投資做出合理規劃。所以如果能依據一定的金融學知識，幫助他們做出合理的股票投資規劃或是給出一些參考意見，不僅有利于他們自身的經濟狀況的改善，更進一步說，能夠更好的幫助整體金融產業的發展，使得投資更加集中于優質的公司，對整體經濟起到促進作用。1.3系統概述 本系統主要是基于Python的Scrapy框架進行開發和設計的。本系統基本步驟為從雪球網[5]合理的獲取足夠的股票信息，然后對這些數據逐步的篩選，最后得出可供選擇的投資名單。其中，收集信息步驟分為用Scrapy框架構建爬蟲，調整爬蟲參數以獲取數據，然后對數據做初步處理以方便后續篩選。在具體的數據處理階段，主要分為四個步驟：根于ROE（凈資產收益率）篩選，剔除周期股票，剔除業績下滑的股票，最后檢驗數據的真偽，剔除數據造假的股票。最終的結果是得出一個股票的建議投資名單。以上步驟的依照原理和具體操作，會在后續論文中詳細寫明。1.4論文的主要內容及章節安排論文章節安排如下：第1章：介紹我國金融展業與計算機技術緊密結合的時代背景，以及畢設意義所在，并介紹本論文的章節安排。第2章：介紹系統開發過程中用到的計算機技術和金融知識。第3章：介紹了系統的需求和基本設計。第4章：詳細介紹了系統的實現過程。第5章：對系統的數據收集功能和數據分析功能進行測試。第6章：對于研究過程做出總結，分析本系統進一步發展的可能和方向。第二章計算機技術與金融知識2.1計算機相關技術2.1.1Python語言Python是由GuidovanRossum從八十年代末開始，最終在荷蘭國家數學和計算機科學研究所設計出來。它是一種面向編程邏輯，并使用第三方庫來完成程序運行的語言，尤其善于解決各種問題的計算部分的實現，適用面十分廣泛[6]。Python語言特點：（1）通用性：可以用于普世的計算問的求解，不局限于某一特定領域的應用，故此python語言的通用性是它最顯著的特點。（2）可讀性：通過縮進實現的強制可讀性，使得編寫的代碼干凈整潔，邏輯清晰。由于編程思維幾乎與人類日常生活中的思維習慣一致，所以非常適合人類閱讀。（3）易于編寫：Python語言有較少的底層語法元素，并且不去操作內容，所以非常易于編寫。（4）面對對象：Python既支持面向過程的函數編程也支持面向對象的抽象編程。（5）跨平臺性：大多數的Python程序即使不做任何改變，也可以可在主流計算機平臺上運行。這無疑簡化了我們的開發流程。（6）第三方庫：Python擁有大量的第三方庫，這些庫是由全世界的Python使用者在自己的工作中逐漸形成的，并且第三方庫的數量依然在逐年快速的增長。這些庫開源開放，任何人只需要很簡單的操作，就可以安裝并使用這些庫。使用第三方庫可以減免很多重復的操作，提高工作效率，有利于整個python生態長期向好[6]。2.1.2Scrapy框架Scrapy框架是一個功能強大并且運行快速的網絡爬蟲框架，是基于Python實現網絡爬蟲的重要技術路線[7]。Scrapy框架一共包含7個部分，其中5個部分為框架的主體部分，另外兩個為中間件。5個主體部分為Engine模塊，Scheduler模塊，Downloader模塊，Spider模塊和ItemPipeline模塊。在Engine模塊和Spider模塊之間，以及Engine模塊和Downloader模塊之間，有兩個中間件模塊，分別是DownloaderMiddlewares和SpiderMiddlewares。這些模塊行程的結構一般稱為“5+2”結構，他們共同構成了Scrapy框架[7]。其中Engine模塊，Scheduler模塊，Downloader模塊在建立框架是就已經實現，他們分別實現以下功能：Engine模塊：負責Spider模塊、ItemPipeline模塊、DownLoader模塊、Scheduler模塊中間的數據傳遞。Scheduler模塊：負責接受Engine模塊發送過來的Request請求，并按照既定的方式對Request請求進行調度，然后交還給Engine模塊。Downloader模塊:負責處理Engine模塊發送過來的Request，真實地連接互聯網并爬取數據，將獲取的數據封裝為Response返還給Engine模塊。而Spider模塊和ItemPipeline模塊則需要用戶進行配置。他們分別實現以下功能：Spider模塊：負責解析Downloader模塊返回的Response，產生Item（爬取項）和新的Request（爬取請求）。（2）ItemPipeline模塊：負責以流水線方式處理Spider模塊產生的Item。用戶提交的網絡爬蟲請求以及從網絡上獲取的相關信息等一系列數據，在這些模塊之間流動，形成數據流，其中有三條數據流為主要的數據流路徑。從Spider模塊開始，經過Engine模塊到達Scheduler模塊。在這條路徑中，Engine模塊從Spider模塊中獲得用戶的請求，然后轉發給Scheduler模塊。Scheduler模塊對爬取請求進行調度。從Scheduler模塊開始，經過Engine模塊到達Downloader模塊。然后再從Downloader模塊傳回Engine模塊，最終到達Spider模塊。在這條路徑中，Engine模塊從Scheduler模塊獲得即將要爬取的網絡請求，通過DownloaderMiddlewares中間件發動給Downloader模塊。Downloader模塊真實的鏈接互聯網，并爬取相關的網頁。爬取結束后，Downloader模塊將所爬取的內容封裝為Response 傳給Engine模塊，最后再通過SpiderMiddlewares中間件發送給Spider模塊。從Spider模塊開始，經過Engine模塊到達ItemPipeline模塊以及Scheduler模塊。Spider模塊首先處理從Downloader模塊獲得的Response ，產生兩個數據類型，分別為爬取項Item和新的爬取請求Request。Engine模塊收到從Spider模塊發送的爬取項Item和新的爬取請求Request之后，將Item發送給ItemPipeline模塊，將Request發送給Scheduler模塊，從而為后續的數據處理，以及新的網絡爬蟲請求做好準備[7]。由以上三條主要路徑可以得出，Engine模塊中樞控制各個模塊的數據流，整個框架的執行是從向Engine模塊發送請求開始，到ItemPipeline模塊獲得數據為止[7]。所以在正式使用Scrapy框架時，只需先編寫Spider模塊和ItemPipeline模塊，就可以順利進行工作。2.2金融知識2.2.1投資流派的介紹股票投資有很多不同的流派，其中自主要的有五個，分別是技術投資派，宏觀投資派，有效市場派，成長投資派和價值投資派。他們的基本介紹如下：技術投資派：以某只股票的價格當前走勢為依據，預測此股票未來的漲跌。宏觀投資派：認為市場向好，則股市向好，故研究經濟就可以指導投資規劃。有效市場派：認為市場絕大多數情況下對股票的定價是正確的。成長投資派：關注公司的未來是否會有足夠高的增長。價值投資派：關注公司的現在是否有足夠低的價格[8]。其中技術投資派需要猜測市場情緒，宏觀投資派需要研究國家經濟，有效市場派則需要從各種渠道獲得消息，這三種投資流派對于普通個體來說很難進行實際操作。而另外兩種流派都是關注與公司本身的，一個側重于公司未來的發展，尋找資質優秀的公司與他共同成長；另一個側重于尋找當前價格被低估的公司，低價買入，等市場發現他們的價格是再以高價賣出。由于數據需求量小，具體數據內容基本公開，所以這兩種方法都適合一般個體進行實際操作，在有足有的數據支撐的前提下，成長投資派的收益一般會高于價值投資派，而且操作過程更為簡便。所以，系統依照成長投資派的操作原理和處理方式進行開發。2.2.2入場時機的判斷我們投資股票的獲益機制為在于在股票便宜時買入，在價格升高后視情況賣出，所以判斷一個只股票當前的價格高低是投資的基礎。判斷的主要依據是市盈率PE和市凈率PB。其中：市盈率PE=市值凈利潤 市凈率PB=市值凈資產市值為購買本公司所需財產，凈利潤為公司一年的盈利，凈資產為公司當前財產。[8]所以從公式可以的得出，市盈率是回本的時間，市盈率越低，則越能快速的賺回本金并開始盈利；市凈率相當于購買本公司的價格與公司當前資產的比值，數值越低，說前公司當前市場價格越低，越有投資價值。綜上，當PB或者PE處于較低的價格時，則這只股票有投資價值。既然單個股票可以通過的PE和PB來判斷，那么把股市看做一個整體，計算整體的PB和PE，有：市盈率（全體）=市值總和凈利潤總和 市凈率（全體）=就可以對當前的股市的大環境有一個初步的判斷。 由于股市的中重要的主體為滬深300和中證500，這800只股票基本決定了當前的大環境，隨意只需要判斷這800只股票的總市盈率和市凈率，就可以進而判斷整個股市是否應該入場。最后，由于PB和PE是反映某個股票當前的狀態，所以不同股票互相之間比較沒有意義，應該把一只股票的不同時期的PB的PE進行對比，將最高點和最低點作為基準，判斷當前的數值在一段時間以來所處的位置，用百分比來表示。同樣的，這個思路一樣可以拓廣到整體股市以及決定性的800只股票。最終就得到了我們判斷當前是否應該進行投資的依據。即滬深300和中證500這兩個整體的任意一個整體滿足PE處于近十年數值的0-50%區間內并且PB處于近十年數值的0-20%區間內，當前市場適合投資。2.2.3白馬股的特征和篩選過程我們選取的投資流派是成長投資流派，這種流派的核心是找“白馬股”并對白馬股進行長期跟蹤和投資。所以我們需要先明確什么才是“白馬股”?！鞍遵R股”的特點有以下三個：投資回報率高長期業績優秀信息相對可靠[9]以上三點必須同時滿足才可以認定為“白馬股”，一旦不再同時滿足上述三個特點，則不再是“白馬股”，需要果斷出手。依照這些特點，我們就可以從眾多股票中篩選出“白馬股”，并對他們進行長期投資了，下面介紹詳細的篩選步驟。首先，白馬的第一個特點為投資回報率高，回報率的公式如下：投資回報率=賣入價格賣出價格而如果是長期投資，則年化復合收益率如下：年化復合收益率=賣入價格賣出價格^以長期投資為前提，一只股票的回報率與凈資產收益率密切相關凈資產收益率（ROE）=凈利潤凈資產（2.5由于成長投資流派是長期投資，而在長期投資時，ROE近似等于年化符合收益率，是故選擇ROE長期高的股票，就能夠實現長期的獲益。所以篩選“白馬股”的第一個步驟為篩選ROE連續7年≥15%的股票。其次，“白馬股”第二個特點為長期業績優秀，所以我們之后的步驟為剔除周期股和業績下滑的公司。首先是剔除周期股。周期股是指業績緊隨著經濟周期而起伏的公司的股票。這種公司目前來看，甚至一段時間來看業績優秀，單會隨著經濟周期不可逆轉的下滑，而判斷經濟周期是何時上升何時下降極為困難，而且需要時時密切關注，在判斷出周期性下行到來時及時拋售。這種做法不符合我們成長投資流派的操作理念，所以刪除全部的周期股票。由于一只股票是否是周期股基本由公司本身所處行業決定，所以只需要判斷公司行業就可以快速高效的刪除周期股。一般認為，以下四類行業的股票為周期股：（1）作為工業基礎原材料的大宗商品相關行業，比如采掘服務、鋼鐵、化工合成材料、化工新材料、石油礦業開采、有色冶煉加工和化學制品等。（2）航運業，比如遠洋運輸、港口航運、機場航運、交運設備服務等。（3）非生活必需品行業及與之相關的行業，比如國防軍工、汽車整車、汽車零部件、建筑材料、建筑裝飾、房地產等。（4）非銀行的金融行，比如證券，保險等。[8]依據股票所屬行業，直接刪除屬于上述四類的股票即可。然后是剔除業績下滑的公司，這些公司雖然不是周期股票，凈資產收益率也常年大于15%，但是目前已經有了業績下滑的現狀，需要盡早剔除。判斷公司業績下滑的依據有以下方面：年度營收增長率=本年的營業收入?去年的營業收入去年的營業收入（2.6年度凈利潤增長率=本年的凈利潤?去年的凈利潤去年的凈利潤（2.7季度營收增長率=本季度的營業收入?去年同季度的營業收入去年同季度的營業收入（2.8季度凈利潤增長率=本季度的凈利潤?去年同季度的凈利潤去年同季度的凈利潤（2.9以上四個指標，只要有一個為負數，明該公司業績已經下滑，應該及時剔除。最后，由于“白馬股”的第三個特點為信息相對可靠，我們需要檢驗當前股票列表中股票的數據真實性，最后一個步驟即為用小熊定理檢驗。一般來說，股票的數據造假有一下幾種可能：公司真貨假賣，雖然營業收入很高，但實際貨物并沒有賣出。公司存貨造假。公司有破產可能。對于以上三種造假方式，我們可以用以下三條定理來一一檢驗。小熊定理一：連續兩年應收賬款上升幅度大于營業收入上升幅度，則有真貨假賣風險。其中應收賬款為企業賣產品給客戶，但還未收的錢，也就是客戶簽的白條。營業收入為企業賣產品獲得的收入。小熊定理二：連續2年存貨增長大于營業收入增長有可能存貨造假。小熊定理三：流動負債大于流動資產，則有可能破產。其中流動負債為一年內必須要還的錢，如應付賬款、短期借款等。流動資產為一年內可變現的資產，如貨幣資金、存貨、預付款項[8]。第三章系統需求與設計3.1系統的需求由于最后的輸出結果為一份可供參考的股票投資名單，所以從結果倒退需求，我們的系統首先需要大量的股票數據以從中選取“白馬股”，然后需要能對于大量股票的數據進行分析以得出列表。所以系統主要由兩個模塊，分別為數據收集模塊和數據分析模塊。數據收集模塊方面，我們要有能力對于網上公開的數據進行收集和整理，所以需要一個Scrapy爬蟲來爬取數據，并對數據做初步整理。至于數據的分析方面，由于我們的操作過程其實是根據股票的數據，決定是否從股票的列表中將其剔除，所以事實上我們需要編寫一個程序以遍歷一個二維數據并對每一行做操作，這個需求可以用Python語言調用csv庫來實現。3.2系統的設計3.2.1數據收集模塊的設計本模塊需要構建Scrapy爬蟲以爬取股票相關網站，并最終輸出csv文件以便于后續數據處理?；具^程為安裝Python環境并下載和安裝Scrapy框架相關第三方庫。然后建議一個Scrapy爬蟲框架，配置Spider模塊和ItemPipeline模塊，使其可以對相應網站進行數據的爬取和輸出爬取項目，最終輸出csv文件。3.2.2數據處理模塊的設計首先是對于上述得出的csv文件進行補充，由于本人能力代碼有限，加之股票網站以當前數據為主，而很少顯示往年數據，所以需要通過愛問財網站[4]進行數據的填補。由于數據處理的過程依照篩選白馬股的四個步驟，所以通過Python語言調用csv庫實現處理二維數組即可實現，編寫工具為Pycharm。為了保證最后得出數據的可信度，每次做數據篩選時，都需要生成并保留當前篩選文件，以便后續查閱。第四章系統的實現4.1數據收集模塊的實現首先從Python官網下載安裝包并安裝，本次開發使用的是Python3.7版本。然后安裝Scrapy框架，直接通過pip命令操作，輸入pipinstallscrapy，安裝結束后然輸入scrapy-h，對Scrapy框架的安裝進行測試，正常輸出操作說明則安裝成功，前期準備工作完成。之后，則是新建Scrapy工程文件，首先用cd命令進入選定地址開始創建，輸入scrapystartprojectwork，work為工程名。之后在工程文件下創建爬蟲，輸入scrapygenspiderstockquote，Stock為爬蟲名稱。進入先前選定文件夾，發現基本的框架已經生成，接下來只需要配置stock.py,piplines.py,settings.py這三個文件，確保可以正確的從網站爬取數據即可，對這三個文件的配置是本模塊設計的關鍵，下面對三個文件的配置思路和細節進行詳細解釋：（1）stock.py文件：stock文件關聯Spider模塊，我們需要讓他可以正確的向Engine模塊發送Request，由于個人代碼能力有限以及部分股票網站的存在反爬設計，所以最后選擇雪球網進行爬取，雪球網額的網址基本格式為股票代碼（例如SZ300783），所以我們將股票代碼依次輸入到S/之后，即可訪問雪球網全部股票的具體數據。股票的具體代碼可以通過愛問財網站[4]直接搜索并下載。然后查看網頁源代碼，發現我們所需要的具體信息在源代碼之中，如圖。3.1網頁源代碼中的具體信息首先用response函數獲取網頁代碼，然后新建字典變量以存儲關鍵信息。已知網頁中的具體信息是以表格形式存儲的，所以為從圖中代碼獲取關鍵信息，我們可以用BeautifulSoup庫對這段代碼進行解析并提取數據。然后利用循環遍歷表格，并將關鍵數據寫入字典保存，關鍵代碼如下：獲取網頁代碼：name=re.search(r'<divclass="stock-name">(.*?)</div>',response.text).group(1)獲取表格信息：tableHtml=re.search(r'"tableHtml":"(.*?)",',response.text).group(1)用BeautifulSoup庫對表格解析：soup=BeautifulSoup(tableHtml,"html.parser")table=soup.table最后循環遍歷表格，寫入字典：infoDict.update({l[0].__str__():l[1].__str__()})至此，stock文件配置完畢。（2）piplines.py文件：此文件關聯ItemPipeline模塊，配置的重點在于正確處理接受的數據。主要操作有在使用爬蟲時，打開文件；關閉爬蟲時，關閉文件；使用爬蟲時，處理文件。第三點為編寫重點，并且為后續數據處理方便，同時輸出csv文件：3.2在打開文件時的具體操作，輸出csv文件（3）最后對setting.py文件做處理，使得能夠正常訪問網站并爬取數據，文件中已經寫好大量的配置方案，對其修改即可，修改內容如下：ITEM_PIPELINES={'work.pipelines.stockPipeline':300,}至此，Scrapy的配置結束，可以進行網頁的訪問與內容的獲取。數據搜集模塊的功能實現。4.2數據處理模塊的實現首先安裝Pycharm，然后建立select.py文件對數據進行處理。調用csv庫，方便后續對csv文件進行操作：importcsv然后我們每次的操作均為根據特定數據符合情況與否，判斷整個一行數據的去去留，所以每次操作的代碼基本按照下方模式編寫：（1）明確兩個文件，a為進行數據篩選的文件，b為將相應數據寫入的文件old_path='./a.csv'new_path='./b.csv'（2）打開兩個文件進行操作：withopen(old_path,'r',encoding='utf-8')asold_f,\open(new_path,'w',encoding='utf-8')asnew_f:f_csv_old=csv.reader(old_f)f_csv_new=csv.writer(new_f,lineterminator='\n')（3）進入循環，對二維函數的每一行進行遍歷：fori,old_rowinenumerate(f_csv_old):判斷條件是否符合：（a）如果是對數據判斷：iffloat(old_row[a])>=x特定數據是否滿足條件，注意使用float函數使得表格中的數據可以進行操作。（b）如果是對文字判斷，如剔除周期股：周期股相關參數有三個詞語，使用“-”相連接，定義flag=1。提取參數list=old_row[2]剔除間隔符號content_list=list.split("-")然后用循環判定是否存在帶有周期股特征的詞語，如果不存在，則flag+1。最后當且僅當flag=4，即3個詞語均與周期股無關時，寫入新文件。將符合條件的數據寫入新文件：f_csv_new.writerow(old_row)按照上述格式，依次完成篩選ROE大于等于15%，剔除白馬股，剔除業績下滑股票，檢驗數據安全四步操作，則數據分析系統實現完畢。第五章系統測試5.1測試思路 運行Scrapy爬蟲框架，從雪球網（/S/）獲取數據，并對數據進行初步處理，輸出csv文件。 運行sclect.py，對數據進行篩選，逐步剔除ROE不足15%,周期股，業績下滑的股票，以及最終用小熊三定理檢測出數據不真實的股票。最終獲得一份值得投資的股票列表。5.2測試過程運行爬蟲，輸入scrapycrawlstock圖4.1爬蟲部分運行過程得出數據，以待進一步處理。圖4.2stock爬蟲得到的txt文件和csv文件由于后續分析需要很多往年數據，而爬取往年數據難度過大，所以手動搜索對數據進行填充，可以直接在愛問財網站輸入需要的數據進行下載。圖4.3通過愛問財網站進行數據補充圖4.4處理后的數據在整合數據之后，運行select.py，對數據進行處理，結果如下圖4.4