最新國家開放大學電大《大數據技術導論》實驗報告實驗3網頁數據獲取數據獲取是數據生命周期中的第一個環節，數據抽取過程是搜索全部數據源，按照某種標準選擇合乎要求的數據，并將其進行適當的格式轉換之后，傳送到目的地中存儲。為了克服被抽取的數據源分布廣泛、異構、非結構化等問題，數據抽取技術和抽取工具應運而生。學習數據科學與大數據技術不僅需要掌握其理論，更重要的是能夠運用工具和方法來完成數據的獲取。.實驗目的通過網頁數據獲取的實驗，學生可以理解網絡爬蟲的工作過程，掌握網頁數據獲取的方法，并能夠靈活運用，進而解決網頁數據獲取的實際問題。.實驗要求理解爬蟲軟件的原理與方法，獨立完成網頁數據獲取的實驗，主要內容如下。(1)前嗅ForeSpider爬蟲軟件安裝。(2)選擇頻道。(3)網頁數據采集過程。.實驗內容(1)制訂實驗計劃。(2)完成爬蟲軟件安裝。(3)選擇網頁。(4)完成爬蟲軟件數據采集過程。.實驗總結通過本實驗，使學生了解爬蟲軟件的特點、總體結構和分類，理解爬蟲軟件程序的執行過程，掌握應用爬蟲軟件獲取網頁數據的方法。.思考拓展(1)結合爬蟲軟件的結構說明其主要功能。(2)通過舉例，說明csv格式文件的特點。(3)應用前嗅ForeSpider爬蟲軟件能夠采集非結構化數據嗎？為什么？(4)我們能夠在網絡上爬取什么數據？答:網頁數據獲取方法如下使用Flume獲取數據Flume安裝部署因為Flume的Agent是運行在JVM上的Java進程，所以Flume的安裝運行需要Java1.7及以上版本的支持,以及對Agent目錄的讀/寫權限。本次安裝的環境為CentOS7,Flume版本為Flume1.8,JDK版本為Java1.8。安裝步驟如下。.下載并解壓Flume。Flume卜載界面如下所示，選擇二進制版本ApacheFlumebinary(tar.gz)中的安裝包，將其下載并解壓到/home/hadoop/software目錄。DownloadApacheFlumeisdistributedundertheApacheLicense,version2.0ThelinkintheMirrorscolumnshoulddisplayalistofavailablemirrorswithadefaultselectionbasedonyourinferredlocation.Ifyoudonotseethatpage,tryadifferentbrowser.Thechecksumandsignaturearclinkstotheoriginalsonthemaindistributionserver.ApacheFlumebinary(tar.gz)apachc-flumc-1.8.0-ApacheFlumesource(tar.gz)apachc-flumc-1.8X)-sre.tar.gzsnt.irp/md5apachc-flumc-1.8.0-srx-targ/.shal apachc-flumc-1.8.0-sretar.gzasc ApacheFlumebinary(tar.gz)apachc-flumc-1.8.0-ApacheFlumesource(tar.gz)apachc-flumc-1.8X)-sre.tar.gzsnt.irp/md5apachc-flumc-1.8.0-srx-targ/.shal apachc-flumc-1.8.0-sretar.gzasc Flume安裝部署.配置環境變量，切換到root用戶，編輯/etc/profile文件。[root@master~]#vim/etc/profile在文件末尾添加以下代碼：ExportFLUME_HOME=/home/hadoop/software/apache-flume-1?8.0~binexportPATH=$PATH:$FLUME_HOME/bin載入環境變量。[root@master~]#source/etc/profile.切換到hadoop用戶，修改flume?env.sh[root@master~]#su-hadoopbin/confFhime安裝部署[hadoop@masterconf]$cpflume-env.sh.templateflume-env.sh[hadoop@masterconf]$vimflume-env.sh.驗證配置是否成功[hadoop@master~]$flume-ngversionSourcecoderepository:Revision:99f591994468633fC6f8701c5fc53e0214b6da4fCompiledbydenesonFriSep1514:58:00CEST2017Fromsourcewithchecksumfbb44c8c8fb63a49be0a59e27316833d[hadoop(?master~]$Fhime簡單應用安裝好Flume