企業產品相關評價采集企業產品相關評價的采集

本實例采集網站為“蘇寧易購”手機列表頁，篩選標題中包含“免息”兩個字的內容并單擊，進入詳情頁后采集標題、價格、評價人、評價內容、來自客戶端、評價時間、有用數、回復數等信息。步驟1：新建自定義采集任務

翻頁設置。在自定義采集模式下的瀏覽器窗口中對網頁進行翻頁操作，直至出現“下一頁”按鈕，單擊該按鈕，在“操作提示”面板中單擊“循環點擊單個鏈接”選項，如圖所示。對網頁進行翻頁操作過程中，系統會自動設置“Ajax超時”選項。步驟2：輸入實例網址并保存網址步驟3企業產品相關評價的采集步驟4

滾動頁面設置。此時，發現蘇寧列表詳情頁后續商品必須翻到指定位置后才會進行加載，需要設置滾動頁面。任務中，需設置滾動翻頁的步驟有兩處，分別為“打開網頁”和“點擊翻頁”操作。“打開網頁”步驟設置“滾動頁面”是為了讓網頁打開完成后滾動到下方加載完第一頁所有數據，“點擊翻頁”步驟設置“滾動頁面”是為了讓第一頁以后的每一頁都可以把數據加載完。具體操作方法是，選擇“點擊翻頁”模塊后會有虛框包圍，在設置界面中選中“滾動頁面”右側的“頁面加載完成后向下滾動”復選框，根據該網頁加載方式設置“滾動次數”為5次，“每次間隔”為1秒，“滾動方式”為“直接滾動到底部”。注意該任務的“打開網頁”模塊及“要點擊的元素”下的“自動重試”需取消勾選，因為該網頁使用Ajax加載方式，Ajax加載方式和自動重試不要同時選擇。企業產品相關評價的采集步驟5

詳情頁設置。單擊進入詳情頁設置界面，在瀏覽器窗口中確定商品全部加載完，連續單擊兩個商品標題，確定所有標題均被選中，單擊“操作提示”面板中的“循環點擊每個鏈接”選項，可在流程圖中出現循環框和“點擊元素”模塊。企業產品相關評價的采集步驟6

篩選包含“免息”字樣標題。該步驟需要使用判斷條件功能，從工具欄中拖動“判斷條件”至循環框中的“點擊元素”模塊內，判斷條件篩選設置如圖所示。將“點擊元素”模塊拖至左側的“條件分支”中，并在右側選擇“當前循環項包含文本”單選項，在“包含文本”輸入框中輸入“免息”。該步驟實現對每個標題進行判斷，只有包含“免息”文字的標題才會打開詳情頁。企業產品相關評價的采集步驟7

加載評價內容。單擊詳情頁中的“評價”選項后，單擊“操作提示”面板中的“點擊該鏈接”選項，在上方的流程圖中生成“點擊元素”模塊，如圖所示，并已自動設置Ajax加載。企業產品相關評價的采集步驟8

評價翻頁。翻動瀏覽器窗口，找到評價翻頁內容，單擊“下一頁”按鈕，在“操作提示”面板中單擊“循環點擊下一頁”選項，流程圖中生成“循環翻頁”模塊，修改“Ajax超時”的時間為2秒，如圖所示，作用是加載所有評價。企業產品相關評價的采集步驟9

循環提取字段。選擇兩條評價內容，系統會自動選擇該頁的所有評價，單擊“操作提示”面板中的“采集以下元素文本”選項，刪除生成的“提取數據”模塊中的字段，添加標題、價格、評價人、評價內容、來自客戶端、評價時間、有用數、回復數及頁面網址字段，添加方式為將鼠標指針移動到所需內容，待內容變藍后單擊，選擇“采集該元素的文本”選項即可。企業產品相關評價的采集步驟9

注意該步驟需要選擇當前評價內容，當前評價內容會以紅線邊框包圍，如圖所示，需要在紅線邊框內容里選擇提取字段。如果希望調整紅線邊框的位置，可在循環提取中選擇對應內容后，單擊“提取數據”模塊，即可改變紅線邊框的位置。企業產品相關評價的采集步驟10

格式化數據。格式化數據的目的是將提取內容中無用的部分去除，包括來自客戶端字段的“來自：”、有用數以及回復數的“（）”。格式化數據的操作方式如圖所示。選中需要格式化的字段，單擊下方的“自定義數據字段”按鈕，在彈出的界面中選擇“格式化數據”選項，進入格式化界面，單擊“添加步驟”按鈕，在打開的“請選擇一個操作”對話框中選擇“替換”或“正則表達式替換”選項，將“來自：”“（”“）”替換為空，即進行刪除。企業產品相關評價的采集步驟11

開始采集。單擊左上方的“開始采集”按鈕，在彈出的“運行任務”對話框中單擊“啟動本地采集”按鈕進行采集。企業產品相關評價的采集步驟12

數據導出。采集完成后單擊下方的“導出數據”按鈕，在彈出的