第10卷，第3期侵蝕您的利潤網絡爬蟲程序對電商行業有何影響目錄報告的關鍵見解6 9 9 11 AI14 16 您知道嗎？超過一半的網絡流量都來自于爬蟲程序。特別是商業垂直行業，由于該行業依賴Web應用程序和資產創收，因此他們受高風險爬蟲程序流量的影響最大（圖1）。盡管我們常常聽到爬蟲程序在不斷進化，但當前的電子商務類企業特別關注的是網絡抓取類爬蟲程序，因為它們的經濟影響往往隱藏在表面之下，與其他類型的爬蟲程序截然不同。隨著人工智能(AI)僵尸網絡和無界面瀏覽器技術的崛起，抓取類爬蟲程序越來越難以檢測，也就變得極其難以躲避。舉個例子，Akamai的一家電商客戶在不知不覺中攔截的高達99%的高風險流量就源自于抓取類爬蟲程序。每月的爬蟲程序請求數量：三大垂直行業2023年1月1日–2024年3月31日BotBotRequestCount

Commerce

HighTechnology

FinancialServices20242024年| 2100B0B120232024全球商業垂直行業的爬蟲程序流量呈現出上升趨勢因此，在這份《互聯網現狀》(SOTI)報告中，我們將聚焦于這些爬蟲程序及其操縱者的演變與專業化趨勢。盡管爬蟲程序的存在由來已久，但我們依然觀察到各種非法團伙在利用這種手段來實施犯罪攻擊、欺詐活動以及竊取競爭情報。最近，我們觀察到爬蟲程序的使用呈現普遍增長的趨勢，其中抓取類爬蟲程序對企業造成的負面影響正在加劇。本報告旨在提供技術見解和應對策略，以加深整個商業行業對這一日益嚴峻問題的認識。|103期20242024年| 3爬蟲程序：良性、惡意和中性每家以電商為主的大型企業都面臨著爬蟲程序帶來的挑戰，這些爬蟲程序不斷演變進化，變得更加專業化，以實現其攻擊目的。在商業垂直行業中，存在著各種各樣的爬蟲程序，它們各自承擔著不同的任務。為了方便理解，可以將它們分為三類：良性爬蟲程序、惡意爬蟲程序和中性爬蟲程序。良性爬蟲程序有助于客戶找到您的網站。惡意爬蟲程序則出于惡意目的從您的網站抓取內容。中性爬蟲程序往往比較活躍，但仍然是合法的。它們實際上是良性爬蟲程序的一個子類（比如頻繁發送ping回顯請求的合作伙伴爬蟲程序或頻繁發出調用請求的程序API）。考慮到聊天機器人和搜索引擎類爬蟲程序所帶來的諸多益處，比如回答用戶的基本問題和提供能夠返回更準確搜索結果的網站內容，我們希望在控制IT成本的同時，能夠優化這類爬蟲程序的性能。對于那些惡意爬蟲程序，比如未經授權嘗試訪問客戶帳戶以進行帳戶接管的撞庫爬蟲程序，我們希望在不損害整體客戶體驗的前提下采取防范措施。近期，網絡抓取類爬蟲程序已成為亟待解決的一大難題，它們會導致收入減少、忠誠度下滑，以及成本不斷攀升。抓取類爬蟲程序是一種用于直接從互聯網的網站上提取數據和內容的僵尸網絡，它非常特別。網絡抓取類爬蟲程序引起了人們的高度關注，因為它們的運作方式、對業務的影響以及檢測難度都有別于其他爬蟲程序。網絡抓取類爬蟲程序的應用場景也多種多樣，具體取決于企業和爬蟲程序操縱者如何利用這些爬蟲程序收集的信息來創收。不論具體的目標為何，抓取類爬蟲程序都會導致收入減少、IT成本攀升以及整體客戶體驗降低。在這份SOTI報告中，我們探討了內容抓取對電商行業的影響，并分析了為何相關的業務負責人（如數字、營銷、品牌、財務、風險和安全等領域）應共同關注并采取措施來遏制濫用的抓取類爬蟲程序。為了更好地摸清這些影響，我們需要深入了解網絡抓取類爬蟲程序的演變動因、使用目的、運行機制及其所帶來的影響，同時探討商企可以采取哪些措施來應對這一問題。|103期報告的關鍵見解網絡內容抓取不僅僅關乎欺詐或安全問題，它還是一個商業問題。抓取類爬蟲程序會對企業的多個關鍵方面產生負面影響，包括減少收入、削弱競爭優勢、損害品牌形象、降低客戶體驗、增加基礎架構成本以及破壞數字化體驗，不一而足。根據Akamai的案例研究，我們發現42.1%的流量活動來自爬蟲程序，而在這些爬蟲程序流量中，高達65.3%的流量來自惡意爬蟲程序。總計有63.1%的惡意爬蟲程序流量運用了先進的技術。無界面瀏覽器技術改變了抓取類爬蟲程序的現狀，為了管理這種爬蟲程序活動，我們需要一種比其他基于JavaScript的抵御措施更為精細的策略。無論抓取類爬蟲程序是出于惡意還是善意目的抓取企業數據，都可能導致企業遭受包括網站性能下降、網站指標污染、網絡釣魚網站發起的盜用憑據攻擊，以及計算成本攀升等技術影響。觀察和了解不同的流量模式至關重要，這有助于我們判斷一個網站是吸引了人類訪客、基礎爬蟲程序還是復雜的爬蟲程序流量。這些模式包括晝夜波動、間歇性和連續不斷。|103期

2024年| 4良性爬蟲程序與惡意爬蟲程序的對比我們首先了解基礎知識：爬蟲程序，也稱為“機器人”，它是一種計算機程序，能夠比人類更迅速、更準確地執行自動化任務。爬蟲程序根據其角色和類型，主要可以分為兩大類：良性爬蟲程序和惡意爬蟲程序（圖2）。為了簡化這種比較，我們將中性爬蟲程序與良性爬蟲程序合并，因為中性爬蟲程序實際上是良性爬蟲程序的一個子類。ChatbotsMonitoringbotsSearchenginebots“Crawl”contentChatbotsMonitoringbotsSearchenginebots“Crawl”contentShoppingbotsWebscrapingbotsReadandcollectdataGoodBotsCredentialstuffingbotsLeadtostolenuseraccountsandidentitytheftDDoSbotnetsDownloadbotsFile-sharingbotsInventoryhoardingbotsExample:sneakerbotsSocialmediabotsMaytrytoswaypublicopinionorspreadmisinformationSpambotsTrafficbotsWebscrapingbotsBadBots圖2：良性爬蟲程序和惡意爬蟲程序的并排比較以及示例良性爬蟲程序是有助于提供工具和服務的實用爬蟲程序。而與之相對的，惡意爬蟲程序是指被網絡犯罪分子和欺詐者惡意利用的爬蟲程序。流量爬蟲程序就是一個典型的惡意爬蟲程序示例，它通過模擬人類在線行為來增加網站的點擊量和流量（例如，實施廣告欺詐）。網絡內容抓取爬蟲程序有善有惡。關鍵在于企業如何運用這些爬蟲程序收集的信抓取類爬蟲程序相關的各種應用場景，包括其帶來的正面和負面影響。|103期

2024年| 5抓取類爬蟲程序的基本概念網絡內容抓取是電商企業廣泛使用的一種技術。以旅游和酒店行業為例，旅游聚合商從酒店和航空公司合作伙伴的網站上抓取動態內容，從而獲取最新的供應情況和價格信息。這種抓取行為是有利的，當真實的用戶想要進行預訂操作時，企業會采取一系列常見的爬蟲程序控制措施，以限制抓取類爬蟲程序。企業還會借助數據提取服務提供商，從競爭對手那里收集潛在客戶和其他相關的信息。此外，抓取類爬蟲程序還可以用于分析數據以識別趨勢。抓取類爬蟲程序還有助于審查網站內容，從而改進在線產品和服務的質量，以及讓潛在消費者能夠通過搜索引擎等途徑，更便捷地找到公司的產品。所有這些行動都能增強企業的競爭力。然而，我們也不能忽視一個事實，那就是許多實體出于不那么高尚的目的而使用了抓取類爬蟲程序。抓取類爬蟲程序引起關注，客戶開始警覺令人遺憾的是，我們時常聽聞消費者不慎成為網絡釣魚騙局的受害者。在這種情況中，詐騙者可能會利用抓取類爬蟲程序來抓取產品圖像、描述和定價信息，從而創建虛假的店面或網絡釣魚網站，企圖騙取帳戶憑據或信用卡信息。這些網絡釣魚/假冒網站是品牌仿冒的一種手段，它們濫用受害企業的知識產權，以此騙取潛在客戶的信任。2024年| 6|2024年| 620242024年| 7目前，全球一些大型電子商務品牌已經遭受了假冒網站、網絡釣魚活動的侵害，也曾因在品牌仿冒活動中公司網絡數據被竊取而蒙受損失（圖3）。不幸的是，當網絡釣魚網站得手時，這會導致合法品牌失去客戶的信任與忠誠度。圖3：某些大型電子商務公司成為品牌仿冒活動受害者的示例抓取類爬蟲程序屬于網絡內容抓取技術的一種，它們能夠抓取網站上銷售的產品，將其搶購一空，讓合法客戶失去購買機會（圖4）。抓取類爬蟲程序應用場景通過抓取您的內容從中獲利COMPETITIONCompetitorsuseinformationfromyourCOMPETITIONCompetitorsuseinformationfromyoursitetoundercutyourpricing,makechangestotheiroffers,andgetasenseofnewopportunitiesandthreatsSCALPERSScalpersconstantlypingyoursitelookingforproductstobecomeavailable&thenaddthemtocarts,makingthoseproductsunavailabletocustomersCOUNTERFEITERSCounterfeitersuseyourcontenttomakefakesites&productcatalogstotrickusersintothinkingthey’rebuyingyourgoodsinsteadofcounterfeits圖4：抓取類爬蟲程序應用場景|103期執行這類惡意抓取活動的攻擊者非常清楚，他們的惡意行為對受害者將造成多么嚴重的影響。這些影響包括競爭情報/間諜活動、庫存囤積/搶購、仿冒和冒牌網站/商品，以及媒體網站搜索和轉貼的負面影響（表1）。而且，目前還沒有明確禁止使用抓取類爬蟲程序的法律。影響說明競爭情報/間諜活動競爭對手利用企業網站上的信息來壓低價格，改變自身報價，并了解新機會和威脅。庫存囤積/搶購黃牛黨不斷向目標網站發出ping回顯請求，從中尋找有貨的產品，然后將其添加到購物車中，導致真正的客戶買不到這些產品。仿冒和冒牌網站/商品仿冒者利用抓取到的內容制作虛假網站和產品目錄，以此誘騙用戶，導致用戶誤以為買到的是合法商品，而非仿冒商品。媒體網站搜索和轉貼攻擊者可以爬取新聞文章、博客和其他內容，并將其發布到自己的網站上，從而分掉原公司的訪問流量和潛在的廣告收益。廣告投放率通常根據網站的訪客/受眾量來設定，因此，當訪客數量減少時，媒體網站就會錯失通過原本較高的廣告投放率帶來的潛在收益。表1：網絡抓取類爬蟲程序故意造成的負面影響2024年| 8|2024年| 820242024年| 9網絡內容抓取的一般附帶后果不論網絡內容抓取的意圖為何，企業都需要應對其副作用所帶來的成本。一些公司可能會為有價值的抓取服務支付費用，然而，那些被抓取內容的公司也需要自行承擔由此產生的代價。這些代價包括反爬蟲解決方案費用，以及網站性能下降和關鍵指標被污染所帶來的負面經濟影響（表2）。影響說明增加服務器、CDN和云成本，為爬蟲程序流量提供服務這不僅會影響收益，還可能因為競爭對手、攻擊者以及仿冒者利用抓取到的內容，給聲譽造成損害。網站性能降級由于抓取類爬蟲程序會持續運行，一直到最終停止，所以它們會增加服務器成本和交付成本，導致企業為不需要的爬蟲程序流量提供服務，并降低用戶體驗，例如網站響應速度緩慢、應用程序性能低下。關鍵指標污染未被發現的爬蟲程序活動會嚴重影響網站轉化率等關鍵指標，而業務團隊需要依靠這些指標來做出有關產品定位戰略和營銷活動的投資決策。表2：網絡抓取類爬蟲程序無意造成的負面影響出租抓取類爬蟲程序：第三方網絡內容抓取服務程序（此類爬蟲程序會因具有明顯的惡意企圖而被阻止）法的網絡內容抓取服務。許多企業利用第三方網絡內容抓取服務來提取和提供數據，以滿足自身業務需求，這在競爭激烈的市場營銷環境中是有益的。目前，市場上有數十家提供各種網絡內容抓取/門推廣此類服務的研討會。例如，BrightDataScrapeCon的會議，該會議匯集了眾多研究規避爬蟲程序檢測技術的專家，旨在幫助公司學習如何抓取數據。表3中包含了一些示例，展示了第三方網絡內容抓取公司可能提供的不同服務級別。|103期服務級別1抓取操作中包含代理服務，這些代理服務所提供的基礎架構可能包含數據中心使用的移動IP地址以及住宅地址。服務級別2二級還涵蓋自動數據提取，對數據進行凈化和結構化處理，旨在使客戶的數據科學團隊成員能夠更輕松地使用數據，進而提取有價值的情報來指導業務決策。服務級別3最高級別增加了實際商業情報提取，進一步增強企業的決策過程。這些被統稱為“AI僵尸網絡”。表3：第三方網絡內容抓取公司提供的不同服務級別客戶可以自由選擇從最基本到最高級的服務，并設定數據收集的頻率。同時，他們還可以明確指定自己的目標。通常，所提供的服務級別或所選的僵尸網絡，取決于客戶需要突破的保護級別。較基礎的僵尸網絡能夠借助位于數據中心內的數千個代理服務器運行高級腳本，從而進行數據收集并平衡流量負載。如果保護級別相對簡單，則僵尸網絡可以運用這項技術，穿過安全基礎架構的爬蟲程序管理防御措施和Web應用程序防火墻。然而，當保護級別較高時，則可能需要采取更為精密的抓取策略，如無界面瀏覽器攻擊。不論行為者執行抓取活動是出于善意還是惡意，這一點都同樣適用。此外，這并非一項經濟實惠的選擇，因為公司需要為更復雜的基礎架構支付遠高于基本服務級別的成本。高級防御可能包含多種挑戰技術（如驗證碼或工作量證明）、專為客戶端指紋評估設計的多層檢測，以及對超文本傳輸協議(HTTP)和傳輸層安全(TLS)特征的分析。2024|10|102024|10AI僵尸網絡的抓取流程AI現并抓取那些格式或位置不那么一致的非結構化數據和內容。不僅如此，AI僵尸33中提及的AI理數據（5）。Competitiveanalysis(productpositioning,pricing,etc...)Adaptivescrapinganti-bandecisionCompetitiveanalysis(productpositioning,pricing,etc...)Adaptivescrapinganti-bandecisionRetailsite1DataCorp/BusinessIntelligenceRetailsite2SocialmediaCustomersentimentanalysis圖5：AI僵尸網絡及其三步流程的示意圖為了更全面地了解具體過程，我們詳細探究一下這三個步驟。數據收集網絡內容抓取涉及從一個或多個網站中提取數據，隨后將這些數據整合以生成新的數據集。然后，企業可以根據需要應用和分析這些新數據集。所以，第一步是收集數據。|103期

2024年|1120242024|12為了確保數據收集流程既迅速又順暢，它需要將自適應抓取技術與“反禁令”或“反爬蟲程序檢測”技術相融合。這些技術構成了一個決策樹，可全面檢測任何潛在的保護機制。對于這一步，韌性是關鍵。爬蟲程序防范措施可能包含JavaScript指紋識別、HTTPTLS指紋識別（HTTPTLS握手），以及互聯網協議(IP)聲譽檢測（6）(ML)cookie策略、HTTPTLS參數進行調整時；以及評估JavaScript指紋識別代碼時。這些環節也是無界面瀏覽器可以大顯身手的地方。JSFingerprintingDetectionJSFingerprintingDetection(RefineJSFingerprint)HTTPandTLSFingerprintingDetection(RefineHTTPandTLSFingerprint)IPReputationDetection(DefineLoadBalancingStrategy)FingerprintingdetectedFingerprintanalysis,executionwithminimalJSexecutionengine(pyminiracer,Js2Py)DatacollectionsuccessfulDetectandingestsitecookiesDatacollection Loadbalancetrafficsuccessful throughdatacenterproxiesDatacollectionsuccessfulScrapeDataAdjustHTTPheadersDeployheadlessbrowser collection (user-agent,headerwithcustomstealth successful headercombination)DatacollectionsuccessfulAdjustIPmixtoincluderesidentialIPDatacollectionsuccessfulAdjustIPmixtoexcludeDCincluderesidentialIPandmobileIPsDatacollectionsuccessfulAdjuststealthsettingsAdjustTLSprofileTerminate6JavaScript別、HTTPTLSIP聲譽檢測沒有界面的瀏覽器無界面瀏覽器(GUI)Web(CLI)或者通過網絡通信與瀏覽器進行交互。Selenium是一款備受歡迎的開源無界面瀏覽器，常被用于自動抓取網頁內容。對于嘗試抓取動態內容的數據搜索者來說，這是一個非常有用的工具。無界面瀏覽器不僅支持高效地截取網頁截圖和復制網站代碼，更能在無需渲染整個頁面的情況下精準提取所需數據。然而，實施無界面瀏覽器攻擊的成本非常高，此類攻擊有可能因其所留下的指紋而被檢測到。但是，其他復雜基礎架構的費用與這些無界面瀏覽器一樣，都非常地高。|103期數據提取和數據處理HTMLJSON內容。在提取的所有數據中，僅有很少一部分對分析是有用的。例如，競爭分析通常涵蓋價格、折扣信息、庫存狀態、產品SKU號、類別以及描述。ML模型能夠自動提取關鍵的信息片段。這些模型可以使HTMLJSON內容代碼結構。更重多個網站時，處理流程也必須使用額外的機器學習邏輯。|103期

2024年|1320242024|14案例研究：網絡內容抓取檢測解決方案的優勢Akamai研究人員對一部分受到網絡內容抓取解決方案（能夠檢測抓取活動）保護69HTMLAJAX請求。由于大多數爬蟲程序并不請求靜態內容（如圖像、JavaScript和樣式表），因此這些靜態內容并未納入分析范圍；這一排除還有助于避免不必要的數據膨脹。AkamaiContentProtector49.3%是低風險人類流量，42.1%是爬蟲程序流量（27.5%14.6%程序），8.7%的中風險未分類流量（7）。MediumRisk(GrayArea)MediumRisk(GrayArea)8.7%GoodBots14.6%LowRiskHighRisk(Bot)27.5%圖7：流量活動分類分解情況842.1%65.3%的流量源自那些被認34.7%則來自被歸類為良性的抓取類爬蟲程序（例如，網絡搜索引擎、SEO、社交媒體以及在線廣告服務）。GoodGoodBots34.7%HighRisk圖8：良性爬蟲程序流量與惡意爬蟲程序流量的比較|103期HeadlessBrowserBotnetAdvancedScriptedBotnet47.6%BasicScripted研究人員還衡量了高風險惡意爬蟲程序（其在爬蟲程序總流量中的占比高達65.3%HeadlessBrowserBotnetAdvancedScriptedBotnet47.6%BasicScripted圖9：根據復雜程度劃分的惡意爬蟲程序流量分布（由于四舍五入，總數不完全等于100%）。從上述數據分析中，我們不難發現，惡意抓取類爬蟲程序的數量遠超過良性抓取類爬蟲程序。此外，總流量中幾乎有一半來源于爬蟲程序，而在這其中，由高級腳本化僵尸網絡產生的惡意爬蟲程序流量占據了最大的比例(47.6%)。果將為用戶/10所示，采取抵御措施后，高風險爬蟲程序請求的數量顯著減少。|103期

2024年|15使用網絡內容抓取檢測解決方案前后的風險級別Low

Medium

High100%

97% 40%36%40%36%24%1%2%50%25%0%BeforeWebScrapingProtection

AfterWebScrapingProtection20242024|16圖10：使用ContentProtector進行抵御前后的風險級別增強防護，抵御惡意爬蟲程序本部分介紹了檢測網絡抓取類爬蟲程序的一些核心指標，并提供了針對這些爬蟲程序實施防御措施所需工具的信息。檢測基本抓取類爬蟲程序盡管復雜的抓取類爬蟲程序難以檢測，但爬蟲程序管理解決方案能夠防御各類入侵式抓取類爬蟲程序收集數據，在檢測較為簡單的網絡抓取類爬蟲程序時，尤其注重以下特征：通告瀏覽器和操作系統版本較舊的請求HTTP標頭簽名異常HTTP（v1.1），HTTPv2或者新興的HTTPv3來自數以千計云服務/數據中心的請求|103期20242024|17檢測更高級的抓取類爬蟲程序對于較高級的抓取類爬蟲程序，我們無法觀察到上述列表中的任何特征。所以，這里有一些更復雜的抓取類爬蟲程序的特征：來自最新瀏覽器和操作系統版本的請求HTTP標頭設置看想來和合法瀏覽器的相同HTTPv2IP地址的請求識別流量模式通過一些關鍵指標，我們可以識別網站產生的流量是來自人類訪客（圖11）、基礎爬蟲程序（圖12），還是復雜的爬蟲程序（圖13）。圖11：合法的用戶流量通常顯示出晝夜波動的活動周期圖12：典型的爬蟲程序流量通常表現為有規律的活動，伴有偶爾的間歇Requests:6,867,067byBot圖13：更復雜的爬蟲程序會表現為流量全天候不間斷擁有復雜的指紋識別策略（反之亦然）。然而，更為先進的僵尸網絡可能非常狡猾，它們擁有完美的指紋，甚至模擬合法的用戶流量模式，從而通過檢測。|103期除了需要警惕那些抓取類爬蟲程序，利用ContentProtector等工具來防范網絡內容抓取，可能會為您帶來額外優勢，讓您在抓取類爬蟲程序頻繁活動的網絡環境中更加游刃有余。這些優勢包括：IT成本提供更準確的指標，引導您做出更明智的投資決策，推動收入增長降低價格壓力，有助于您在競爭對手降價時保持銷量穩定保證客戶能夠買到心儀的商品，提高客戶滿意度。除此之外，客戶在買到心儀的商品后，很可能會另外買一些其他的商品，從而帶來額外的追加銷售收入的正品保護產品收入，維護客戶忠誠度增加/保護廣告收入保留受眾和網站訪客|103期

2024年|18合規考慮因素(PCIDSS)v4.0現已生效，許多改變都是由仍然對公司構JavaScriptAPI中，迅速檢測和修復這些攻擊都至關重要。我們還注意到，在最新的NIST網絡安全框架2.0版本中，出現了一個新興的合規趨勢，這一版本增加了治理功能。NIST通常是許多政府法規的基礎，并滲透到了許多商業網絡安全框架之中。因此，現在是了解新指南的絕佳時機。您可以借助它來更新您的政策或將您當前的文檔與之對照，了解是否有任何遺漏。(GAAP的企業而言，網絡安全重要性已成為大威脅（例如勒索軟件），您需要應用相應的抵御措施（如微分段）您需要向證券交易委員會提交8-K。|10