隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，爬蟲技術(shù)已成為電商行業(yè)中一個不可忽視的存在。Akamai北亞區(qū)技術(shù)總監(jiān)劉燁告訴記者，自2023年起，Akamai觀察到電商行業(yè)的爬蟲活躍度顯著高于其他行業(yè)，如高科技與金融行業(yè)。電商行業(yè)的爬蟲活躍度曲線顯著高于其他行業(yè)，顯示出電商領(lǐng)域爬蟲活動的普遍性和復(fù)雜性。
商業(yè)利益驅(qū)動的爬蟲技術(shù)
爬蟲技術(shù)是指一種能夠模擬用戶行為的代碼，主要用于從網(wǎng)站上抓取數(shù)據(jù)。根據(jù)其行為性質(zhì)與影響，我們可以將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利;中性的爬蟲如Web scraping bots，它們在某些情況下有助于信息收集與聚合，但也可能因使用不當(dāng)給企業(yè)帶來損失;而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴(yán)重損害企業(yè)利益與安全。
劉燁認為，爬蟲技術(shù)背后的強大商業(yè)利益驅(qū)使其在各行各業(yè)的應(yīng)用，特別是在電商領(lǐng)域。爬蟲可能被用于抓取商品價格、分析競爭對手策略以制定自身定價方案，甚至可能利用腳本搶占庫存、購買促銷商品后轉(zhuǎn)售牟利。
不法分子利用爬蟲技術(shù)抓取價格、庫存等信息，從中獲利。這些行為不僅擾亂市場秩序，還嚴(yán)重損害了企業(yè)的合法權(quán)益。例如，通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺，然后在另一個平臺上開設(shè)店鋪，以準(zhǔn)新或全新未開封的產(chǎn)品進行轉(zhuǎn)售，利用價格優(yōu)勢實現(xiàn)盈利。
爬蟲帶來的問題
爬蟲的高訪問效率導(dǎo)致電商網(wǎng)站資源過度消耗，影響用戶體驗。爬蟲與真實用戶的訪問量相當(dāng)，且通常部署在云端或高性能服務(wù)器上，其訪問效率遠超普通用戶，這導(dǎo)致電商網(wǎng)站在處理爬蟲請求時可能消耗大量資源，進而影響正常用戶的訪問體驗，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲還可能干擾市場營銷分析工具的數(shù)據(jù)收集，導(dǎo)致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產(chǎn)品頁面的深層鏈接，可能導(dǎo)致這些頁面因請求量過大而無法正常服務(wù)。此外，內(nèi)容聚合網(wǎng)站通過爬蟲抓取內(nèi)容，導(dǎo)致原創(chuàng)者失去流量和收入。這無疑是對內(nèi)容創(chuàng)作者辛勤勞動的極大不尊重，也是對整個互聯(lián)網(wǎng)生態(tài)平衡的破壞。
劉燁表示，在電商領(lǐng)域，設(shè)計或編寫一個爬蟲程序已變得相當(dāng)便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲即服務(wù)”(Scraper as a Service，SaaS)模式。“爬蟲即服務(wù)”模式簡化了爬蟲開發(fā)流程，卻增加了潛在濫用風(fēng)險。
而且隨著技術(shù)的進步，這些爬蟲服務(wù)日益智能化，融入了AI和機器學(xué)習(xí)技術(shù)。它們能夠自動從多個數(shù)據(jù)源抓取內(nèi)容，通過預(yù)設(shè)的邏輯進行數(shù)據(jù)抽取與分析，最終輔助用戶制定競爭策略、優(yōu)化產(chǎn)品定位及價格策略等。這種一站式解決方案，無論是對于尋求業(yè)務(wù)增長的合法用戶，還是意圖不當(dāng)?shù)膼阂馐褂谜撸继峁┝藰O大的便利。
Akamai的雙重應(yīng)對策略
Akamai提出了雙管齊下的策略來應(yīng)對爬蟲問題。一方面，在邊緣網(wǎng)絡(luò)層面，我們利用預(yù)定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。另一方面通過深入分析訪問行為(如鼠標(biāo)移動軌跡、鍵盤敲擊模式)和設(shè)備指紋，結(jié)合機器學(xué)習(xí)模型，進一步細化識別精度，確保對潛在威脅的精準(zhǔn)打擊。
針對不同類型的爬蟲，Akamai還提供了差異化的解決方案。對于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲，Akamai采用更為嚴(yán)格的防護機制;而對于那些有助于提升網(wǎng)站質(zhì)量或服務(wù)的良性爬蟲，則采取更加靈活的管理策略。
面對爬蟲，劉燁表示，企業(yè)防護的關(guān)鍵在于如何在廣泛的訪問請求中準(zhǔn)確識別出網(wǎng)絡(luò)爬蟲，以及它們的具體類型，進而采取相應(yīng)的防護措施。劉燁給出了具體的建議：
首先，針對不同類型的爬蟲提供定制化防護機制。確保良性爬蟲得到合理管理，同時對有害爬蟲進行精準(zhǔn)打擊。企業(yè)可以使用第三方產(chǎn)品和解決方案建立大型數(shù)據(jù)庫。通過觀察足夠多的請求，形成這樣的數(shù)據(jù)庫。分析行為特征以判斷請求是否來自惡意Bot。
其次，不僅是簡單的阻攔或禁止，管理爬蟲同樣至關(guān)重要。企業(yè)可以提供不準(zhǔn)確信息、不做響應(yīng)等多樣化應(yīng)對措施。例如，可以選擇不禁止Bot，但不做任何響應(yīng)，讓它誤以為連接仍在進行;或者可以給它提供不準(zhǔn)確的信息。
第三，設(shè)計多維度防護體系，包括基礎(chǔ)架構(gòu)、應(yīng)用開發(fā)邏輯等。實施多層防護，確保整體安全狀況。確保沒有環(huán)節(jié)出現(xiàn)問題，任何短板都可能導(dǎo)致原有防護措施被繞過或攻陷。
最后，建立安全團隊，選擇有效產(chǎn)品。加強安全運營團隊支持，制定應(yīng)急預(yù)案。加強全員的安全教育，確保所有員工都具備基本的安全意識。
機器人攻擊成為增長最快的網(wǎng)絡(luò)威脅之一。AI僵尸網(wǎng)絡(luò)和無頭瀏覽器技術(shù)使得爬蟲更難識別。例如，Akamai幫助一個電子商務(wù)客戶被攔截了99%的高風(fēng)險流量，而客戶本身甚至并沒有留意到這些流量。因此，企業(yè)需要利用AI和機器學(xué)習(xí)完善識別模型。采取自動化策略，自動部署新策略以應(yīng)對新攻擊。例如，當(dāng)出現(xiàn)新的攻擊類型時，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。
結(jié)論
爬蟲技術(shù)在電商行業(yè)中的應(yīng)用既帶來了商業(yè)機遇，也引發(fā)了諸多挑戰(zhàn)。Akamai提出的策略不僅有助于企業(yè)有效應(yīng)對當(dāng)前的威脅，也為未來的網(wǎng)絡(luò)安全提供了指導(dǎo)方向。通過綜合運用技術(shù)手段與策略規(guī)劃，企業(yè)能夠更好地保護自己免受爬蟲帶來的負面影響，同時利用有益爬蟲提升業(yè)務(wù)表現(xiàn)。