Meta AI 爬蟲 Q2 產生 90 億次請求，零轉化：DataDome 報告揭開 Bot 流量成本危機

2026 年第二季度的網路流量數據揭開了一個令人擔憂的現實。資安防護公司 DataDome 最新報告指出，Meta AI 的爬蟲在 Q2 總共產生了 90 億次請求，耗盡了出版商的頻寬、伺服器資源與 CDN 額度——但這些爬蟲帶來的推薦流量幾乎是 零。

對比之下，OpenAI 的 ChatGPT 爬蟲雖然請求量大幅下降，卻貢獻了 88% 的 AI 來源轉介流量。換句話說，Meta AI 在大量抓取內容的同時，幾乎沒有把使用者導回原始網站。

90 億次請求，零回流——不對等的代價

DataDome 在 Q2 記錄了總計 177 億次 AI Agent 相關的 HTTP 請求，其中 Meta AI 佔據最大比例。每一次爬取都意味著出版商需要承擔頻寬成本、CDN 交易費用、伺服器運算資源，以及日誌處理的額外開銷。

傳統搜尋引擎時代的邏輯是「我爬你的內容 → 使用者透過搜尋找到你的網站」，但 Meta AI 打破了這個平衡——它在大量抓取後，幾乎沒有產生任何回流效益。對預算有限的中小型站長而言，這意味著 你在為別人的 AI 產品免費提供運算成本。

GPTBot 成為最被阻擋的爬蟲

根據 Q1 2026 年的 robots.txt 分析，GPTBot 以 5.52% 的比例成為最常被封鎖的 AI 爬蟲，其次是 CCBot（5.08%）和 ClaudeBot（4.88%）。這顯示越來越多的站長意識到爬蟲治理的重要性。

但問題在於，robots.txt 只能約束「遵守規則」的爬蟲。大量未經授權的爬蟲、偽造 User-Agent 的惡意 Bot，以及試圖繞過封鎖的混合爬蟲，根本不會讀取 robots.txt。

Cloudflare 推出三類 Bot 管理分類

為回應站長對更精細控制的需求，Cloudflare 在第二屆「Content Independence Day」上宣布推出 三類 AI 流量分類管理，適用於所有客戶（含免費方案）：

• Search（搜尋）：建立索引以回答使用者查詢的爬蟲。站長可預期獲得推薦流量回報。
• Agent（智能代理）：代表使用者即時執行任務的自動化行為，如 ChatGPT-User、Gemini 或 Claude 驅動的瀏覽器代理。
• Training（訓練）：收集內容用於模型訓練的微調爬蟲。

這代表站長不再需要「一刀切」封鎖所有 AI 流量，而是可以針對不同類型的 Bot 設定不同的存取策略——允許搜尋爬蟲索引、限制 Agent 頻率、完全封鎖訓練爬蟲。

從 robots.txt 到邊緣執行：Bot 治理的演進

專家建議，單純依賴 robots.txt 已不足以應對 2026 年的 Bot 流量挑戰。有效的 Bot 管理需要在 CDN 與 WAF 層級整合以下能力：

• 身份驗證：透過反向 DNS、IP 範圍校驗確認爬蟲真實身分
• 行為分析：即時判斷請求模式是否為人類或機器
• 速率限制：對高頻 Bot 自動降速，而非直接封鎖
• 選擇性授權：允許特定 AI 合作夥伴存取，同時拒絕未授權爬蟲

這正是 AIOps（AI for IT Operations）的核心價值——利用 AI 自動化來識別、分類並管理日益複雜的流量模式，將傳統的「被動防禦」轉化為「智能治理」。