你的網站每個月花多少錢在 CDN 上？如果答案是「不少」，那麼你可能正在替科技巨頭買單——而且是無償的。
資安公司 DataDome 最新報告揭示了一個讓網站經營者頭痛的事實：Meta 的 AI 機器人在 2026 年第二季（Q2）總共發出了 9 億次請求，目標是爬取網站內容來訓練其 AI 模型。然而這些請求不僅沒有為網站帶來任何推薦流量（Referral Traffic），反而消耗了大量的伺服器資源和 CDN 頻寬——全部由網站經營者自行買單。
過去三十年，搜尋引擎爬蟲和網站之間存在一個不成文的默契：你讓我爬內容，我送你流量。Google Bot 每爬取一次網頁，就有機會讓該網頁出現在搜尋結果中，為網站帶來真實訪客。這是一個互利共生的生態。
但 AI 時代打破了這個規則。AI 爬蟲爬取內容的目的是訓練模型——它不需要也不打算把訪客導回你的網站。你付了 CDN 費用讓它把內容搬走，它回饋給你的只有一張更大的帳單。TechRadar 的分析指出，這是「網站經營者從未同意的單方面掠奪」。
值得注意的是，並非所有 AI 公司的爬蟲政策都相同。報告特別比較了兩家代表性公司：
這說明了關鍵差別：有些 AI 公司願意為內容「產生價值回饋」，而有些則只是單方面索取。
面對這個問題，內容傳遞網路（CDN）巨頭 Cloudflare 在七月初推出了全面升級的 AI 流量管理方案。去年他們推出了一鍵「封鎖 AI 機器人」功能，而今年更進一步推出了 Pay Per Crawl（按爬取付費）市集。
這套機制的核心概念很直觀：AI 公司想要爬取你的網站內容？可以，但每爬一次就要付費。Cloudflare 同時推出了更細緻的分類管理，將自動化流量分為三大類：
網站經營者可以針對不同類型的爬蟲設定不同的存取權限，甚至直接向 AI 公司收費。
DataDome 的報告進一步分析，這些 AI 爬蟲流量對不同規模網站的影響差異巨大。大型平台或許有談判籌碼，但中小型網站和新創團隊受到的衝擊最嚴重：
這個問題短期內不會消失，甚至會隨著更多 AI 公司進入市場而更加嚴重。對於網站經營者和服務提供商來說，現在就該著手建立三道防線：
第一道：辨識。 透過請求特徵（User-Agent、行為模式、IP 信譽）區分哪些是 AI 爬蟲流量。不是所有自動化請求都是惡意的——Google Bot 仍然值得歡迎，而 Meta 之類的訓練爬蟲則需要限制。
第二道：分級。 對不同類型的爬蟲設定不同的速率限制（Rate Limit）。合法搜尋引擎可以保持存取，模型訓練爬蟲應該被限速或阻擋。
第三道：阻擋或收費。 對不產生價值的 AI 爬蟲直接封鎖，或透過 Cloudflare Pay Per Crawl 之類的機制收取費用。