#060
2026-11-10

AI 爬蟲白吃白喝:年增 1700% 的流量,帳單誰付?

📰 想看更多新聞?
瀏覽完整新聞列表

2026 年,網際網路第一次迎來了「第二群讀者」——超過一半的流量不再來自人類。Cloudflare 在 9 月底的報告指出,其承載的平均負荷從 2024 年底每秒 6300 萬個 HTTP 請求,漲到每秒 1.15 億,其中最大的增量不是搜尋引擎,而是 AI 系統:AI 代理的日請求量在一年內暴增超過 1700%,2025 年「使用者觸發的抓取」更是成長了 15 倍以上。對網站營運者來說,這些請求每一筆都是真的——真實的連線、真實的頻寬、真實的帳單。

先把這群「讀者」拆開看,它們至少分三類。訓練型爬蟲(GPTBot、ClaudeBot、Applebot-Extended 之類)把內容抓回去餵模型學習;AI 搜尋型爬蟲(OAI-SearchBot、PerplexityBot)為回答使用者的提問即時抓取頁面;使用者代理型抓取(ChatGPT-User)則是有人在對話框裡問一句話、系統代為去抓。HUMAN Security 四月的統計顯示,AI 驅動的流量中 ChatGPT-User 佔 31.8%、OAI-SearchBot 佔 19.5%、GPTBot 佔 17.6%。Cloudflare 的數據更直接:2026 年 6 月,其收到的爬蟲請求有 52% 是為了 AI 訓練,而這個比例在 2025 年春天還只有 22%。

問題不在「被抓」,而在「抓了卻什麼都不給回來」。搜尋引擎的商業邏輯是「抓取換流量」:Googlebot 抓你的頁面,把你排在結果裡,再把人帶過來。AI 爬蟲沒有這個交換——Anthropic 的「抓取比帶回」比例在 2025 年一度衝到 50 萬次抓取換 1 個訪客,而 Google 同指標只有 3 到 30 比 1。一家經營十年 Linux 與資安教學網站的站長,前幾週逐行比對了自己的來源日誌:六天半內 AI 爬蟲抓了 16,194 個頁面,同期 Googlebot 與 Bingbot 合計才 10,433 個;而某一晚 AI 答案機器人到達來源伺服器抓取 57 頁之後,帶回來的訪客是零——不是少,是零。機器讀完了、離開了,帳單留給寫文章的人。

網站經營者已經開始反擊,但動作還很「禮貌」。一份 8 月初覆蓋網路前 2,000 大域名的 robots.txt 分析發現,約 19% 的域名封鎖了至少一種主流 AI 爬蟲,Amazon 則把 GPTBot、ClaudeBot、Google-Extended、PerplexityBot、Bytespider 五大爬蟲一次全擋。Cloudflare 的站點裡,封鎖「搜尋型爬蟲」的不到 1%,封鎖「訓練型爬蟲」的有 17%——大家普遍選擇「讓 AI 搜尋帶流量,但不讓 AI 訓練白吃」。然而 robots.txt 本質上只是一份君子協定:Fastly 一月的數據顯示,其網路上 97% 的 AI 抓取請求來自 ChatGPT-User 與 OAI-SearchBot,其中 57% 抓取的是根本不對外公開或無法存取的內容——連「禮貌拒絕」都不看的機器,寫在 robots.txt 裡的封鎖對它們只是建議。

對運維團隊,這意味著 Bot 治理不能只停在 robots.txt 或 CDN 的控制台選項,而要當成一道持續的資安+成本工程。第一,識別要可靠:靠 User-Agent 字串擋爬蟲等同於擋空氣,主流爬蟲的 UA 早已被大量偽裝,真正有效的是 CDN/WAF 層級的已驗證 Bot 簽名(verified bot signature)與行為特徵。第二,分類要細緻:訓練型、搜尋型、使用者代理型的風險與價值完全不同,一刀切全擋會傷到自己想進的 AI 搜尋曝光,全放則帳單失控。第三,成本要可見:把 AI 流量從總頻寬裡拆出來歸因,才知道每個月到底有多少 CDN 費用在為機器買單。另外有個常被忽略的事實:Vercel 的測量顯示,主流 AI 爬蟲幾乎都不執行 JavaScript——client-side 載入的內容它們根本看不到,這既是內容保護的副作用,也解釋了為什麼「57% 抓取非公開內容」的數字會出現。

💡 LAFA 觀點

年增 1700% 的 AI 流量,擋的不是「AI」,是「白吃」。LAFA 的 24/7 AI 運維在 WAF 層做 Bot 識別與分流:已驗證的搜尋型爬蟲放行換曝光、訓練型與仿冒者直接攔截,把每月為機器買單的 CDN 成本,從帳單裡拆出來看清楚。