Cloudflare 下最後通牒：9月15日起混合爬蟲將被預設阻擋，AI 訓練時代正式翻頁

發布日期：2026年7月2日 ｜ 來源：TechCrunch、Cloudflare 官方公告、Cloudflare Radar 綜合整理

互联网上人類流量已不再是多數——這個里程碑比預期提早到來了

當你在電腦前讀這篇文章時，全球網路流量中超過一半來自各種機器人。Cloudflare 聯合創始人兼 CEO Matthew Prince 在最新公告中明確指出：「如今網際網路上的大多數流量都是非人類產生的，我們必須採取更快的行動，才能讓可持續的生態系統浮現。」

這個拐點原本被產業預測會在明年才到來。但實際上，bot 流量正式超越人類流量的時刻已經發生——意味著你今天的網站伺服器，每處理 100 個請求就有多於 50 個來自爬蟲。

9 月 15 日：Cloudflare 的新防線

根據 TechCrunch 最新報導，Cloudflare 已正式向 AI 產業下達期限通知：自 2026 年 9 月 15 日起，Cloudflare 的預設設定將自動阻擋所有「混合用途」爬蟲——也就是同一個 bot 同時用於傳統搜尋、AI Agent 操作和模型訓練。

具體來說，以下情況會受到影響：

• 免費方案的 Cloudflare 客戶：預設阻擋混合爬蟲
• 新註冊的網站和客戶：同樣適用新預設值
• 顯示廣告的頁面：混合爬蟲無法抓取這些內容
• 網站擁有者仍可手動調整設定，允許特定爬蟲存取

為什麼這件事很重要？——你的資料不再被免費使用

過去幾年，各大 AI 公司透過爬蟲大量抓取網路上的公開內容來訓練模型。對網站擁有者來說，這意味著他們辛苦建立的知識產權被白嫊了——而 Google 等搜尋引擎巨頭因為同時做搜尋和 AI 雙重角色，更是有「兩倍資訊優勢」。

Cloudflare 的公告中明確提到「全球最大的搜尋引擎」（不言而喻是 Google），指出它利用搜尋爬蟲的既有通路，讓客戶難以在「保持可被搜尋到」和「不被用於 AI 訓練」之間做出真正的選擇。

Pay Per Crawl 升級為 Pay Per Use——從「被抓取就收費」到「被使用就收費

Cloudflare 不只阻擋，還提供了商業化方案。先前推出的 Pay Per Crawl（按爬收取費）正在進化為 Pay Per Use：當 AI 公司利用你的內容產生價值時才收費，而不僅僅是抓取的那一刻。

目前已有兩家合作夥伴先行上線：

合作夥伴	商業模式
Ceramic.ai	當你的內容出現在 Ceramic 的 AI 搜尋結果時，出版商可獲得報酬
You.com	當 You.com 存取你的付费內容時，出版商可獲得報酬

數據顯示：一半以上的 AI 爬蟲流量是「無效重複抓取」

Cloudflare 的內部數據揭露了一個關鍵事實：超過 50% 的 AI 爬蟲流量是用在重新抓取根本沒有變化的頁面。這代表不僅你的伺服器資源被浪費，CDN 頻寬也在為這些重複請求買單。

如果網站管理員能善用 Cloudflare 的新工具配合自動阻擋規則，可以大幅減少這種無效流量，同時保持正常搜尋引擎的可索引性。