Cloudflare 下最后通牒：9月15日起混合爬虫将被预设阻挡，AI 训练时代正式翻页

发布日期：2026年7月2日 ｜ 来源：TechCrunch、Cloudflare 官方公告、Cloudflare Radar 综合整理

互联网上人类流量已不再是多数——这个里程碑比预期提早到来了

当你在电脑前读这篇文章时，全球网路流量中超过一半来自各种机器人。Cloudflare 联合创始人兼 CEO Matthew Prince 在最新公告中明确指出：「如今网际网路上的大多数流量都是非人类产生的，我们必须采取更快的行动，才能让可持续的生态系统浮现。」

这个拐点原本被产业预测会在明年才到来。但实际上，bot 流量正式超越人类流量的时刻已经发生——意味著你今天的网站伺服器，每处理 100 个请求就有多于 50 个来自爬虫。

9 月 15 日：Cloudflare 的新防线

根据 TechCrunch 最新报导，Cloudflare 已正式向 AI 产业下达期限通知：自 2026 年 9 月 15 日起，Cloudflare 的预设设定将自动阻挡所有「混合用途」爬虫——也就是同一个 bot 同时用于传统搜寻、AI Agent 操作和模型训练。

具体来说，以下情况会受到影响：

• 免费方案的 Cloudflare 客户：预设阻挡混合爬虫
• 新注册的网站和客户：同样适用新预设值
• 显示广告的页面：混合爬虫无法抓取这些内容
• 网站拥有者仍可手动调整设定，允许特定爬虫存取

为什么这件事很重要？——你的资料不再被免费使用

过去几年，各大 AI 公司透过爬虫大量抓取网路上的公开内容来训练模型。对网站拥有者来说，这意味著他们辛苦建立的知识产权被白嫊了——而 Google 等搜寻引擎巨头因为同时做搜寻和 AI 双重角色，更是有「两倍资讯优势」。

Cloudflare 的公告中明确提到「全球最大的搜寻引擎」（不言而喻是 Google），指出它利用搜寻爬虫的既有通路，让客户难以在「保持可被搜寻到」和「不被用于 AI 训练」之间做出真正的选择。

Pay Per Crawl 升级为 Pay Per Use——从「被抓取就收费」到「被使用就收费

Cloudflare 不只阻挡，还提供了商业化方案。先前推出的 Pay Per Crawl（按爬收取费）正在进化为 Pay Per Use：当 AI 公司利用你的内容产生价值时才收费，而不仅仅是抓取的那一刻。

目前已有两家合作伙伴先行上线：

合作伙伴	商业模式
Ceramic.ai	当你的内容出现在 Ceramic 的 AI 搜寻结果时，出版商可获得报酬
You.com	当 You.com 存取你的付费内容时，出版商可获得报酬

数据显示：一半以上的 AI 爬虫流量是「无效重复抓取」

Cloudflare 的内部数据揭露了一个关键事实：超过 50% 的 AI 爬虫流量是用在重新抓取根本没有变化的页面。这代表不仅你的伺服器资源被浪费，CDN 频宽也在为这些重复请求买单。

如果网站管理员能善用 Cloudflare 的新工具配合自动阻挡规则，可以大幅减少这种无效流量，同时保持正常搜寻引擎的可索引性。