Cloudflare 内容独立日一周年：AI 占网络流量超过一半，旧商业模式正式结束

发布日期：2026年7月4日 ｜ 来源：Cloudflare 官方博客 综合整理

一年前的一个按钮，如今改变了整个网络的经济规则

2025 年夏天，Cloudflare 做出了互联网史上最大胆的举动之一：对所有新注册的域名默认阻挡 AI 训练爬虫。当时业界反应两极——有人称赞这是"内容创作者的救赎"，也有人批评这是"把 Web 变成围城"。一年过去了，Cloudflare 在 7 月初发布了一份完整的周年报告，答案终于浮出水面。

这份由 Cloudflare 工程师 Arielle Weiss、Zach Albertson 和 Emily Lanfear 共同撰写的报告题目为《Content Independence Day, one year on: building the business model for the agentic Internet》，不仅回顾了过去一年的数据变化，更勾勒出了下一个十年的网络经济蓝图。

关键数据：AI 采用速度是智能手机的两倍

报告中最震撼的一组数据：在短短 3.5 年内，全球超过 25 亿人已规律使用生成式 AI——占人类总人口超过 30%。

这个采用曲线"不是陡峭，而是垂直的"。Cloudflare 明确指出："这不只是另一波技术周期，而是平台级别的结构性的转变。"

换句话说，当你还在犹豫要不要导入 AI 工具时，全球每三个人就有一个人已经在日常生活中使用了生成式 AI。

开放 Web 的衰落：15 分钟取代了 60 分钟

Cloudflare 引用了一组令人警醒的数据：用户花在线上搜索信息的每一小时中，只有 15 分钟是在开放 Web 上度过的。

这代表什么？过去人们会在多个网站之间跳跃、比较信息、浏览商品页面——这些行为带来了转介流量和广告收益。现在呢？用户只要打一个 prompt，AI 就直接给出整合好的答案。整个中间环节消失了。

Cloudflare 形容这个现象为"传统搜索行为的崩溃"(the collapse of traditional search behavior)。

Agent 流量突破历史门槛：超过 50% 网络流量已非人类

报告中另一个里程碑数据：今年，Agent 流量首次跨过了一个历史性门槛——网络总流量中超过 50% 已来自非人类来源。

更细分来看：

• 52% 的爬虫请求用于 AI 训练（2025 年春季仅 22%）
• 36% 为混合用途爬虫（同时进行搜索、Agent、训练）
• 纯搜索爬虫比例持续萎缩，尽管仍对网站能见度至关重要

这意味着：AI 训练已取代搜索引擎索引，成为网络爬虫活动的最大驱动力。

"Google Zero"来临：内容创作者的最终审判日

报告中有一个令出版业颤抖的术语——"Google Zero"。这指的是搜索转介流量几乎归零的世界。

Cloudflare 明确指出，最早感受到冲击的是新闻组织和媒体公司。但现在零售、软件、IT、金融等行业都开始面临同样的命运。某些被爬虫重度扫荡的品类，人类流量在不到一年内下降了高达 40%。

核心问题很简单：如果内容被消费了但读者从不造访来源网站，内容创作者该如何维持生计？

新的内容市场正在成形

尽管听起来悲观，Cloudflare 的论点并非唱衰 Web。报告的核心信息是：过去一年证明，当内容拥有者拿回了控制权后，一个可持续的内容市场确实出现了。

具体来说：

• 透明度提升——爬虫必须声明用途（搜索 / Agent / 训练）
• 控制权回归——免费方案用户也可管理 bot 流量
• 稀缺性创造价值——高质量内容不再被无偿消耗
• 授权谈判成为主流——AI 公司开始与出版商进行付费授权对话

9 月 15 日倒数：混合爬虫的最后通牒

Cloudflare 再次确认：2026 年 9 月 15 日起，新注册域名和免费方案将自动套用新预设值——Training 和 Agent bot 在广告页面上被阻挡，Search bot 保持允许。

对于混合用途爬虫——那些同时做搜索索引又偷偷收集训练数据的"两栖动物"——Cloudflare 的要求很明确：如果你同时做三件事，请分成三个独立的爬虫，不然就全部被挡。