Cloudflare：超过一半网路流量来自 AI Agent，网站主人的新挑战

Cloudflare 于 9 月底发表了引起业界关注的文章——《The Internet has a second audience》，用自家全球 CDN 的真实数据揭示了 2026 年网路的结构性变化：超过一半的 HTTP 流量已经不是人类产生的。

三组数字特别扎眼：

• AI agent 日请求量一年暴增 1,700%——这还不是上限，Cloudflare 认为这只是起点
• 每秒 HTTP 请求从 6,300 万飙到 1.15 亿，峰值超过 1.5 亿；其中过半已非人类流量
• AI 训练爬虫比例从去年春天的 22% 升至今年 6 月的 52%——超过一半的爬虫是在喂养别人的 AI 模型

第二个受众：Agent 不是机器人，也不是人类

Cloudflare 给了一个新分类："agents"。它们介于传统爬虫和真人之间——背后通常有一个人在用聊天机器人查询、订位、比较报价，但实际发出 HTTP 请求的是软体。这群流量不点广告、不付订阅费、不留在页面上看内容，但它们确实消耗频宽、运算能力和源站资源。

Cloudflare 总结得很精辟："对学会服务它们并从中获利的企业来说，agent 是增量机会；对没准备好的企业来说，它们在提取你的资源。"

流量翻倍、收入下降的残酷数学

过去三十年，网站的收入模型很简单：搜寻引擎把你推给人类访客 → 访客看广告 / 付费订阅 → 你付 CDN 费用。这个链条现在断了。

新的现实是：

• 答案引擎（Answer Engine）读取你的页面、摘要给使用者——但没有人实际点进你的网站看广告
• 零售、软体、IT 服务、金融等行业的人类流量一年内下降高达 40%
• 每笔自动化请求仍然消耗频宽和运算资源，但带来的收入为零

也就是说：你的 CDN 帐单在涨，但每百万次请求的平均收入在跌。这就是为什么"阻挡无效 Bot 流量"从可选的优化项目变成了生存的必需。

"全部封锁"不是答案——你需要的是精准识别

Cloudflare 承认，他们去年的建议是"直接封掉 AI 训练爬虫"。但今年的结论更成熟："一刀切的封锁不够精细"。原因很简单：

• 有些 agent 是真正的客户——AI 代理在帮使用者订机票、比较保险方案、购买资料集
• 完全封锁意味著你失去了这个新兴的"第二受众"
• 你需要的是分级策略：哪些放行、哪些验证、哪些直接挡掉

这对中小企业的意义

大公司有预算买 DataDome、Akamai Bot Manager 这些企业级 Bot 管理方案。但对月运维预算有限的中小企业来说，关键不在于"花多少钱买工具"，而在于"用什么机制在流量到达源站之前就完成分级和阻挡"。

一套有效的防线需要：WAF 规则自动更新（跟最新 Bot UA/行为模式）＋ 高防 CDN 清洗异常流量层级 + 24/7 监控在发现成本异常时立刻反应。这不是三件套叠加，而是必须形成闭环——侦测到异常 → 自动调整策略 → 验证效果 → 持续学习。