#008
2026-06-18

Cloudflare数据:互联网34%流量来自机器人,AI爬虫激增8倍,2027或超人类

发布日期:2026年6月18日 | 来源:Cloudflare Radar、Blocktempo 综合整理

每三个访客中就有一个"不是人"

Cloudflare Radar最新数据显示了一个令人震惊的事实:全球HTTP流量中有34.1%来自机器人(Bot)。也就是说,当你的网站显示"今日活跃访客1000人"时,实际上可能有三成多根本不是真人。

Cloudflare CEO Matthew Prince 大胆预测:按照目前的速度,最快2027年,机器人流量将正式超越人类流量。这意味著我们正站在一條分水岭上——网络的使用者结构正在被AI的基础设施需求重新定义。

AI爬虫:仅次于搜索引擎的第二大机器人族群

在所有机器人流量中,AI爬虫约占22%,成为仅次于搜索引擎蜘蛛的第二大类。这类爬虫专门替AI公司抓取网页内容、拿去训练模型或即时回答问题。

从各家AI爬虫的市占分布来看:Meta-ExternalAgent约佔16.3%,已超越GPTBot;ClaudeBot约11.6%;Applebot单月暴增140%(从2.97%跳到7.15%),显示Apple Intelligence正在加大资料抓取力道。

超过半数的AI爬虫在"囤原料"

值得注意的是,所有AI爬虫流量中,训练型爬虫佔51.5%——也就是说,超过一半的AI爬虫不是在即时回应使用者,而是为未来模型版本"囤积资料"。换句话说:你网站的服务器频宽和运算资源,正被大型AI公司免费使用来训练他们的产品。

内容平台的痛:机器不看广告

对你的文章来说,这可能被读了一千次,但其中八百次是机器——而机器不看广告。流量数字漂亮了,营收却可能不增反减。同时,当登入尝试的94%都是机器人时,传统的人工审查逻辑已经彻底失效。

LAFA 观点

你要成为这34%无效流量买单的冤大头吗?你的服务器频宽、CPU、内存正在被AI巨头的爬虫免费消耗——而你还得为此付钱。专业运维不只是"让服务不断线",更是精确识别并阻挡这些无效机器人流量,把你的资源留给真正的使用者。

→ 立即免费咨询 AI 运维顾问服务