#060
2026-11-10

AI 爬虫白吃白喝:年增 1700% 的流量,帐单谁付?

📰 想看更多新闻?
浏览完整新闻列表

2026 年,网际网路第一次迎来了「第二群读者」——超过一半的流量不再来自人类。Cloudflare 在 9 月底的报告指出,其承载的平均负荷从 2024 年底每秒 6300 万个 HTTP 请求,涨到每秒 1.15 亿,其中最大的增量不是搜寻引擎,而是 AI 系统:AI 代理的日请求量在一年内暴增超过 1700%,2025 年「使用者触发的抓取」更是成长了 15 倍以上。对网站营运者来说,这些请求每一笔都是真的——真实的连线、真实的频宽、真实的帐单。

先把这群「读者」拆开看,它们至少分三类。训练型爬虫(GPTBot、ClaudeBot、Applebot-Extended 之类)把内容抓回去喂模型学习;AI 搜寻型爬虫(OAI-SearchBot、PerplexityBot)为回答使用者的提问即时抓取页面;使用者代理型抓取(ChatGPT-User)则是有人在对话框里问一句话、系统代为去抓。HUMAN Security 四月的统计显示,AI 驱动的流量中 ChatGPT-User 占 31.8%、OAI-SearchBot 占 19.5%、GPTBot 占 17.6%。Cloudflare 的数据更直接:2026 年 6 月,其收到的爬虫请求有 52% 是为了 AI 训练,而这个比例在 2025 年春天还只有 22%。

问题不在「被抓」,而在「抓了却什么都不给回来」。搜寻引擎的商业逻辑是「抓取换流量」:Googlebot 抓你的页面,把你排在结果里,再把人带过来。AI 爬虫没有这个交换——Anthropic 的「抓取比带回」比例在 2025 年一度冲到 50 万次抓取换 1 个访客,而 Google 同指标只有 3 到 30 比 1。一家经营十年 Linux 与资安教学网站的站长,前几周逐行比对了自己的来源日志:六天半内 AI 爬虫抓了 16,194 个页面,同期 Googlebot 与 Bingbot 合计才 10,433 个;而某一晚 AI 答案机器人到达来源伺服器抓取 57 页之后,带回来的访客是零——不是少,是零。机器读完了、离开了,帐单留给写文章的人。

网站经营者已经开始反击,但动作还很「礼貌」。一份 8 月初覆盖网路前 2,000 大域名的 robots.txt 分析发现,约 19% 的域名封锁了至少一种主流 AI 爬虫,Amazon 则把 GPTBot、ClaudeBot、Google-Extended、PerplexityBot、Bytespider 五大爬虫一次全挡。Cloudflare 的站点里,封锁「搜寻型爬虫」的不到 1%,封锁「训练型爬虫」的有 17%——大家普遍选择「让 AI 搜寻带流量,但不让 AI 训练白吃」。然而 robots.txt 本质上只是一份君子协定:Fastly 一月的数据显示,其网路上 97% 的 AI 抓取请求来自 ChatGPT-User 与 OAI-SearchBot,其中 57% 抓取的是根本不对外公开或无法存取的内容——连「礼貌拒绝」都不看的机器,写在 robots.txt 里的封锁对它们只是建议。

对运维团队,这意味著 Bot 治理不能只停在 robots.txt 或 CDN 的控制台选项,而要当成一道持续的资安+成本工程。第一,识别要可靠:靠 User-Agent 字串挡爬虫等同于挡空气,主流爬虫的 UA 早已被大量伪装,真正有效的是 CDN/WAF 层级的已验证 Bot 签名(verified bot signature)与行为特征。第二,分类要细致:训练型、搜寻型、使用者代理型的风险与价值完全不同,一刀切全挡会伤到自己想进的 AI 搜寻曝光,全放则帐单失控。第三,成本要可见:把 AI 流量从总频宽里拆出来归因,才知道每个月到底有多少 CDN 费用在为机器买单。另外有个常被忽略的事实:Vercel 的测量显示,主流 AI 爬虫几乎都不执行 JavaScript——client-side 载入的内容它们根本看不到,这既是内容保护的副作用,也解释了为什么「57% 抓取非公开内容」的数字会出现。

💡 LAFA 观点

年增 1700% 的 AI 流量,挡的不是「AI」,是「白吃」。LAFA 的 24/7 AI 运维在 WAF 层做 Bot 识别与分流:已验证的搜寻型爬虫放行换曝光、训练型与仿冒者直接拦截,把每月为机器买单的 CDN 成本,从帐单里拆出来看清楚。