WAF 正在无声封锁你的 AI 搜寻爬虫：四分之三 Bot 流量来自 AI，你的引用权可能早已被误杀

2026 年的 CDN 与 Bot 流量版图已经彻底改变。Cloudflare 的最新测量显示，AI 爬虫已占所有「已验证 Bot 流量」的 20.3%，再加上 AI 搜寻 Bot 的 6.5%，等于约四分之一的合法 Bot 负载都与 AI 有关。这代表你的 CDN 帐单、伺服器的 I/O 与 log 处理成本，都有一部分是被 AI 爬虫消耗的。

但真正被多数资安团队忽略的，不是「AI 爬虫很多」，而是——你的 WAF 很可能正在无声地阻挡那些让你的服务被 AI 引用、被搜寻到的爬虫。而这种阻挡，往往连行销团队都不知道。

AI 爬虫不是「一种」，而是「三种」

把「AI 爬虫」当成同一类来处理，是所有错误的起点。实际上 2026 年值得关注的 AI 爬虫可分成三个截然不同的类别，阻挡每一类的后果完全不一样：

• Training（训练型）：GPTBot、ClaudeBot、CCBot 等，为模型训练抓取内容。阻挡它的短期代价很低，但长期会削弱模型对你品牌的认知。
• Retrieval（搜寻型）：OAI-SearchBot、Claude-SearchBot、PerplexityBot 等，为「即时搜寻答案」建立索引。阻挡它 = 你的服务立即从该 AI 产品的搜寻结果中消失，代价最高、最即时。
• User-triggered（使用者触发型）：ChatGPT-User、Claude-User 等，是使用者正在即时询问时才去抓的页面。阻挡它 = 正在研究你的潜在客户收到一个错误页面。

Cloudflare 的数据显示，Training 型占了 AI 爬虫流量的近 80%——量最大的一类，恰恰是阻挡代价最低的一类。多数资安团队看到的是「爬虫流量很大、很吵」，于是把最吵的 Training 型与最安静、但最决定引用权的 Retrieval 型一网打尽。结果就是：你省了一点 CDN 成本，却失去了 AI 搜寻的能见度。

WAF 与 robots.txt 的「无声冲突」

更棘手的是，WAF 规则会覆盖 robots.txt。你的 robots.txt 可能写著「允许 OAI-SearchBot」，但如果边缘的 WAF 规则（或某个 2022 年写的「阻挡未知 Bot」老规则）没有更新，爬虫实际到达你源站的次数会是零。而你的 dashboard 上看不出来——因为被挡的请求根本不会计入成功流量。

这就是「无声」的危险：它不出现在任何告警、任何报表里，只是静静地让你的服务在某个 AI 搜寻产品的答案里消失。要验证，必须去翻源站 log，用爬虫的 User-Agent token 逐一比对，才能发现 Retrieval 型爬虫的命中数其实长期挂零。

9/15 之后，平台预设也会改变

Cloudflare 将于 2026 年 9 月 15 日起，对新接入的域名引入三类 AI 流量的独立预设：在展示广告的页面上，Training 与 Agent 预设被阻挡，Search 维持允许。这代表「一笔封锁」的二元时代正在结束，取而代之的是分类的、有意识的 Bot 政策。

但这也带来新的风险：如果你的资安团队在 9/15 之后才开始分类管理，很可能会不小心把 Search 型也一并挡掉。真正的解法，不是「全开」或「全关」，而是让 AI 帮你做这个分类判断。