Meta AI 爬虫 Q2 产生 90 亿次请求，零转化：DataDome 报告揭开 Bot 流量成本危机

2026 年第二季度的网路流量数据揭开了一个令人担忧的现实。资安防护公司 DataDome 最新报告指出，Meta AI 的爬虫在 Q2 总共产生了 90 亿次请求，耗尽了出版商的频宽、伺服器资源与 CDN 额度——但这些爬虫带来的推荐流量几乎是 零。

对比之下，OpenAI 的 ChatGPT 爬虫虽然请求量大幅下降，却贡献了 88% 的 AI 来源转介流量。换句话说，Meta AI 在大量抓取内容的同时，几乎没有把使用者导回原始网站。

90 亿次请求，零回流——不对等的代价

DataDome 在 Q2 记录了总计 177 亿次 AI Agent 相关的 HTTP 请求，其中 Meta AI 占据最大比例。每一次爬取都意味著出版商需要承担频宽成本、CDN 交易费用、伺服器运算资源，以及日志处理的额外开销。

传统搜寻引擎时代的逻辑是「我爬你的内容 → 使用者透过搜寻找到你的网站」，但 Meta AI 打破了这个平衡——它在大量抓取后，几乎没有产生任何回流效益。对预算有限的中小型站长而言，这意味著 你在为别人的 AI 产品免费提供运算成本。

GPTBot 成为最被阻挡的爬虫

根据 Q1 2026 年的 robots.txt 分析，GPTBot 以 5.52% 的比例成为最常被封锁的 AI 爬虫，其次是 CCBot（5.08%）和 ClaudeBot（4.88%）。这显示越来越多的站长意识到爬虫治理的重要性。

但问题在于，robots.txt 只能约束「遵守规则」的爬虫。大量未经授权的爬虫、伪造 User-Agent 的恶意 Bot，以及试图绕过封锁的混合爬虫，根本不会读取 robots.txt。

Cloudflare 推出三类 Bot 管理分类

为回应站长对更精细控制的需求，Cloudflare 在第二届「Content Independence Day」上宣布推出 三类 AI 流量分类管理，适用于所有客户（含免费方案）：

• Search（搜寻）：建立索引以回答使用者查询的爬虫。站长可预期获得推荐流量回报。
• Agent（智能代理）：代表使用者即时执行任务的自动化行为，如 ChatGPT-User、Gemini 或 Claude 驱动的浏览器代理。
• Training（训练）：收集内容用于模型训练的微调爬虫。

这代表站长不再需要「一刀切」封锁所有 AI 流量，而是可以针对不同类型的 Bot 设定不同的存取策略——允许搜寻爬虫索引、限制 Agent 频率、完全封锁训练爬虫。

从 robots.txt 到边缘执行：Bot 治理的演进

专家建议，单纯依赖 robots.txt 已不足以应对 2026 年的 Bot 流量挑战。有效的 Bot 管理需要在 CDN 与 WAF 层级整合以下能力：

• 身份验证：透过反向 DNS、IP 范围校验确认爬虫真实身分
• 行为分析：即时判断请求模式是否为人类或机器
• 速率限制：对高频 Bot 自动降速，而非直接封锁
• 选择性授权：允许特定 AI 合作伙伴存取，同时拒绝未授权爬虫

这正是 AIOps（AI for IT Operations）的核心价值——利用 AI 自动化来识别、分类并管理日益复杂的流量模式，将传统的「被动防御」转化为「智能治理」。