WAFがAI検索クローラーを黙ってブロック中：Botトラフィックの4分の1はAI、あなたの引用権はすでに奪われている可能性

2026年のCDNとBotトラフィックの地殻変動は、もう「変化」ではなく「完成形」になりつつある。Cloudflareの最新の計測によると、AIクローラーは「検証済みBotトラフィック」全体の20.3%を占めるまでになっています。AI検索Botの6.5%を加えると、合法Bot負荷の約4分の1がAI関連です。つまり、あなたのCDN請求書、サーバーのI/O、ログ処理コストの一部は、すでにAIクローラーが消費しているのです。

しかし多くのセキュリティチームが見落としているのは、「AIクローラーが多い」という事実ではなく——あなたのWAFが、あなたのサービスをAI検索で引用され・発見されるためのクローラーを、黙ってブロックし続けている可能性です。しかもその事実を、マーケティング部門ですら知らないケースがほとんどです。

AIクローラーは「1種類」ではなく「3種類」

「AIクローラー」を1カテゴリとして扱うことこそが、多くの誤った判断の出発点です。2026年に重要となるAIクローラーは、実際には3つの明確なクラスに分かれ、それぞれをブロックする代価は全く異なります：

• Training（学習型）：GPTBot、ClaudeBot、CCBotなど、モデルの学習にコンテンツを集めるタイプ。ブロックした短期のコストは低いですが、長期的にはモデルのあなたのブランドへの認知が弱まります。
• Retrieval（検索型）：OAI-SearchBot、Claude-SearchBot、PerplexityBotなど、リアルタイムのAI検索回答のためのインデックスを構築するタイプ。これをブロックすると、そのAI製品の検索結果からあなたのサービスが即座に消える——代価が最も高く、最も即時的な影響があります。
• User-triggered（ユーザー誘発型）：ChatGPT-User、Claude-Userなど、ユーザーが今まさに質問した瞬間にページをフェッチするタイプ。ブロックすると、あなたをリサーチ中の見込み客がエラーページを見ます。

Cloudflareのデータでは、Training型がAIクローラー量全体のほぼ80%を占めています——最もノイズの大きいクラスこそ、ブロックのコストが最も低いクラスです。多くのセキュリティチームは「クローラーが多い・ノイズが大きい」と見て、ノイズの大きいTraining型と、静かだが引用権を握るRetrieval型をまとめて遮断してしまいます。結果、CDNコストをわずかに節約した代わりに、AI検索の可視性を失うのです。

WAFとrobots.txtの「無音の衝突」

さらに厄介なのは、WAFルールがrobots.txtを上書きするという点です。robots.txtには「OAI-SearchBotを許可」と書いていても、エッジのWAFルール（あるいは2022年に書いた「未知Botをブロックする」という古いルール）が更新されていなければ、そのクローラーがあなたのオリジンに到達する回数はゼロです。しかもダッシュボードには何も出ません——ブロックされたリクエストは「成功トラフィック」にカウントされないからです。

これが「無音」の危険です。アラートにも出ない、レポートにも出ない。ただ静かに、あなたのサービスをあるAI製品の回答から消していきます。検証するにはオリジンのログを掘り下げ、各クローラーのUser-Agentトークンと突き合わせること——Retrieval型クローラーのヒット数が長期間ゼロだった、ということがよく見つかります。

9月15日以降、プラットフォームの既定も変わる

Cloudflareは2026年9月15日から、新規オンボーディングされたドメインに対して3つのAIトラフィックカテゴリの独立した既定を導入します。広告を表示するページでは、TrainingとAgentが既定でブロックされ、Searchは許可のまま。これは「全部ブロック」か「全部許可」かの二択の時代が終わりを告げ、分類された・意図を持ったBotポリシーの時代が来ることを意味します。

しかしここにも新たなリスクがあります。9/15以降、セキュリティチームが分類管理を始めてから初めて、Search型クローラーまで誤って遮断してしまう可能性があります。本当の解決策は「全許可」でも「全遮断」でもなく、AIにその分類判断を行わせることです。