Cloudflareが9/15からAI訓練・エージェントクローラーを既定でブロック：CDN請求書はついに分類され始める

2026年7月1日、Cloudflareは第2回Content Independence Dayの場で、「AIクローラーをブロックするか否か」という従来の二択を、3つの独立したスイッチに置き換えた。Search、Agent、Trainingである。これは単なる名称の整理ではなく、CDN帯域の費用を誰が払い、誰がAIに引用されるのかという再配分だ。

9月15日から、新規ドメイン、既存顧客が追加したサイト、およびすべての無料プランを対象に、広告を表示するページではTrainingとAgentクローラーが既定でブロックされ、Searchクローラーは引き続き許可される。既存のサイトを持つ有料プランは現設定を維持できるため、最も無自覚に設定が変わるのは、広告付きページの無料プランの小規模サイトだ。

3つのクローラー分類、3つのビジネス結果

• Search（検索型）：OAI-SearchBot、Claude-SearchBotなど。内容を索引して後に回答に使い、引用を返す。許可＝AI検索の答えにあなたのサービスが表示され、トラフィックが戻る。
• Agent（エージェント型）：ユーザーの代わりにリアルタイムで回答を取得するもの（チャットエージェント、browser-useなど）。ブロック＝サードパーティのエージェントに即座に内容を引っ張られることを減らす。
• Training（訓練型）：GPTBot、ClaudeBotなど。内容はモデル訓練に吸収される。ブロック＝CDNとオリジンサーバーへの無効トラフィック負荷を最も大きく削げる。

Cloudflareの調べでは、AIクローラーは検証済みボットトラフィック全体の20.3%、さらにAI検索ボット6.5%を加えると、正規ボット負荷の約4分の1がAI関連。Training型はAIクローラー量の約8割を占めるものの、返ってくる価値は最小である。「クローラーが多い・うるさい」と見て3分類まとめて遮断するチームは、CDNコストをわずかに節約した代わりに、AI検索での可視性も一緒に殺している。この無音のトレードこそ、本来ボットポリシーが防ぐべきものだ。

ハイブリッドクローラーの罠：Googlebotは最厳ルールで判定

現実のGooglebotやBingBotは、検索索引と訓練データ収集の両方を担う「両生類クローラー」だ。Cloudflareはこれらに対して適用可能な中最も厳格なルールを適用する。つまりTrainingをブロックすれば、検索索引を同時に行っているハイブリッドクローラーも一緒に遮断される。運営者は「訓練トラフィックの遮断」と「AI検索引用権の維持」の間に、意図的な選択を迫られる。どちらの代償が大きいのかは、実測して初めて分かることが多い。

またCloudflareは、Pay Per CrawlのテストをPay Per Use方向へ推進している。コンテンツが単に取得されただけではなく、実際にAI生成の答えに採用された時点で初めて課金・収益分配される。現時点で公開パートナーはCeramic.aiとYou.comの2社のみで、まだ初期段階の仕組みだ。

WAFは「ブロック／許可」から「分類ガバナンス」へ

9/15以降、二進法の遮断ではもはや不十分だ。企業に必要なのは、クローラーの分類・意図・ビジネス価値を識別するエッジレベルのガバナンスである。Searchは通過させ、Trainingは落として、悪意あるボットはブロックし、同時にWAFポリシーとrobots.txtの意図を自動突合させる。そうすれば、たった1回の403や429で、あなたのサービスがAI検索の答えから無音に消える事故を防げる。