51Degreesが近日発表した調査は、30億回の実際のサイト訪問（2026年5月29日までの1年間）をベースに、通信・メディア・小売・決済・テクノロジー等の業界をカバー。CDN請求書を支払っているすべての人にとって、3つの数字を確認する価値がある：AIボットトラフィックは前年比+62.5%、全体のwebセッションの13%（去年は8%）に達し、識別された72個のAI関連クローラーのうち、AmazonBotとMeta-External-Agentの2社だけでその63%を占めている。
ここ1年、AIクローラー関連の議論はGPTBot・CCBot・ClaudeBot——見出しと裁判所で話題になった名前——が中心だった。しかし51Degreesのデータは全く違う物語を語っている：1日あたりAmazonBotは643万セッション（全体のwebトラフィックの4%超）、Meta-External-Agentは約423万セッション（3%）。一方、もっとも話題のClaudeBotは1日約28.8万セッションで7位、OpenAI Search Botは約12.9万セッションで9位。上位4つのクローラー（AmazonBot、Meta、AhrefsBot、BingBot）だけで、クローリングセッション全体の85%を消費している。
名前よりも「負荷の形」が重要だ。Known AgentsはAmazonBotを「広範で大規模なスキャン抓取、1訪問あたりの取得ページ数は一般の検索クローラーを大きく上回る」と説明。ターゲットを絞った学習用クロールとはまったく別の負荷プロファイルで、そのままあなたのオリジンサーバーのメモリ・キャッシュヒット率・egress帯域に直撃する。オリジンは遅延を感じ、請求書は金額を感じた。
この調査で最も逆直覚的な数字：AIクローラーのrobots.txt遵守率は95.6%。つまり「ルールを守らないボット」の問題はほぼない——ギャップはルール側にある：追跡対象の出版サイトは、平均してrobots.txtに約21%のAIクローラーしかブロックしていない。カバー率は100%から約2%まであり、その差は技術力とは無関係。「誰かが最後にこのファイルを開いて最新のuser-agentリストと照合したのはいつか」だけが全てを決めている。
一言で言えば：ボットはあなたのルールに従っている。ただし、ルールは彼らが存在する前に書かれたもの。去年のrobots.txtが2026年のクローラー環境にぶつかれば、それは期限切れの入退室カードに過ぎない。
各ボットセッションはすべてあなたの請求書に載る：オリジンリクエスト、キャッシュミス、egress帯域、DBクエリ——引き換えに得られる価値がゼロかもしれない。検索クローラーはランキングとトラフィックを運んでくる。これはビジネスだ。大規模な学習スキャン抓取が運んできたのは、あなたの帯域請求書だけ。「ブロックするか許可するか」は二択ではなく、ボット単位で決めるべき——検索リファラルを生むものは許可し、高トラフィック・低価値なものはレート制限またはブロックし、変更のないページの繰り返し取得を優先処理する。そしてrobots.txtはあくまで「丁寧な依頼」。それ以外はCDN/WAF層のレート制限とWAFルールが、エッジで実際にトラフィックを止める。
最も高価なボットトラフィックは、たいていあなたが存在すら知らなかったものだ。Lafa SystemのAI 24/7ログ分析が本当の帯域大物を特定し、WAFエッジ層で許可・レート制限・ブロックのボット別ポリシーを自動実行——CDN請求書は、本当にもてなしたいトラフィックの分だけを払う。