#060
2026-11-10

AIクローラーの「ただ読み」:年間1700%増のトラフィック、請求書は誰が払う?

📰 もっとニュースを見る?
ニュース一覧を見る

2026年、インターネットに「第二の読者」が現れた——トラフィックの過半が、もう人間ではなく機械由来だ。Cloudflareが9月末に発表した報告書によると、同社が担う平均負荷は2024年末の秒間6,300万HTTPリクエストから1億1,500万リクエストまで拡大し、最大の増加源は検索エンジンではなくAIシステムである。AIエージェントの1日あたりのリクエスト量は1年で1700%以上急増し、2025年の「ユーザーがトリガーするフェッチ」は15倍以上に成長した。サイト運営者にとって、これらはいずれも現実のリクエスト——現実の接続、現実の帯域、現実の請求書だ。

まずはこの「読者」を三層に分けて見る必要がある。学習用クローラー(GPTBot、ClaudeBot、Applebot-Extendedなど)はコンテンツを取り込んでモデルの学習に使っており、AI検索クローラー(OAI-SearchBot、PerplexityBot)はユーザーの質問に答えるためにページをリアルタイムでフェッチし、ユーザー代理型フェッチ(ChatGPT-User)は誰かがチャットボックスに質問を入力した際の代理取得である。HUMAN Securityの4月統計では、AI駆動トラフィックの31.8%がChatGPT-User、19.5%がOAI-SearchBot、17.6%がGPTBotだった。Cloudflareのデータはより直接的で、2026年6月、同社が受けたクローラーリクエストの52%がAI学習向けだった——この比率は2025年の春にはまだ22%にとどまっていた。

問題は「取得されること」そのものではなく、「取得したのに、何も返さないこと」にある。検索エンジンのビジネス論理は「フェッチとトラフィックの交換」だ——Googlebotがあなたのページを取得し、検索結果に配置し、人を連れてくる。AIクローラーにはこの交換がない。Anthropicの「フェッチ数対参照元トラフィック」比率は2025年に一度フェッチ50万回に対して参照元トラフィック1件という水準に達したのに対し、Googleの同指標は3対1から30対1にとどまる。10年以上にわたりLinuxとセキュリティの解説サイトを運営してきたあるサイトオーナーは、直近数週、オリジンサーバーのアクセスログを1行ずつ照合した。6日半でAIクローラーが16,194ページを取得したのに対し、GooglebotとBingbotの合計は10,433ページ。ある夜、AI回答ボットがオリジンに到達して57ページを取得した後、サイトに戻ってきた読者はゼロだった——少ないのではない、ゼロだ。機械は読み終え、去り、請求書は記事を執筆した人の机に残る。

サイト運営者はすでに反撃を始めているが、その手段はまだ「礼儀正しすぎる」。8月初旬に行われたインターネット上位2,000ドメインを対象としたrobots.txt分析では、約19%のドメインが少なくとも1つの主要AIクローラーをブロックしており、AmazonはGPTBot、ClaudeBot、Google-Extended、PerplexityBot、Bytespiderという5つの主要クローラーを一度にすべて遮断している。Cloudflare上のサイトでは「検索クローラー」をブロックするものは1%未満、「学習クローラー」をブロックするものは17%——多くの運営者が「AI検索にはトラフィックを連れてきてもらい、AI学習にはただ読みをさせない」というスタンスを取っている。しかしrobots.txtの本質は紳士協定に過ぎない。Fastlyの1月データでは、同社ネットワーク上のAIフェッチリクエストの97%がChatGPT-UserとOAI-SearchBotから来ており、そのうち57%はそもそも非公開あるいはアクセス不能なコンテンツを対象としていた。「礼儀正しい拒否」すら読まない機械にとって、robots.txtのブロックは単なる提案に過ぎない。

運用チームにとって、これはBot対策がrobots.txtやCDNコンソールの設定項目に留まらず、継続的なセキュリティ+コストの課題として取り組むべきことを意味する。第一に、識別は信頼できるものでなければならない——User-Agent文字列でのクローラー遮断は空気を遮断するのと同じで、主要クローラーのUAはすでに大規模に偽装されており、実際に機能するのはCDN/WAF層の検証済みBot署名(verified bot signature)と行動特徴だ。第二に、分類は精緻でなければならない——学習型、検索型、ユーザー代理型ではリスクと価値がまったく異なり、一律にすべて遮断すれば自分が望むAI検索の露出を傷つけ、一律にすべて許せば請求書が膨らむ。第三に、コストは可視化しなければならない——AIトラフィックを合計帯域から切り出して帰属分析をしない限り、毎月どれだけのCDN費用が機械のために支払われているのか分からない。加えて見過ごされがちな事実として、Vercelの測定では主要なAIクローラーはほぼJavaScriptを実行しない——クライアントサイドで読み込まれるコンテンツはそもそも目に入っておらず、これがコンテンツ保護の副次的効果であると同時に、「57%が非公開コンテンツをフェッチする」という数字が可能になる理由でもある。

💡 LAFA 視点

毎年1700%成長しているのはAIトラフィックであり、遮断すべきは「AI」そのものではなく「ただ読み」だ。LAFAの24/7 AI運用はWAF層でBot識別と振り分けを行う——検証済みの検索クローラーは露出との交換で通し、学習型と偽装者は直接遮断し、毎月機械のために支払うCDNコストを請求書から切り出して可視化する。