あなたのウェブサイトは月にどのくらい CDN に費用をかけていますか？「結構」だと答えるなら、あなたは大手テック企業のために無料で請求を支払っているのかもしれません。
サイバーセキュリティ企業の DataDome が発表した最新のレポートでは、ウェブサイト運営者にとって深刻な事実が明らかになりました。Meta の AI ボットは 2026 年第 2 四半期に驚異の 90 億回のリクエストを生成し、AI モデルの学習のためにウェブサイトのコンテンツをクロールしました。しかしこれらのリクエストはゼロの参照トラフィックしか返さず、膨大なサーバーリソースと CDN バンド幅を消費——その全額をウェブサイト運営者が負担しているのです。
過去 30 年間、検索エンジンのボットとウェブサイトの間には暗黙の了解がありました。あなたは私のコンテンツをクロールさせて、私はあなたにトラフィックを送ります。Google ボットがページをクロールするたびに、検索結果に表示されるチャンスを得て、実際の訪問者をもたらしました。これは相互利益の生態系でした。
AI エポックは那条則を崩壊させました。AI クローラーはコンテンツをモデル学習のためにスクレイピングします——訪問者をあなたのサイトに戻す必要も意志もなく。あなたは CDN 請求を支払って、彼らがあなたのコンテンツを持ち去るようになり、その唯一の見返りはさらに大きい請求書です。TechRadar の分析が述べるように「ウェブサイト運営者が決して同意しない一方的な搾取」なのです。
重要な点ですが、すべての AI 企業が同じアプローチを取るわけではありません。レポートでは 2 つの代表的プレイヤーを比較しています：
これは重要な違いを示しています。一部の AI 企業は価値を提供することに意欲的ですが、他はただ取るだけで何の返報もしません。
この危機に応じて、CDN 大手の Cloudflare は 7 月上旬に包括的な AI トラフィック管理アップグレードを発表しました。昨年の一クリック「AI ボットをブロック」機能に続き、Pay Per Crawl マーケットプレイスを導入しました。
コンセプトはシンプルです。ウェブサイトコンテンツのクロールを AI 学習のためにしたい？リクエストごとに支払ってください。Cloudflare はさらに細かな分類システムを導入し、自動化トラフィックを 3 つのカテゴリに分類：
ウェブサイト運営者は今では各ボットタイプに対して異なるアクセス権限を設定——さらに AI 企業にアクセス料金を請求することができます。
DataDome のレポートはさらに、AI クローラートラフィックが異なる規模のウェブサイトに及ぼす影響を分析しています。大手プラットフォームには交渉力があるかもしれませんが、中小型ウェブサイトやスタートアップ企業が最も重い負担を負っています：
この問題は消えません。むしろ、より多くの AI 企業が市場に入るにつれて悪化します。ウェブサイト運営者とサービスプロバイダーは今すぐ 3 つの防御ラインを確立すべきです：
第一線：識別。 リクエスト特性（User-Agent、行動パターン、IP 評判）で AI クローラートラフィックを区別してください。すべての自動化リクエストが悪意があるわけではありません——Google ボットはまだ歓迎されるべきですが、Meta のような学習ボットは制限が必要です。
第二線：分類。 異なるボットタイプに対して異なるレート制限を設定してください。正当な検索エンジンはアクセスを維持し、モデル学習ボットはスロットルまたはブロックされるべきです。
第三線：ブロックまたは課金。 価値を生み出さない AI クローラーを直接ブロックするか、Cloudflare の Pay Per Crawl のようなメカニズムで課金してください。