AWS WAF が HTTP 402 ペイパークロールを開始：あなたのサイトは AI ボットに課金すべきか？

1997 年、IETF は HTTP 仕様に一つのステータスコードを記しました：402 Payment Required（支払いが必要）。それは「予約枠」として設計されました——技術的には存在するものの、ほとんど誰も使いませんでした。そして約三十年後、この眠っていたステータスコードは、グローバルなネットワーク基盤で最も注目を集めるトピックの一つになりました。

理由はシンプルです：AI クローラーがウェブサイト運営者のリソースと予算をかつてない速度で消費しており、HTTP 402 は機械同士で「有料通行」の合意を行うための最初の標準化された手段を提供します。注目すべきは、この変更を主導しているのはスタートアップではなく、CloudflareとAWSという世界の最大手のクラウド基盤事業者であることです。

WAF が料金所に変わる時

2025 年 7 月、Cloudflare は Pay Per Crawl を発表しました。サイト所有者はドメインごとのリクエスト単価を設定でき、AI クローラーがコンテンツを要求した際、ヘッダーに支払い意図を含めない場合、HTTP 402 のレスポンスを受け取りブロックされます。

2026 年 6 月 15 日、AWS も同じメカニズムを WAF Bot Control に統合しました。AWS の実装はさらに細かく：コンテンツパスごと・ボットタイプごとに価格を設定可能で、ウェブサイトのコードを変更する必要もありません。決済は Coinbase インフラを介してステーブルコインで行われます。

両システムの共通点は明確です：課金メカニズムは CDN/WAF エッジ層にある——すなわち、「誰がアクセスできるか」を決めていた同じレイヤーです。つまり、アクセス制御と収益化が正式に合併し、すべてのトラフィックをデフォルトで許可する時代は終わりました。

収益だけではない：可視性のトレードオフ

表面的に見れば、HTTP 402 は AI 企業にコンテンツを「賃貸」する方法に見えるかもしれません。しかし深く分析すると、真の問題は収益ではなく可視性です。

過去三十年間、検索エンジンクローラーとウェブサイトの間には暗黙の了解がありました：あなたのコンテンツをクロールさせて、その代わり訪問者を送りましょう。Google Bot がページをインデックスするたびに、そのページは検索結果に表示され、実際のトラフィックをもたらしました。これは双赢の循環でした。

AI 時代はこのルールを壊しました。AI クローラーのクロール目的は「クリック可能なインデックス」を作成することではなく、モデル訓練のためにコンテンツを取得することです——あなたのデータを運び去りますが、読者をあなたのサイトに戻すことはほとんどありません。Cloudflare の分析によると、AI クローラー活動の約 80% はモデル訓練用で、実際にリファラトラフィックを生む検索目的のリクエストはごく僅かです。

つまり HTTP 402の本質とは：サイト所有者に「私のコンテンツを無料で閲覧できるボットは誰か」を再決定させることです。どのクローラーに課金し、どのボットを通すかを選ぶことは、結局のところあなたのブランドがどの AI 回答で言及されるかを決めることになります。

正解は一つない——あなたが誰かによる

"AI クローラーに課金すべきか？"この質問には唯一の正解はありません。適切な戦略はあなたのコンテンツの種類と配布モデルによって変わります：

• 大手データベースと新聞機関：大量の高価値な独自コンテンツを所有し、AI 引用に依存しない配布戦略を持っている。HTTP 402 は交渉の切り札になる。
• 中小企業のウェブサイトとスタートアップ：コンテンツは AI 企業を引きつけるほどユニークではないかもしれないが、CDN コストが無効トラフィックによって消費されることをより懸念している。彼らにとって重要なのは「課金」ではなく「ブロック」——価値のないクローラーをエッジ層の外部に排除することです。
• 開発者や技術サービス事業者：AI エージェントが自分の API やドキュメントにアクセスすることを必要としつつ、「正当なツール統合」と「悪意あるデータ抽出」を区別したい。このグループが必要なのは高度なボット分類とレートリミッティングです。

基盤となる技術：x402 オープン標準

Cloudflare と AWS の HTTP 402 実装は同じ底層プロトコル、x402の上に構築されています。これは Coinbase が主導開発するオープン標準で、ステーブルコインによる機械間決済を実現し、支払い側がアカウントや KYC を持つ必要はありません。つまり料金所の範囲は既知の AI クローラーだけでなく、匿名ボットにも拡張されるということです。

さらに TollBit、Akamai、Skyfire などのサードパーティソリューションもこの市場に進出しています。それらすべての共通トレンドは：アクセス制御と課金が同じエッジルールエンジンで完了することです。WAF ファイアウォールと別の課金システムの両方が必要なのは過去の話——それらはすでに融合しています。

運用チームへの現実的な影響

AI クローラーに課金するかどうかに関わらず、HTTP 402 の出現は一つの現実を示しています：あなたの WAF/CDN エッジが今やボットトラフィックを制御する唯一の最前線となった。これはすべての運用チームが以下のことを実行する必要があることを意味します：

第一、誰がクロールしているかを可視化する。 ボット分析ツールで、検索エンジン（歓迎すべき）、AI エージェント（価値があるかもしれない）、純粋な訓練クローラー（ただ奪うだけ）の区別を行う。見えないものは管理できません。

第二、階層化したポリシーを確立する。 異なるボットタイプに異なるアクセスルールを設定——正当な検索エンジンは全面開放、AI エージェントはレート制限、訓練クローラーはブロックまたは課金。

第三、自動化で実行する。 人手による監視と手動ブロックではもう十分ではありません。リクエストがサーバーに到達する前に識別・分類・対応できる自動防御システムが必要です。