間もなく 2026 年 9 月 15 日、インターネットの「クローラー経済」は転換点を迎える。9 月 15 日以降、Cloudflare は新しいドメインに対して AI トレーニング・エージェントクローラーをデフォルトでブロックし、広告を表示するページから優先的に制限、検索クローラー（Search）のみを許可する。これは単なる一つのベンダーの政策変更ではなく、業界が「許可 vs 拒否」の単純な二択から、「クロール徘量課金」や「ライセンス」による市場化モデルへと移行していくことを示している。
なぜこのタイミングが重要なのか。これまで AI クローラーに直面したサイト運営者が最も頼ってきた防御ツールは、実は最も脆かった——robots.txt。2026 年 7 月に 10,000 ドメイン以上を対象とした分析では、robots.txt で設定した GPTBot のブロックの約 39.5% がネットワーク層で実際に遵守されていなかった。つまり、約 10 件のうち 3 件ものサイトが AI クローラーをブロックしていると思っているのに、実際にはまだ大量にクローリングされている状態だ。
robots.txt は本質的に、オプトインの礼儀論理（courtesy protocol）である。それは二つの前提に依存している：クローラーがファイルを尊重し、そして身元を正直に表明すること。AI の時代では、この二つの前提も保証されない。最新のクローラーは身元を偽装し、人間のブラウザ行動を模倣し、逆 DNS や IP 範囲の偽装で検証を回避することもできる。
業界は両方向で対応している。一つは Cloudflare の「クロール徘量課金」モデルで、出版者は AI 企業に対して直接アクセス料を請求でき、吸収しきれないコストを収益に変える。もう一つはライセンス契約の台頭で、大規模な AI 学習組織が高品質コンテンツに支払い、サイト運営者がトグル一つで誰を許可し誰を拒否するかを決められる。
ほとんどの中小サイトにとって、これらの仕組みは一つの現実を意味する。技術巨人でなくても、「クローリングされる」ということからも経済的利益を得ることができる。重要なのは、誰を許可し誰を拒否するかを明確に決められることだ。
直接的な CDN トラフィックに加え、無効クローラーはサーバーにさらなる、より狡猾で排除が難しい負担を課す。大量のリクエストが CPU、メモリ、接続リソースを消費し、実際のユーザーの体験を劣化させ、拒否サービス（DoS）の前触れになることもある。そのためますます多くのサイト運営者が「エッジ」で智能的な遮断を導入し、バックエンドサービスに到達する前にトラフィックの来源を判断している。
難しいのは「悪いのはブロック、良いのは残す」ことだ。一部の AI トラフィックは有害で——資源を消費するだけ、学習や悪意あるスキャンを行う。他の AI トラフィックは価値があり——参照トラフィックを生み出し、将来的に顧客に変わる可能性も持つ。2026 年は、これがワンサイズフィッツオールな決定ではなく、「クロール対参照比」を継続的に検出・評価する動的プロセスであることを教えている。
コンテンツライブラリが大きい、トラフィックコストが大きいサイトにとって、クローラーの行動を手動で監視することは現実的でも、ルールの進化に追いつける速さでもない。ここで AI オペレーションの価値が発揮される——24 時間 365 日の異常トラフィックの自動検出、リアルタイムなルール調整、攻撃パターンへの秒単位の対応。Cloudflare、WAF、自前エッジルールを使おうとも、自動化されたオペレーションフレームワークが「無効トラフィックの遮断」を一回限りの設定から、常時稼働する盾へと変える。
9/15 が AI クローラーのブロックをデフォルトにするようになると、本当の戦場は「ブロックすべきかどうか」から「どれだけ正確で速くブロックできるか」へと移る。雷飛数位の AI オペレーションコンサルティングはまさにこの瞬間のために作られた。高消費クローラーの自動検出、即座の WAF とエッジルールの調整、トラフィック異常への AI による秒単位の対応。無効トラフィックを止めれば、CDN 請求も止めることができる。