Cloudflare、9月15日のデッドラインを設定：混合型クローラーはデフォルトでブロックに — AIトレーニングの新時代到来

公開日：2026年7月2日 ｜ 出典：TechCrunch、Cloudflare公式発表、Cloudflare Radar

インターネット上の人間トラフィックはもはや大多数ではない — このマイルストーンは予想より早く到来した

あなたがこの記事を読んでいる間、世界中のウェブトラフィックの半数以上がボットから発生しています。Cloudflare共同創業者兼CEOのMatthew Prince氏は最新の発表で明確に指摘しました：「インターネット上のトラフィックの大多数が非人間である現在、持続可能なエコシステムを浮上させるためには、さらに踏み込んだ迅速な行動が必要です。」

この転換点は当初、来年になる予測されていましたが、実際にはボットトラフィックが人間トラフィックを上回る瞬間はすでに訪れています——つまり、あなたのウェブサイトサーバーは現在、100件のリクエストのうちに50以上をボット処理に費やしていることになります。

9月15日：Cloudflareの新防衛ライン

TechCrunchの最新報道によると、CloudflareはAI業界に正式な期限通知を発出了：2026年9月15日より、Cloudflareのデフォルト設定はすべての「混合型」クローラーを自動的にブロックします——つまり、従来の検索、AIエージェント操作、モデル訓練のすべてを同時に行うボットです。

具体的には以下の影響があります：

• 無料プランのCloudflare顧客：デフォルトで混合型ボットをブロック
• 新規登録のサイトと顧客：新しいデフォルト値が同等に適用されます
• 広告を表示するページ：混合クローラーはこれらのコンテンツを取得できません
• ウェブサイト所有者はまだ手動で設定を調整できます。特定のクローラーへのアクセスを許可可能

なぜこれが重要なのか？——あなたのデータがもう無料で使われなくなる

過去数年間で、大手AI企業はクローラーを通じてウェブ上の公開コンテンツを大量に取得し、モデルを訓練してきました。ウェブサイト所有者にとって、これは苦労して構築した知的財産が無料で搾取されてきたことを意味します——Googleなどの検索エンジン巨人は、検索とAIの両方の役割を同時に果たすことで、「二倍の情報優位性」を楽しんできました。

Cloudflareの発表では「世界最大の検索エンジン」（明らかなGoogleへの言及）が検索クローラーのエストablishedされたチャネルを利用し、顧客が「検索可能に残る」と「AI訓練に使われない」の間に本当の選択をすることはほぼ不可能だと指摘しています。

Pay Per CrawlからPay Per Useに——「取得時に課金」から「使用時に課金」へ

Cloudflareは単にブロックするだけでなく、商業化の道筋も示しています。以前に導入されたPay Per Crawlは現在、Pay Per Useへと進化中：AI企業があなたのコンテンツから価値を引き出すとき（ページを取得した瞬間ではなく）、ウェブサイトには報酬が支払われます。

すでに2つのパートナーがサービス開始済み：

パートナー	ビジネスモデル
Ceramic.ai	コンテンツがCeramicのAI検索結果に表示された際に出版業者は報酬を得る
You.com	You.comがプレミアムコンテンツにアクセスした際に出版業者は報酬を得る

データが示す事実：AIボットトラフィックの半数以上が「非効率的な再取得」

Cloudflareの内部データは重要な発見を明らかにしています：AIクローラートラフィックの50%以上は、全く変更されていないページの再取得に費やされています。つまり、サーバーリソースが無駄に消費されるだけでなく、CDN帯域幅もこれらの冗長なリクエストのために費用をかけているということです。

ウェブマスターがCloudflareの新ツールを適切に活用し、自動ブロック規則と組み合わせれば、通常の検索エンジンインデックス性を維持しながら、このような非効率トラフィックを大幅に削減できます。