リクエストの過半数が人間でない時代：AIクローラーがあなたのCDN・サーバーコストを静かに蝕んでいる

ホスティングのダッシュボードを開くと、何も悪くないように見える。uptimeは安定、ページ表示は速い、ここ数週変更もしていない。しかし帯域使用量は少しずつ積み上がり、PHPワーカーは以前より忙しく、次の請求書には見知らぬ超過料金が一行混入している。あなたのトラフィックは増えていない——では誰がサーバーを食っているのか。答えが「お客様ではない」ことが増えている。その正体はAIクローラーであり、今もあなたのサイトを巡回している可能性がある。

これは仮説ではない。Cloudflareの2026年8月データによると、HTMLページリクエストの過半数はもはや人間から来ていない。Impervaの年間Bad Bot Reportでは、自動トラフィックがWeb活動全体の51%を占め、そのうち「悪質Bot」が37%とされています。増加速度も加速しており、TollBitの出版者ネットワーク追跡では、AIクローラー対人間の訪問者比率が2025年初の1:200から第4四半期には1:31へ——わずか1年で6.5倍に悪化しています。あなたのサイトは、この洪水の中の一滴です。

なぜAIクローラーは通常のBotより高コストなのか

普通のBotがキャッシュを悩ませる程度なら、AI学習クローラーはサーバーに無給の労働を強いる。真に痛いのはその振る舞いパターンです：

• キャッシュを素通りする：人間はキャッシュ済みページを受け取るが、AIクローラーは動的ページ（実時価格の商品ページ、認証が必要な会員ページ、検索結果ページ）へ深く潜り込み、PHP実行・DB照会・ページ生成を毎回ゼロから強いる
• ワーカーを独占する：GPTBotやClaudeBotは1分間に数百件のリクエストを投げ、限られたPHPワーカーを飽和させ、本物の顧客が後ろで待たされる
• 帯域を膨らませる：完全なHTMLをダウンロードし、CSS・JS・画像まで拉ぐことがある——単一のクローリングセッションで数十GB消費することも
• DBを殺す：動的ページ1枚で50〜100回のクエリが発生。クローラーはログインもしていないのに権限ロジック全体を回し、ページは最後にただのプレーンテキストに分解されるだけ
• 解析データを汚染する：PV・バウンス率・コンバージョン率が水増しされ、30〜50%がBotのデータで意思決定するなら、それは目を開けていない状態で操縦しているようなものだ

最も隠れた被害：見ることすらできない

ホスティングパネルは帯域・ディスク・CPUを表示するが、「誰が消費しているか」は教えてくれない。火曜午後の帯域急増は、マーケティングが成功したのか、それともClaudeBotが商品カタログを全部巡回したのか。Botレベルの可視化がなければ見分けがつかず、直しようもない。多くのサイトオーナーは「サイトがプランに追い付かなくなった」と判断してアップグレードするが、実は招待もしていないクローラーの大軍に代金を払っていたのだ。

遮断の正しい層：エッジであり、サーバーではない

Bot防御で最も重要な一筋の光：Botがオリジンに到達する前に止めろ。Botがサーバーに届いた時点で、PHPは既に実行済み、クエリは既に完了、帯域は既に焼けている——その時点でプラグインや.htaccessで遮断するのは、ドアを蹴破られた後に鍵を取り付けたようなものだ。正しい順番はCDN/WAFのエッジ層で識別・遮断すること。リクエストはエッジノードで消え、オリジンは存在すら知らず、コストはゼロ。

robots.txtはどうなのか？それは礼儀上の提案に過ぎない——GPTBotやClaudeBotのような「规矩ある」クローラーは概ね従うが、偽装者と無良なスクレイパーは無視する。本物の強制力はネットワーク層にある。「何を止め、何を残すか」は判断が必要だ：純粋な学習クローラーはコンテンツを持ち去り何の返礼もない——止めるべき。AI検索クローラー（OAI-SearchBot、PerplexityBot）はあなたのページを引用して参照トラフィックをもたらす——残しておく価値がある。