超過一半請求不再是人類：AI 爬蟲正悄悄吃掉你的 CDN 與伺服器成本

打開主機控台，一切看似正常：uptime 穩定、頁面載入快速、這幾週什麼都沒改。但頻寬使用量就是在一格一格往上爬，PHP worker 比以前忙，下個月帳單裡多了一行「超額費用」。你沒漲流量，是誰在吃你的伺服器？答案越來越可能不是你的客戶，而是 AI 爬蟲——而且它們現在大概就在抓你的網站。

這不是危言聳聽。Cloudflare 在 2026 年 8 月的數據顯示，目前少於半數的 HTML 頁面請求來自人類；Imperva 的年度 Bad Bot 報告也指出，自動化流量已佔全部網路活動的 51%，其中「壞爬蟲」就占 37%。更誇張的是增速：TollBit 對出版者網路的追蹤顯示，AI 爬蟲與人類訪客的比例，從 2025 年初的 1:200 快速惡化到第四季 1:31——一年內翻了 6.5 倍。你的網站，只是這場流量洪水中的一滴水。

為什麼 AI 爬蟲比一般 bot 更燒錢

一般機器人最多打擾一下你的快取，AI 訓練爬蟲卻是實打實地逼伺服器做「無償勞動」。它们的行為模式特別要命：

• 繞過快取：人類訪客拿的是快取頁面，AI 爬蟲卻深抓動態頁——帶價格的商品頁、需要驗證的會員區、搜尋結果頁——每一頁都逼伺服器重新執行 PHP、查資料庫、從零生成
• 霸占 worker：GPTBot、ClaudeBot 這類訓練爬蟲一分鐘可發幾百個請求，把有限的 PHP worker 全部佔滿，真實客戶反而要排隊等
• 推高頻寬：它們下載完整 HTML，有些還會拉 CSS、JS 甚至圖片，單一爬取 session 就能吃掉數十 GB
• 灌爆資料庫：一個動態頁面可能觸發 50~100 次查詢，爬蟲沒登入也要跑完整套權限邏輯，最後只把頁面拆成純文字
• 污染分析數據：頁瀏覽量、跳出率、轉化率全被灌水，你基於 30~50% 是 bot 的數據做決策，等於閉著眼睛開飛機

最隱蔽的傷害：你根本看不見

主機面板顯示頻寬、磁碟、CPU，卻不告訴你「誰在消耗」。週二下午頻寬突然飆高，那是行銷活動帶來真實客戶，還是 ClaudeBot 把整個商品目錄抓了一遍？沒有 bot 層級的可視化，你分不清楚——也修不好。很多網站主於是誤判成「網站長大了」升級主機方案，結果只是替一批從未邀請的爬蟲付錢。

對的阻擋層：邊緣，不是伺服器

阻擋 AI 爬蟲最關鍵的觀念：讓它在碰到你的伺服器之前就被擋下。bot 一旦抵達 origin，PHP 已經跑完、查詢已經跑完、頻寬已經燒完——此時用 WordPress 外掛或 .htaccess 擋，等於門被踹開之後才想到裝鎖。正確的順序是在 CDN / WAF 邊緣層識別並阻斷，請求死在邊緣節點，origin 連存在過都不知道，成本一分都不花。

robots.txt 呢？它只是第一道禮貌性的提醒——GPTBot、ClaudeBot 這類「講規矩」的爬蟲大多會遵守，但仿冒者與無良抓蟲照樣無視。真正的防禦必須落在網路層；而「擋哪些、留哪些」也有講究：純訓練爬蟲拿走內容、一分回饋都沒有，該擋；能帶來引用流量的 AI 搜尋爬蟲（OAI-SearchBot、PerplexityBot）則值得放過。