AWS WAF 正式跟進 HTTP 402 付費爬取：你的網站該向 AI 機器人收費嗎？

1997 年，IETF 在 HTTP 規範中寫下了一個狀態碼：402 Payment Required（需要付款）。它被設計為一個「保留位」——技術上存在，但幾乎沒人真正使用。整整近三十年後，這個沉睡的狀態碼突然成為全球網路基礎設施中最熱門的議題之一。

原因很簡單：AI 爬蟲正在吞噬網站經營者的資源與錢包，而 HTTP 402 是目前唯一能讓機器與機器之間進行「付費通行」協議的方式。更值得注意的是，這次帶頭的不是某個新創公司，而是Cloudflare與AWS這兩大雲端基礎設施巨頭。

當 WAF 從防火牆變成收費站

2025 年 7 月，Cloudflare 率先推出 Pay Per Crawl（按爬取付費）功能。網站擁有者可以在後台設定每頁的單價，當 AI 機器人請求內容時，必須在請求標頭中附上付款意圖，否則就會收到 HTTP 402 回應並被拒之門外。

到了 2026 年 6 月 15 日，AWS 跟進了同一套機制——將其整合進 WAF Bot Control 系統。AWS 的實現方式更加細緻：定價可以依內容路徑和機器人類型分別設定，甚至不需要修改網站程式碼。付款則透過 Coinbase 基礎設施以穩定幣完成結算。

兩套系統的共通點很明確：收費機制被放在 CDN/WAF 邊緣層——也就是原本就負責「決定誰可以進」的那一層。這意味著防火牆與計費系統正式合而為一，以往憑預設允許所有流量通過的時代已經結束。

不只是錢的問題：能見度貿易

表面上看，HTTP 402 是一套「向 AI 公司收租」的方案。但深入分析後會發現，真正的核心問題不是收入而是能見度。

過去的三十年裡，搜尋引擎爬蟲和網站之間存在一個默契：你讓我爬內容，我帶訪客來。Google Bot 每索引一次你的頁面，就可能讓該頁面出現在搜尋結果中，為你的網站帶來真實流量。這是一個雙贏的循環。

AI 時代打破了這個規則。AI 爬蟲的爬取目的不再是建立「可點擊的索引」，而是提取內容用於模型訓練——它搬走你的資料，但很少把讀者導回你的網站。Cloudflare 的分析指出，AI 爬蟲活動中約 80% 是為了模型訓練，真正能產生推薦流量的搜尋型請求只佔極小比例。

因此 HTTP 402 的本質是：讓網站擁有者重新決定「誰值得免費看到我的內容」。你選擇向哪個爬蟲收費、放行哪些機器人，其實就是在決定了你的品牌會出現在哪些 AI 回答中。

不同身份的人，答案完全不同

「該不該對 AI 爬蟲收費？」這個問題並沒有唯一答案。關鍵在於你擁有的內容型態和你的分發策略：

• 大型資料庫與新聞機構：擁有大量可授權、高價值的 proprietary content，且分發不完全依賴 AI 引用。對這類擁有者來說，HTTP 402 是談判籌碼。
• 中小型網站與新創：內容可能沒有獨特性到足以被 AI 公司爭相爬取，但更在意 CDN 成本被無效流量吃掉。對他們來說，重點不在「收費」而在「阻擋」——把不產生價值的爬蟲直接擋在邊緣層之外。
• 開發者與技術服務商：需要 AI 代理存取自己的 API 或文件，但想區分「合法工具整合」和「惡意資料擷取」。這群人最需要的是精細的 Bot 分類與速率限制。

底層的技術基礎：x402 開放標準

Cloudflare 與 AWS 的 HTTP 402 機制都建立在同一個底層協議上——x402，這是 Coinbase 主導開發的開放標準。它使用穩定幣完成機器間支付，不要求付款方擁有帳戶或完成 KYC。這代表收費站的範圍可以從知名的 AI 爬蟲延伸到匿名機器人。

此外還有 TollBit、Akamai、Skyfire 等第三方方案正在進入這個市場。所有這些方案的共同趨勢是：存取控制與計費在同一個邊緣規則引擎中完成。你不再需要一套 WAF 防火牆加上一套獨立计费系統——它們已經合併了。

對運維團隊的實際影響

無論你是否決定向 AI 爬蟲收費，HTTP 402 的出現都代表一個現實：你的 WAF/CDN 邊緣層現在是你控制 Bot 流量的唯一前線。這意味著每個運維團隊都需要做到以下幾件事：

第一，看清誰在爬你。 透過 Bot 分析工具了解哪些是搜尋引擎（值得歡迎）、哪些是 AI 代理（可能有價值）、哪些是純訓練爬蟲（只索取不回饋）。看不見就管不了。

第二，建立分級策略。 對不同類型的 Bot 設定不同的存取規則——合法搜尋引擎全開、AI 代理限速、訓練爬蟲直接阻擋或收費。

第三，自動化執行。 靠人工監控和手動封鎖已經不夠。你需要的是能在請求抵達伺服器之前就完成辨識與決策的自動化防禦體系。