>
發布日期:2026年7月4日 | 來源:Cloudflare 官方部落格 綜合整理
2025 年夏天,Cloudflare 做出了網際網路史上最大膽的舉動之一:對所有新註冊的網域預設阻擋 AI 訓練爬蟲。當時業界反應兩極——有人稱讚這是「內容創作者的救贖」,也有人批評這是「把 Web 變成圍城」。一年過去了,Cloudflare 在 7 月初發布了一份完整的週年報告,答案終於浮出水面。
這份由 Cloudflare 工程師 Arielle Weiss、Zach Albertson 和 Emily Lanfear 共同撰寫的報告題目為《Content Independence Day, one year on: building the business model for the agentic Internet》,不僅回顧了過去一年的數據變化,更勾勒出了下一個十年的網路經濟藍圖。
報告中最震撼的一組數據:在短短 3.5 年內,全球超過 25 億人已規律使用生成式 AI——佔人類總人口超過 30%。
這個採用曲線「不是陡峭,而是垂直的」。Cloudflare 明確指出:「這不只是另一波技術週期,而是平台級別的結構性轉變。」
換句話說,當你還在猶豫要不要導入 AI 工具時,全球每三個人就有一個人已經在日常生活中使用了生成式 AI。
Cloudflare 引用了一組令人警醒的數據:使用者花在线上搜尋資訊的每一小時中,只有 15 分鐘是在開放 Web 上度過的。
這代表什麼?過去人們會在多個網站之間跳躍、比較資訊、瀏覽商品頁面——這些行為帶來了轉介流量和廣告收益。現在呢?使用者只要打一個 prompt,AI 就直接給出整合好的答案。整個中間環節消失了。
Cloudflare 形容這個現象為「傳統搜尋行為的崩潰」(the collapse of traditional search behavior)。
報告中另一個里程碑數據:今年,Agent 流量首次跨過了一個歷史性門檻——網路總流量中超過 50% 已來自非人類來源。
更細分來看:
這意味著:AI 訓練已取代搜尋引擎索引,成為網路爬蟲活動的最大驅動力。
報告中有一個令出版業顫抖的術語——"Google Zero"。這指的是搜尋轉介流量幾乎歸零的世界。
Cloudflare 明確指出,最早感受到衝擊的是新聞組織和媒體公司。但現在零售、軟體、IT、金融等各行業都開始面臨同樣的命運。某些被爬蟲重度掃蕩的品類,人類流量在不到一年內下降了高達 40%。
核心問題很簡單:如果內容被消費了但讀者從不造訪來源網站,內容創作者該如何維持生计?
儘管聽起來悲觀,Cloudflare 的論點並非唱衰 Web。報告的核心信息是:過去一年證明,當內容擁有者拿回了控制權後,一個可持續的內容市場確實出現了。
具體來說:
Cloudflare 再次確認:2026 年 9 月 15 日起,新註冊網域和免費方案將自動套用新預設值——Training 和 Agent bot 在廣告頁面上被阻擋,Search bot 保持允許。
對於混合用途爬蟲——那些同時做搜尋索引又偷偷收集訓練資料的「兩棲動物」——Cloudflare 的要求很明確:如果你同時做三件事,請分成三個獨立的爬蟲,不然就全部被擋。
Cloudflare 這份一週年報告不僅是數據彙編,更是整個網路產業的「路線圖」。對中小企業而言,真正的挑戰不是要不要阻擋 AI 爬蟲,而是如何持續監控 bot 流量、即時調整 WAF 規則、精確分析 CDN 成本變化——這些工作原本需要一整支資安團隊,如今靠AI 自動運維 + 地端 AI 模型就能完成。當 50% 的網路流量已非人類時,你的防火牆還有人類在看守嗎?