Cloudflare 최종 통지: 9월 15일부로 혼합 크롤러 기본 차단 — AI 학습 시대 새 장 열려

게시일: 2026년 7월 2일 ｜ 출처: TechCrunch, Cloudflare 공식 발표, Cloudflare Radar

인터넷에서 인간 트래픽이 더 이상 다수不再是 — 이 마일스톤은 예상보다 빨리 도래했다

당신이 이 기사를 읽고 있는 지금, 전 세계 웹 트래픽의 절반 이상이 봇에서 발생하고 있습니다. Cloudflare 공동 창립자이자 CEO인 Matthew Prince는 최신 발표에서 명확히 지적했습니다: "지금은 인터넷 상의 트래픽 대부분이 비인간적이며, 지속 가능한 생태계가 출현하려면 더 큰 행동과 신속한 조치가 필요합니다."

이 전환점은 원래 내년에 도달할 것이라고 예측되었지만, 실제로는 봇 트래픽이 인간 트래픽을 앞지른 순간이 이미มาถึง했습니다——즉, 지금 웹사이트 서버에서는 100개의 요청 중 50개 이상이 봇 처리에 소비되고 있습니다.

9월 15일: Cloudflare의 새로운 방어선

TechCrunch 최신 보도에 따르면, Cloudflare는 AI 산업에 정식한 기한 통지를 발했습니다: 2026년 9월 15일부터 Cloudflare의 기본 설정은 모든 '혼합용' 크롤러를 자동으로 차단합니다——즉, 전통적인 검색, AI 에이전트 작업, 모델 학습을 동시에 수행하는 봇입니다.

구체적으로 다음에 영향을 미칩니다:

• 무료 플랜의 Cloudflare 고객: 기본으로 혼합 봇 차단
• 신규 등록 사이트 및 고객: 새로운 기본값이 동일하게 적용됩니다
• 광고를 표시하는 페이지: 혼합 크롤러는 이 콘텐츠에 접근할 수 없습니다
• 웹사이트 소유자는 여전히 수동으로 설정을 조정할 수 있습니다. 특정 크롤러의 접근을 허용 가능

왜 이것이 중요한가? — 당신의 데이터가 더 이상 무료로 사용되지 않는다

과거 몇 년 동안 대형 AI 기업들은 크롤러를 통해 웹상의 공개 콘텐츠를 대량으로 수집하여 모델을 학습시켰습니다. 웹사이트 소유자에게는 고생해서 구축한 지식재산권이 무상으로 착취되어 온 것을 의미합니다——Google 등의 검색 엔진 거인은 검색과 AI의 양쪽 역할을 동시에 수행하며 '두 배의 정보 우위성'을 누려왔습니다.

Cloudflare의 발표에서는 '세계 최대 검색 엔진'(명확하게 Google에 대한 언급)이 검색 크롤러의 기존 채널을 활용하여, 고객이 '검색 가능 유지'와 'AI 학습에 사용되지 않음' 사이에서 진정한 선택을 하는 것을 거의 불가능하게 만들었다고 지적했습니다.

Pay Per Crawl에서 Pay Per Use로 — '크롤링 시 과금'에서 '사용 시 과금'으로

Cloudflare는 단순히 차단할 뿐만 아니라, 사업화 경로도 제시하고 있습니다. 이전에 도입된 Pay Per Crawl은 현재 Pay Per Use로 진화 중입니다: AI 기업이 귀하의 콘텐츠에서 가치를 얻어낼 때(페이지를 가져온 순간이 아닌), 웹사이트에 보상이 지급됩니다.

이미 2개 파트너사가 서비스 개시 완료:

파트너사	비즈니스 모델
Ceramic.ai	컨텐츠가 Ceramic의 AI 검색 결과에 표시되면 출판자는 보상금 수령
You.com	You.com이 프리미엄 컨텐츠에 접근하면 출판자는 보상금 수령

데이터가 증명하는 사실: AI 봇 트래픽의 절반 이상이 '비효율적인 재검색'

Cloudflare 내부 데이터는 중요한 발견을 밝혀내고 있습니다: AI 크롤러 트래픽의 50% 이상은 전혀 변경되지 않은 페이지의 재검색에 소비되고 있습니다. 즉, 서버 리소스가 낭비될 뿐만 아니라 CDN 대역폭도 이러한 중복 요청에 비용을 치르고 있다는 것입니다.

웹마스터가 Cloudflare의 새 도구를 적절히 활용하고 자동 차단 규칙과 조합한다면, 일반 검색 엔진 인덱싱 능력을 유지하면서 이러한 비효율 트래픽을 대폭 감소시킬 수 있습니다.