2026년 7월 1일, Cloudflare는 제2회 Content Independence Day에서 'AI 크롤러를 차단할 것인가 말 것인가'라는 이분법을 세 개의 독립 스위치로 대체했다. Search, Agent, Training이다. 이것은 단순한 명명 정리기가 아니라, CDN 대역폭 비용을 누가 부담하고 누가 AI에 인용될 것인가를 다시 나누는 일이다.
9월 15일부터 신규 도메인, 기존 고객이 추가한 사이트, 그리고 무료 플랜 전체에 대해 광고를 표시하는 페이지에서는 Training과 Agent 크롤러가 기본적으로 차단되고, Search 크롤러는 통과한다. 기존 사이트를 가진 유료 플랜은 현재 설정을 유지할 수 있어, 가장 모르게 설정이 바뀌는 쪽은 광고가 있는 무료 플랜의 소형 사이트다.
Cloudflare의 조사에 따르면 AI 크롤러는 검증된 봇 트래픽의 20.3%를 차지하며, AI 검색 봇 6.5%를 더하면 합법 봇 부하의 약 4분의 1이 AI와 관련된다. Training형은 AI 크롤러 양의 거의 80%를 차지하지만 돌려받는 가치는 최소다. '크롤러가 많고 시끄럽다'고 보고 3종을 통째로 차단하는 팀은 CDN 비용을 약간 아낀 대가로 AI 검색에서 가시성까지 함께 죽인다. 이 침묵한 트레이드오프야말로 봇 정책이 막아야 할 본질이다.
현실의 Googlebot, BingBot은 검색 인덱싱과 학습 데이터 수집을 동시에 하는 '양서류 크롤러'다. Cloudflare는 이들에게 적용 가능한 규칙 중 가장 엄격한 것을 적용한다. 즉 Training을 차단하면, 검색 인덱싱을 동시에 수행하는 하이브리드 크롤러도 함께 차단된다. 운영자는 '학습 트래픽 차단'과 'AI 검색 인용권 유지' 사이에서 의도적인 선택을 해야 하며, 어느 쪽의 대가가 큰지는 실제 측정을 해봐야 아는 경우가 많다.
Cloudflare는 Pay Per Crawl 파일럿을 Pay Per Use 방향으로 확대하고 있다. 콘텐츠가 단순히 가져가진 것이 아니라 실제 AI 생성 답변에 채택되었을 때 비로소 과금과 수익 분배가 발생한다. 현재 공개 파트너는 Ceramic.ai와 You.com 두 곳뿐으로, 아직 초기 단계의 메커니즘이다.
9/15 이후 이분법적 차단만으로는 부족하다. 기업에 필요한 것은 크롤러의 분류·의도·비즈니스 가치를 식별하는 엣지 레벨 거버넌스다. Search는 통과시키고, Training은 떨구고, 악성 봇은 차단하는 한편 WAF 정책과 robots.txt 의도를 자동 대조해야 한다. 그래야 403이나 429 한 번으로 내 서비스가 AI 검색 답변에서 소리없이 사라지는 사고를 막을 수 있다.
비유효 크롤러 대응의 핵심은 '전체 차단'이 아니라 분류해서 비용을 나누는 것이다. Lafa System(雷飛數位)의 AIOps 서비스는 엣지에서 Search·Agent·Training 3종을 지속적으로 식별해 Search는 인용을 데려오고, Training은 CDN 비용 절감을 위해 차단하며, 악성 봇은 즉시 차단한다. WAF 정책은 robots.txt와 상시 대조되어, 우발적인 429 한 번으로 AI 검색 답변에서 사라지지 않도록 보호한다.