얼마 후인 2026년 9월 15일, 인터넷의 '크롤러 경제'는 전환점을 맞을 때다. 9월 15일 이후, Cloudflare는 새 도메인에서 AI 학습·에이전트 크롤러를 기본적으로 차단하고, 광고가 표시되는 페이지부터 제한하며 검색 크롤러(Search)만 허용한다. 이는 단일 벤더의 정책 변경만이 아니라, 산업이 '허용 또는 거부'라는 단순한 이원적 선택에서 '크롤당 과금'이나 '라이선스'라는 시장화 모델로 전환해 나가고 있음을 시사한다.
왜 이 시점이 중요한가. 과거 AI 크롤러에 직면한 사이트 운영자가 가장 많이 의존해온 방어 도구는, 사실 가장 취약했던——robots.txt였다. 2026년 7월 10,000 도메인 이상을 대상으로 한 분석에서는, robots.txt에서 설정한 GPTBot 차단의 약 39.5%가 네트워크 계층에서 실제로 준수되지 않았으며, 즉 약 10개의 사이트 중 3개 이상은 AI 크롤러를 차단했다고 생각하면서도 실제로는 여전히 대량으로 크롤링되고 있는 상태다.
robots.txt는 본질적으로 옵트인(opt-in)의 예의 논리(courtesy protocol)다. 그것은 두 가지 전제에 의존한다: 크롤러가 파일을 존중하고, 그리고 신원을 정직하게 밝히는 것. AI의 시대에는 이 두 가지 전제조차 보장될 수 없다. 최신 크롤러는 신원을 위장하고, 인간 브라우저 동작을 모방하며, 역 DNS나 IP 범위 위조를 통해 검증을 회피할 수도 있다.
산업은 두 방향으로 동시에 대응하고 있다. 첫 번째는 Cloudflare의 '크롤당 과금' 모델로, 출판자는 AI 기업에게 직접 접근료를 청구해 흡수할 수 없는 비용을 수익으로 바꾼다. 두 번째는 라이선스 계약의 등장으로, 대규모 AI 학습 기관이 고품질 콘텐츠에 지불하고, 사이트 운영자가 토글 하나로 누구를 허용하고 누구를 거부할지 결정할 수 있다.
대부분의 중소 사이트에게 이 메커니즘은 하나의 현실을 의미한다. 기술 거성이 아니더라도,'크롤링된다'는 것에서도 경제적 이익을 얻을 수 있다. 중요한 것은, 누구를 허용하고 누구를 거부할지 명확히 결정할 수 있다는 점이다.
직접적인 CDN 트래픽을 넘어, 무효 크롤러는 서버에 더 교묘하고 배제하기 어려운 부담을 안긴다. 대규모 요청이 CPU, 메모리, 연결 리소스를 소비하고, 실제 사용자의 경험을 저하시키며, 심지어 거부 서비스(DoS)의 전주기가 된다. 이로 인해 점점 더 많은 사이트 운영자가 '에지'에서 지능적인 차단을 도입, 백엔드 서비스에 도달하기 전에 트래픽의 출처를 판단한다.
어려운 것은 '나쁜 것은 차단, 좋은 것은 유지'하는 것이다. 일부 AI 트래픽은 유해하다——자원을 소비하는 것뿐, 학습이나 악의적 스캔을 한다. 다른 AI 트래픽은 가치 있다——추천 트래픽을 생성하고, 미래에 고객을 변화시킬 가능성도 가진다. 2026년은 이것이 원 사이즈 피츠 얼(One-size-fits-all) 결정이 아니라,'클로드 대 추천비'를 지속적으로 검출·평가하는 동적 프로세스임을 가르쳐주고 있다.
콘텐츠 라이브러리가 크고, 트래픽 비용이 큰 사이트에게, 크롤러의 동작을 수동으로 모니터링하는 것은 현실적이지도, 규칙의 진화에 따라잡을 속도도 아니다. 여기서 AI 운영의 가치가 발휘된다——24시간 365일의 이상 트래픽 자동 검출, 실시간 규칙 조정, 공격 패턴에 대한 초 단위 대응. Cloudflare, WAF, 자체 에지 규칙을 쓰든, 자동화된 운영 프레임워크가 '무효 트래픽 차단'을 일회성 설정에서, 상시 가동하는 방패로 바꾼다.
9/15가 AI 크롤러의 차단을 기본적으로 만들면, 진짜 전장은 '차단해야 하는지'에서 '얼마나 정확하고 빠르게 차단하는가'로 이전된다. 레이피수티의 AI 운영 컨설팅은 정확히 이 순간을 위해 만들어졌다. 고소비 크롤러의 자동 검출, 즉시 WAF와 에지 규칙 조정, 트래픽 이상에 대한 AI의 초 단위 대응. 무효 트래픽을 막으면, CDN 청구서도 막을 수 있다.