robots.txt로 자신의 사이트에 누가 크롤링할 수 있는지 완전히 통제할 수 있다고 생각한다면, 이제 다시 생각해볼 때입니다. Cloudflare의 최신 연구 데이터는 놀라운 사실을 밝혀냈습니다. 2026년 5월 현재 AI 관련 크롤러가 검증된 봇 트래픽의 20.3%를 차지하며, AI 검색형 크롤러를 더하면 그 비율은 4분의 1에 달합니다. 즉, 봇에서 오는 요청 4회 중 1회는 AI와 관련되어 있는 것입니다.
더 중요한 발견이 있습니다—모든 AI 크롤러가 같은 것은 아닙니다. 이것들을 일률적으로 차단하는 것은 생각보다 훨씬 큰 대가를 치르게 할 수 있습니다.
과거에는 봇 트래픽을 하나의 덩어리로 취급했습니다—인간인지 봇인지, 봇이면 차단하면 끝. 그러나 Cloudflare의 연구는 AI 크롤러가 실제로 3가지 명확히 다른 분류로 나뉘며, 각각을 차단하는 결과가 완전히 다르다고 지적합니다.
GPTBot, ClaudeBot, Google-Extended가 여기에 해당됩니다. 이 사이트의 콘텐츠를 수집하여 최종적으로 대규모 언어 모델의 가중치를 학습하는 데 사용될 수 있습니다. 이것들을 차단한다고 해서 누군가가 당신의 페이지를 볼 수 없게 되는 것은 아닙니다—단지 당신의 콘텐츠가 AI 모델의 '지식베이스'에 포함되지 않게 됩니다. 대부분의 기업에게 단기적인 영향은 거의 제로입니다.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot가 여기에 해당됩니다.여기가 주의해야 할 포인트입니다. 이러한 크롤러는 AI 검색 엔진이 답변을 생성할 때 참조하는 실시간 인덱스를 작성합니다. 당신의 페이지를 가져오지 않으면, ChatGPT나 Claude의 인용된 답변에서 완전히 사라지게 됩니다.검색형 크롤러를 차단한다는 것은 ＝ AI 검색 결과에서 스스로 모습을 지우는 것입니다.
ChatGPT-User, Claude-User, Perplexity-User. 이러한 요청은 '진짜 사람'이 AI에게 당신의 특정 페이지를 읽어달라고 명시적으로 요청했을 때 발생합니다—예를 들어, 잠재 고객이 ChatGPT에게 "Lafa System의 보안 솔루션을 찾아줘"라고 요청하는 경우입니다. 이 크롤러들을 차단하면,잠재적인 고객이 당신을 조사하는 도중에 실제로 거부하게 되는 것입니다.
Cloudflare의 1분기 통계에 따르면,GPTBot이 robots.txt에 의해 가장 빈번하게 차단되는 AI 크롤러로, DISALLOW 규칙의 5.52%에 등장하며, 다음으로 CCBot(5.08%), ClaudeBot(4.88%)이이어집니다. 그러나 연구는 더 나아가,AI 크롤러 트래픽의 약 80%가 훈련형 봇에서 온다는 사실도 밝혀냈습니다—즉, 가장 많이 차단되는 것은 실제로 직접적인 피해를 최소화하는 카테고리라는 것입니다.
진정한 위험은: WAF나 CDN 규칙을 설정하는 많은 보안 팀이 이 3가지 분류를 구분하지 않고 있다는 점입니다. 단순한 'Google 이외의 검색 엔진 크롤러 모두 차단' 규칙이, 동시에 ChatGPT, Perplexity, Claude에서 브랜드 가시성을 파괴할 수 있습니다.
robots.txt의 문제는 예전부터 있었습니다—본질적으로 '예의 바른 요청'일 뿐이며, 강제력 있는 메커니즘이 아닙니다. 그러나 AI 시대에 있어서, 이 약점이 더 중요한 영향을 미치고 있습니다.
Cloudflare는 2026년 9월 15일 이후,신규 등록 도메인에서 광고 표시 페이지상의 '훈련형'과 '에이전트형' AI 크롤러 차단을 기본으로 할 예정이나, 검색형의 크롤러는 허가된 상태로 남습니다. 방향성은 명확합니다:'검색에서의 발견 가능성'과 '모델 학습에 의한 사용'을 분리 관리하는 것입니다.
콘텐츠 출판사에게는 좋을 수 있습니다—기사가 인용되면서 학습 데이터에는 포함되지 않음. 그러나 B2B 서비스 제공자에게, ChatGPT가 실시간으로 당신의 솔루션 페이지를 읽어내지 못하면, 리드 전환의 깔때기는 깨집니다.
AI 크롤러는 대량의 유효하지 않은 트래픽을 생성하여, CDN 대역폭과 요청 할당을 소모합니다. Cloudflare의 데이터에 따르면, 사이트가 월간 10만 회 봇 요청을 받는다면, 그중 약 25,000회는 AI 크롤러에서 옵니다.이러한 요청은 결코 고객이 되지 않지만, CDN 청구서를 증가시키는 것은 사실입니다.
문제는: 대부분의 중소 기업이 '가치 있는 크롤러 트래픽'과 '순수 비용 소모 트래픽'을 구분할 여력이 없다는 점입니다. 그들은 청구서 숫자가 상승하는 것만 보이지만, 정밀하게 필터링할 방법이 없습니다—결과적으로 모두를 차단하거나 (검색 가시성을 잃음), 모두를 허가하거나 (CDN 비용을 낭비함) 중 하나로 선택하게 됩니다.
Cloudflare는 이미 'pay-per-crawl' 모델을 발표하고 있으며, 출판사가 AI 기업에 접근료를 청구할 수 있도록 하고 있습니다. 즉 미래는 '허가 또는 금지'뿐만 아니라,'라이선스와 가격 설정'의 새로운 단계로 이동하고 있는 것입니다. 비용을 억제한 채 AI 검색에서 색인되기를 원하는 기업에게, 이는 유일한 균형 잡힌 해결책이 될 수 있습니다.
AI 크롤러 트래픽이 봇 요청의 4분의 1을 차지하게 되면서, robots.txt로 관리하는 것은 더 이상 비현실적입니다. Lafa System의 AI 자동 운용은 CDN 레벨에서 3가지 크롤러 분류를 실시간으로 식별하고, 필터링 규칙을 지능적으로 조정합니다—검색 가시성을 유지하기 위해 검색형 크롤러를 남기면서, CDN 예산만 소모하는 훈련형 크롤러를 정밀하게 차단하여, 인프라 비용의 1원 1전이 실질적으로 작동하도록 합니다.