2026년의 CDN과 Bot 트래픽 지형은 이미 근본적으로 바뀌었습니다. Cloudflare의 최신 측정 데이터에 따르면, AI 크롤러가 "검증된 Bot 트래픽" 전체의 20.3%를 차지하고 있습니다. AI 검색 봇 6.5%를 더하면, 합법 Bot 부하의 약 4분의 1이 AI 관련입니다. 즉,당신의 CDN 청구서、서버 I/O、로그 처리 비용의 일부는 이미 AI 크롤러에게 소비되고 있는 것입니다.
그러나 대부분의 보안 팀이 놓치고 있는 것은 "AI 크롤러가 많다"는 사실이 아니라——당신의 WAF가, 당신의 서비스가 AI 검색에서 인용되고·발견되는 데 필요한 크롤러를 조용히 차단하고 있을 가능성입니다. 그리고 그 사실을 마케팅 팀조차 모르는 경우가 대부분입니다.
"AI 크롤러"를 하나의 카테고리로 다루는 것이 대부분의 잘못된 판단의 출발점입니다. 실제로 2026년에 중요한 AI 크롤러는 3개의 명확한 클래스로 나뉘며, 각각을 차단하는 비용은 완전히 다릅니다:
Cloudflare의 데이터에 따르면 Training형이 AI 크롤러 볼륨의 거의 80%를 차지합니다——가장 노이즈가 큰 클래스가 바로 차단의 비용이 가장 낮은 클래스입니다. 많은 보안 팀은 "크롤러가 많다·노이즈가 크다"고 보고, 노이즈가 큰 Training형과 조용하지만 인용권을 쥐고 있는 Retrieval형을 함께 차단해 버립니다. 그 결과, CDN 비용을 소폭 절약하는 대신 AI 검색의 가시성을 잃게 됩니다.
더손가득한한 것은, WAF 규칙이 robots.txt를 덮어쓴다는 점입니다. robots.txt에 "OAI-SearchBot 허용"이라고 써두어도, 엣지의 WAF 규칙(또는 2022년에 작성한 "알 수 없는 봇 차단"이라는 오래된 규칙)이 갱신되지 않았다면, 그 크롤러가당신의 오리지널 서버에 도달하는 횟수는 0입니다. 그리고 대시보드에는 아무것도 표시되지 않습니다——차단된 요청은 "성공 트래픽"으로 집계되지 않기 때문입니다.
이것이 바로 "무음"의 위험입니다. 경고에도 나타나지 않고, 보고서에도 나타나지 않습니다. 다만 조용히, 당신의 서비스를 어떤 AI 제품의 답변에서 지워 나갑니다. 검증하려면 오리지널 로그를 파고들며 각 크롤러의 User-Agent 토큰을 대조해야 합니다——Retrieval형 크롤러의 히트 횟수가 오랜 기간 0이었음을 발견하는 경우가 많습니다.
Cloudflare는 2026년 9월 15일부터, 신규 온보딩된 도메인에 대해 3개의 AI 트래픽 카테고리별 독립 기본 설정을 도입합니다. 광고를 표시하는 페이지에서는 Training과 Agent가 기본으로 차단되고, Search는 허용된 상태로 유지됩니다. 이는 "전체 차단"이냐 "전체 허용"이냐의 이원 시대는 끝나고, 분류된·고려에 담긴 Bot 정책의 시대가 오는 것을 의미합니다.
그러나 여기에도 새로운 위험이 있습니다. 9/15 이후, 보안 팀이 분류 관리를 시작하면서 Search형 크롤러까지 실수로 차단할 수 있습니다. 진정한 해결책은 "전체 허용"도 "전체 차단"도 아니라, AI가 그 분류 판단을 하도록 하는 것입니다.
AI 크롤러 차단에서 가장 비싼 실수는 "너무 많이 차단"하는 것이 아니라 "잘못 차단"하는 것입니다—429나 403이 한 번만 나와도, 당신의 서비스가 AI 검색 답변에서 영구히 사라지고, 경고 알림조차 받지 못합니다. 레이페이 디지털(Lafa System)의 AIOps 솔루션은 엣지에서 각 크롤러의 클래스와 의도를 지속적으로 식별하여 Search는 통과시키고, Training은 차단하며, 악의적 트래픽은 봉쇄하고, 동시에 "당신의 WAF 정책"과 "robots.txt 의도"를 자동으로 대조하여 이러한 무음의 인용권 상실을 방지합니다.