게시 날짜: 2026년 6월 21일 ｜ 출처: Kinsta 데이터 분석, ETH Zurich + Cloudflare 연구 보고서 종합 정리
Kinsta 최신 공개 서버 데이터에 따르면, 한 WordPress 쇼핑 사이트에서 1시간 동안 장바구니 페이지에 375만 회 AI 크롤러 요청이 있었습니다. 대형 언어 모델 훈련 기계에서 온 자동화 스크립트는 어떤 판매 전환도 생성하지 않지만 CDN 대역폭을 소모하고 백엔드 처리 로직을 트리거하여 월 청구서에 반영됩니다.
기묘하게 들리나요? ETH Zurich와 Cloudflare가 2026년 4월에 공동 발표한 연구에 따르면, 현재 약 32%의 글로벌 네트워크 트래픽이 자동화된 AI 크롤러에서 비롯됩니다. 그리고 이 비율은 계속 상승 중입니다 — 2026년이 바로 "Agentic AI"가 폭발한 해이기 때문입니다.
대부분 기업은 Cloudflare, AWS WAF 또는 Akamai만 사용해도 스팸 트래픽을 막을 수 있다고 생각합니다. 하지만 연구는 더 깊은 문제를 드러냈습니다: AI 크롤러가 기존 CDN 캐시 메커니즘을 근본적으로 우회하고 있습니다.
| 공격 방식 | 기존 CDN 캐시 보호 | AI 크롤러의 뚫는 방식 |
|---|---|---|
| 요청 패턴 | 고정 URL + 랜덤 UA | 각 요청마다 다른 UA + JS 렌더링 후 재요청 |
| 캐시 파괴 | cache-busting 동적 파라미터 | 능동적으로 캐시 파괴 파라미터 주입, 매 요청 origin server로 리다이렉션 |
| 레이트 리미트 | IP 단위 제한 | 수천 IP 풀로 분산, 각 IP 요청량이 임계치 미만 유지 |
| 비용 영향 | —— | 기업이 "가짜 트래픽"에 CDN 비용의 15-40% 추가 지불 |
문제는: 대부분 중소기업은 이러한 복잡한 규칙을 설정할 자원이 전혀 없습니다. Cloudflare worker를 직접 쓸 필요 없고, 각 crawler fingerprint를 연구할 필요도 없으며, 밤중에 CDN 청구서에 놀라놀라하고 싶지도 않을 것입니다.
가장 아이러니한 것은: 당신은 CDN 공급자에게 비용을 지불하여 트래픽을 서버로 보내게 하고, 이 트래픽은 물건을 사러 온 인간이 아니라 당신의 사이트를 "읽으러"온 AI 모델입니다. AI 회사는이로이익(훈련 데이터 획득, SEO 랭킹), whereas 당신은 인프라 비용을 치르고 어떤 대가도 받지 못합니다.
Kinsta 연구에 따르면, 단일 WordPress 사이트의 무효 크롤러 트래픽이 총 트래픽의 최대 35%에 달할 수 있습니다. 즉, CDN 비용 $100을 매번 지불할 때마다 약 $35가 다른 사람을 위해 쓰입니다.