귀하의 웹사이트는 매월 CDN 에 얼마를 지출하고 있습니까? "꽤나"라고 답한다면, 대형 테크 기업들을 위해 무료로 청구서를 지불하고 있을지도 모릅니다.
사이버 보안 기업 DataDome 이 발표한 최신 보고서에서 웹사이트 운영자에게 심각한 사실이 드러났습니다. Meta 의 AI 보트는 2026 년 제 2 분기에 놀라운 90 억 건의 요청을 생성했으며, AI 모델 학습을 위해 웹사이트 콘텐츠를 크롤링했습니다. 그러나 이러한 요청은 제로 추천 트래픽만 반환했으며, 막대한 서버 리소스와 CDN 대역폭을 소비——그 전액을 웹사이트가 스스로 부담하고 있습니다.
과거 30 년간, 검색 엔진 크롤러와 웹사이트 사이에 암묵적인 합의가 있었습니다. 당신은 내 콘텐츠를 크롤링하고, 나는 당신에게 트래픽을 보냅니다. Google Bot 이 페이지를 크롤링할 때마다 검색 결과에 표시될 기회를 얻고 실제 방문자를 가져왔습니다. 이는 상호 이익의 생태계였습니다.
AI 시대가 그 규칙을 붕괴시켰습니다. AI 크롤러는 모델을 학습하기 위해 콘텐츠를 스크래핑합니다——방문자를 다시 사이트로 보낼 필요도 의지도 없습니다. 당신은 CDN 청구서를 지불하여 그들이 콘텐츠를 가져가게 하고, 유일한 대가는 더 큰 청구서입니다. TechRadar 의 분석이 지적하듯 "웹사이트 운영자가 결코 동의하지 않은 일방적 착취"입니다.
중요한 점은 모든 AI 기업이 동일한 접근 방식을 따르지 않는다는 것입니다. 보고서에서 두 대표 플레이어를 비교했습니다:
이는 중요한 차이를 보여줍니다. 일부 AI 기업은 가치 제공에 의욕적인 반면, 나머지는 그냥 가져가며 아무런 보답도 하지 않습니다.
이 위기에 대응하여 CDN大手인 Cloudflare 는 7 월 초 포괄적인 AI 트래픽 관리 업그레이드를 발표했습니다. 작년의 원클릭 "AI 보트 차단" 기능에 이어, Pay Per Crawl 마켓플레이스를 도입했습니다.
컨셉은 간단합니다. 웹사이트 콘텐츠 크롤링을 AI 학습을 위해 하고 싶나요? 요청마다 지불하세요. Cloudflare 는 더 세분화된 분류 시스템을 도입하여 자동화 트래픽을 3 가지 카테고리로 분류：
웹사이트 운영자는 이제 각 보트 유형에 대해 다른 액세스 권한 설정——더욱이 AI 기업에 접근 요금 청구가 가능합니다.
DataDome 보고서는 AI 크롤러 트래픽이 다양한 규모의 웹사이트에 미치는 영향을 분석했습니다. 대형 플랫폼은 협상력이 있을 수 있지만, 중소형 웹사이트 및 스타트업 기업이 가장 무거운 부담을 지고 있습니다：
이 문제는 사라지지 않습니다. 오히려 더 많은 AI 기업이 시장에 진입함에 따라 악화됩니다. 웹사이트 운영자와 서비스 제공자는 지금 3 단계 방어선을 확립해야 합니다：
첫 번째: 식별. 요청 특성 (User-Agent, 행동 패턴, IP 평판) 으로 AI 크롤러 트래픽을 구분하세요. 모든 자동화 요청이 악의적인 것은 아닙니다——Google Bot 은 여전히 환영받아야 하지만, Meta 와 같은 학습 보트는 제한이 필요합니다.
두 번째: 분류. 다른 보트 유형에 대해 다른 레이트 리미트를 설정하세요. 정당한 검색 엔진은 액세스를 유지하고, 모델 학습 보트는 스로틀 또는 차단되어야 합니다.
세 번째: 차단 또는 과금. 가치를 생성하지 않는 AI 크롤러를 직접 차단하거나, Cloudflare Pay Per Crawl 과 같은 메커니즘으로 과금하세요.