봇 트래픽이 인간을 처음으로 추월: AI 에이전트 7,851% 급증, Meta AI 크롤러 90억 리퀘스트 낭비

📰 더 많은 뉴스를 보고 싶으신가요?

모든 사람이 예상했던 것보다 훨씬 일찍 인터넷 역사상 전환점이 도래했습니다. Cloudflare Radar의 최신 데이터에 따르면, 2026년 6월 기준 자동화된 봇 요청이 글로벌 HTTP 트래픽의 57.4%를 차지하게 되어 인간이 생성하는 트래픽을 공식적으로 추월했습니다. Cloudflare CEO Matthew Prince는 원래 이 변곡점이 2027년 후반까지 오지 않을 것이라고 예상했지만, 실제로는 1년 이상 빨라졌습니다.

이는 단순히 통계적인 역전이 아닙니다. "웹페이지 트래픽"에 대한 오랜 기본 가정이 붕괴되었음을 의미합니다. 대시보드에서 보이는 방문자의 절반 이상이 봇에서 발생한다면, 당신이 보는 그 아름다운 성장 차트는 대부분 소음일 수 있습니다.

AI 에이전트: 전년 대비 7,851% 증가라는 다크호스

HUMAN Security의 "2026 AI 트래픽과 사이버 위협 벤치마크 보고서"에서는 1조 건 이상의 상호작용이 분석되어 숨 막히는 데이터가明らかになりました:

자동화 트래픽의 성장 속도가 인간 트래픽보다 8배 빠름
AI 에이전트 및 에이전티브 브라우저 트래픽이 전년 대비 7,851% 급증 —— 거의 제로에서 무시할 수 없는 규모로 성장
학습 목적 크롤러 요청 비율이 2025년 봄의 22%에서 2026년 6월에는 52%로 급상승

즉, 더 많은 AI 시스템이 웹페이지를 단순히 "읽는" 것을 넘어서 인간의 브라우저 동작을 시뮬레이션하기 시작했습니다 —— 로그인, 클릭, 스크롤, 폼 제출 등입니다. 전통적인 크롤러와 달리 이러한 행동 패턴은 실제 사용자와 크게 겹치므로 쉽게 식별하고 차단할 수 없습니다.

Meta AI 크롤러: 90억 회 요청, 방문자 제로

DataDome의 보안 분석이 밝힌 현실은 콘텐츠 게시자를 분노하게 합니다. 2026년 2분기의 단 3개월 동안만 Meta의 AI 크롤러가 놀라운 90억 회의 요청을 보내고, 이러한 요청이 가져온 인간 방문자 수는 실질적으로 제로였습니다.

반면에 ChatGPT의 크롤러 활동은 실제로 감소했지만 여전히 중요한 리퍼럴 트래픽을 생성합니다. OpenAI의 데이터에 따르면 AI 검색에서 오는 리퍼럴 트래픽의 88%가 ChatGPT에서 발생합니다. 즉, ChatGPT의 크롤러는 "가치 있는 소비자"이고 Meta AI의 크롤러는 순수 기생형 리소스 드레인입니다.

중소기업에게는 이것은 단순한 공평성 문제가 아닙니다. 각 크롤링 요청은 대역폭, 서버 리소스, CDN 할당량을 소비합니다. 이러한 비용이 쌓이면 많은 기업의 CDN 청구서에는 설명되지 않는 지출의 블랙홀이 나타납니다.

Cloudflare Pay Per Use: "차단 또는 허용"에서 "라이선스와 가격 책정"으로

이 변화에 대응하여 Cloudflare는 7월 초 주요 조정을 실시했습니다. Pay Per Crawl이 Pay Per Use로 업그레이드되었습니다. 더 중요한 것은 2026년 9월 15일부터 신규 등록 도메인에서 광고 지원 페이지의 "혼합형" 크롤러 차단을 기본값으로 한다는 것입니다.

Cloudflare는 3단계 관리 프레임워크를 도입했습니다:

검색(Search) —— 전통적인 검색 엔진 인덱싱, 허용 상태 유지
에이전트(Agent) —— 인터랙티브 AI 에이전트 스크래핑, 별도 승인 필요
학습(Training) —— 모델 학습을 위한 대용량 콘텐츠 스크래핑, 결제 또는 명시적 동의 필요

Ceramic.ai와 You.com이첫 번째 파트너로 이름을 올렸습니다. Cloudflare에 따르면 Ceramic은 검색 결과에 콘텐츠가 표시될 때 게시자에게 지급하고, You.com은 에이전트가 프리미엄 콘텐츠에 대해 요금을 지불할 수 있습니다. 이는 신흥 시장의 시작입니다 —— 크롤러의 입구를 제어하는 쪽이 규칙을 정하게 됩니다.

투자자에게 경고: 트래픽 성장이 더 이상 비즈니스 가치를 의미하지 않음

과거에는 투자자가 "월간 활성 사용자 수", "트래픽 성장률", "전환율"을 사용하여 웹 네이티브 기업을 평가했습니다. 하지만 트래픽의 절반 이상이 봇에서 생성되는 경우 이러한 지표는 의미를 잃기 시작합니다:

SaaS 제품은 월간 활성 사용자가 40% 성장한 것처럼 보이지만 실제 인간 사용자 성장은 정체 상태일 수 있음
콘텐츠 플랫폼의 이탈률은 봇 요청에 의해 심각하게 왜곡될 수 있음
EC 사이트의 상품 카탈로그가 대량으로 스크래핑되지만 GMV는 증가하지 않음

시야가 넓은 투자자는 이제 실사를 위해 새로운 지표를 포함해야 합니다: 봇 트래픽 소스 분포, 목적 분류, 수익 영향 평가. 이 세 가지 항목이 없으면 눈을 감고 재무제표를 읽는 것과 같습니다.

중소기업의 생존 전략: 보이지 않는 비용에는 보이는 방어가 필요

핵심적인 문제는 대부분의 중소기업이 트래픽 구성을 분석하고 가치 있는 봇과 리소스를 소비하는 봇을 구분하기 위한 전문 보안 팀을 가지고 있지 않다는 것입니다. 직면한 딜레마는 가혹합니다 ——

모두 열어 두기: 아무런 대가 없이 CDN 요금을하면서 AI 에이전트가 서버를 무료 부지로 다룹니다. 모두 차단하기: 검색 노출률이 급락하고 잠재 고객이 AI 검색 결과에서 당신을 더 이상 찾을 수 없습니다.

유일한 합리적인 답은 스마트 계층별 필터링입니다 —— CDN 또는 WAF 레이어에서 봇의 목적과 의도를 실시간으로 식별하고 패스투 정책을 동적으로 조정합니다. 이것이 바로 AIOps 자동 운영이 핵심 가치를 발휘하는 곳입니다: AI를 사용하여 AI 자체가 가져오는 비용 부담에 대응합니다.

💡 LAFA 관점

봇 트래픽이 인간을 추월한 것은 먼 미래가 아니라 이미 현실입니다. Lafa System의 군 등급 WAF 방어 시스템은 CDN 레이어에서 무효 봇 트래픽을 실시간으로 분류하고 필터링할 수 있습니다 —— 비용을 소비하는 AI 학습 크롤러를 차단하면서 검색 유형의 크롤러를 유지하여 노출률을 유지합니다. CDN 예산의 모든 1달러가 진정한 인간 방문자를 위해 일하게 하세요.