Cloudflare: 웹 트래픽 과반수가 AI 에이전트에서 — 웹사이트 소유자의 새로운 과제

9월 말, Cloudflare는 업계에 큰 파장을 일으킨 보고서 — "The Internet has a second audience"를 발표했습니다. 글로벌 CDN의 실제 데이터를 활용해 2026년 웹 트래픽의 구조적 변화를 드러냈습니다: HTTP 트래픽의 절반 이상이 더 이상 인간이 생성한 것이 아닙니다.

3가지 숫자가 눈에 띕니다:

• AI 에이전트 일일 요청량이 단 1년 만에 1,700% 급증 — Cloudflare는 자체적으로은이것은 아직 시작에 불과하다고 지적했다
• 초당 HTTP 요청이 6,300만에서 1억 1,500만으로 증가, 피크는 1억 5,000만을 초과하며, 그 절반 이상이 비인간 발생
• AI 훈련용 크롤러 비율이 작년 봄의 22%에서 금년 6월에는 52%로 상승 — 크롤러 트래픽의 과반수가 누군가의 AI 모델을 무료로 공급하고 있습니다

두 번째 오디언스: 에이전트는 봇도 인간도 아닙니다

Cloudflare는 새로운 카테고리 "에이전트"를 도입했습니다. 전통적인 봇과 실제 사이에 위치합니다 — 대개 채팅 _bot 을 사용하여 검색이나 티켓 예약, 가격 비교를 수행하는 사람이 그 뒤에 있지만, 실제 HTTP 요청을 발행하는 것은 소프트웨어입니다. 이 트래픽은 광고를 클릭하지도, 구독료를 납부하지도, 페이지에 머물러 콘텐츠를 읽지도 않습니다 — 하지만대역폭, 계산 리소스, 오리지न 서버 리소스를 확실하게 소비합니다.

Cloudflare의 요약은 날카웠습니다: "그들을 활용하여 가치를 얻으려는 기업에게는 에이전트가 추가적인 기회입니다. 준비가 안 된 기업에는 자원을 빼앗는 존재가 됩니다."

트래픽 2배, 수익 감소 — 잔인한 수식

30년간 웹사이트 수익 모델은 단순했습니다: 검색 엔진이 인간 방문자를 보내주면 → 방문자가 광고를 보고 유료 구독을 하면 → 당신은 CDN 비용을 지불합니다. 이 연결고리는 이제 끊겼습니다.

새로운 현실:

• 답변 엔진(Answer Engine)이 당신의 페이지를 읽고 사용자에게 요약을 제공하지만 — 아무도 실제로 클릭하여 광고를 보러 오지 않습니다
• 소매, 소프트웨어, IT 서비스, 금융 업계에서는인간 트래픽이 1년 미만에서 최대 40% 감소
• 모든 자동화된 요청은 여전히 대역폭과 계산 리소스에 비용이 발생하지만, 수익은 제로

즉: CDN 청구서는 계속 오르는 반면, 백만 건당 평균 수익은 하락하고 있습니다. 이것이 "무효 봇 트래픽 차단"을 선택적 최적화에서 생존 필수로 바꾼 이유입니다.

"전부 차단"은 답이 아닙니다 — 정밀도가 필요합니다

Cloudflare는 자체적으로이 작년 권장사항이 "AI 훈련용 크롤러를 그대로 차단하기"였음을 인정했습니다. 하지만은 더 성숙합니다: "일괄 차단은 충분한 뉘앙스가 없습니다". 이유는 간단합니다:

• 에이전트 중에는진짜 고객도 있습니다 — AI 프록시가 항공편을 예약하거나 보험을 비교하거나 데이터를 조달하는 경우
• 완전 차단은 이 신생 "두 번째 오디언스"를 놓치게 됩니다
• 필요한 것은단계적 전략입니다: 어디를 통과시킬지, 어디를 검증할지, 어디를 차단할지

중소기업에게 의미하는 것

대기업은 DataDome, Akamai Bot Manager 등의 엔터프라이즈급 솔루션에 투자할 수 있습니다. 하지만 월간 운영 예산이 제한된 중소기업에게는, 핵심은 "도구에 얼마나 투자하느냐"가 아니라,"어떤 메커니즘으로 트래픽이 오리지ン 서버에 도달하기 전에 필터링과 차단을 실현하느냐"입니다.

유효한 방어에는 이것이 필요합니다: WAF 규칙 (최신 Bot UA/행동 패턴을 추적하여 자동 업데이트) + 하이 디펜스 CDN으로 이상 트래픽 계층 세척 + 비용 급증 시 즉시 대응하는 24시간 모니터링. 이것은 3개 제품을 쌓은 것이 아닙니다 — 탐지 → 자동 전략 조정 → 결과 검증 → 지속적 학습이라는 닫힌 루프를 형성해야 합니다.