#060
2026-11-10

AI 크롤러의 '공짜 급식': 연 1700% 늘어난 트래픽, 청구서는 누가 내나?

📰 더 많은 뉴스를 보고 싶으신가요?
전체 뉴스 목록 보기

2026년, 인터넷에는 '두 번째 독자'가 등장했습니다. 트래픽의 절반 이상이 더 이상 인간이 만들지 않는 것입니다. Cloudflare가 9월 말에 내놓은 보고서에 따르면, 동사가 처리하는 평균 부하는 2024년 말 초당 6,300만 HTTP 요청에서 1억 1,500만 요청으로 늘었고, 가장 큰 증가는 검색 엔진이 아니라 AI 시스템에서 왔습니다. AI 에이전트의 일일 요청량은 1년 만에 1700% 넘게 폭증했고, 2025년 '사용자 트리거 fetch'는 15배 이상 성장했습니다. 사이트 운영자에게는 이 요청 하나하나가 실재합니다. 실재하는 연결, 실재하는 대역폭, 실재하는 청구서입니다.

먼저 이 '독자'를 세 갈래로 나눠야 합니다. 학습 크롤러(GPTBot, ClaudeBot, Applebot-Extended 등)는 콘텐츠를 가져가 모델 학습에 쓰고, AI 검색 크롤러(OAI-SearchBot, PerplexityBot)는 사용자의 질문에 답하기 위해 페이지를 실시간으로 가져오며, 사용자 대리 fetch(ChatGPT-User)는 누가 채팅박스에 질문을 입력하면 시스템이 대신 가져가는 것입니다. HUMAN Security의 4월 통계에 따르면 AI 유도 트래픽의 31.8%는 ChatGPT-User, 19.5%는 OAI-SearchBot, 17.6%는 GPTBot이었습니다. Cloudflare의 숫자는 더 직접적입니다. 2026년 6월, 동사가 받은 크롤러 요청의 52%가 AI 학습용이었는데, 이 비율은 2025년 봄에는 아직 22%에 불과했습니다.

문제는 '가져오는 것'이 아니라, '가져가놓고 아무것도 돌려주지 않는 것'에 있습니다. 검색 엔진의 비즈니스 논리는 '가져오기 ↔ 트래픽'의 교환입니다. Googlebot이 당신의 페이지를 가져가고, 검색 결과에 배치하고, 사람을 데려오는 것입니다. AI 크롤러에는 이 교환이 없습니다. Anthropic의 '가져오기 대 방문자' 비율은 2025년 한때 가져오기 50만 번에 방문자 1명까지 치솟았고, Google의 같은 지표는 3:1~30:1에 불과했습니다. 10년 넘게 리눅스와 보안 튜토리얼 사이트를 운영해온 한 사이트 주인은 최근 몇 주간 오리지널 서버 로그를 한 줄씩 대조했습니다. 6.5일 동안 AI 크롤러가 16,194페이지를 가져간 반면, Googlebot과 Bingbot의 합계는 10,433페이지였습니다. 어느 밤, AI 답변 로봇이 오리지널에 도달해 57페이지를 가져간 뒤 데려온 방문자는 0명이었습니다. 적어서가 아니라, 0입니다. 기계는 읽고 떠났고, 청구서는 글을 쓴 사람의 책상 위에 남았습니다.

사이트 운영자들도 반격을 시작했지만, 그 행동은 아직 '예의가 너무 바릅니다'. 8월 초, 인터넷 상위 2,000개 도메인을 대상으로 한 robots.txt 분석에 따르면 약 19%의 도메인이 주요 AI 크롤러를 최소 하나 이상 차단하고 있으며, Amazon은 GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Bytespider라는 5대 크롤러를 한꺼번에 모두 막았습니다. Cloudflare 사이트에서는 '검색 크롤러'를 차단한 곳은 1% 미만이고, '학습 크롤러'를 차단한 곳은 17%였습니다. 대부분의 운영자는 'AI 검색에는 트래픽을 데려오게 하되, AI 학습에는 공짜로 먹지 못하게'라는 입장을 택합니다. 그러나 robots.txt의 본질은 정숙 협정에 불과합니다. Fastly의 1월 데이터에 따르면, 동사 네트워크의 AI fetch 요청의 97%가 ChatGPT-User와 OAI-SearchBot에서 왔으며, 그중 57%는 애초에 비공개이거나 접근할 수 없는 콘텐츠를 대상으로 했습니다. '예의 있는 거절'조차 읽지 않는 기계에게 robots.txt 차단은 그저 제안에 불과합니다.

운영팀에겐 봇 거버넌스가 robots.txt나 CDN 콘솔 옵션에 그쳐서는 안 되며, 지속 가능한 보안 + 비용 공학 과제로 다뤄야 함을 뜻합니다. 첫째, 식별은 신뢰할 수 있어야 합니다——User-Agent 문자열로 크롤러를 막는 것은 공기를 막는 것과 같으며, 주요 크롤러의 UA는 오래전부터 대규모로 위장되고 있습니다. 실제로 효과적인 것은 CDN/WAF 레이어의 검증된 봇 서명(verified bot signature)과 행동 특징입니다. 둘째, 분류는 정밀해야 합니다——학습형, 검색형, 사용자 대리형은 리스크와 가치가 완전히 다릅니다. 무조건 전부 막으면 자신이 원하는 AI 검색 노출을 해치고, 무조건 전부 놓으면 청구서가 터집니다. 셋째, 비용은 가시화해야 합니다——AI 트래픽을 총 대역폭에서 분리해 귀속 분석을 하지 않으면, 매달 얼마의 CDN 비용이 기계를 위해 쓰이는지 알 수 없습니다. 한 가지 자주 놓치는 사실이 있습니다. Vercel의 측정에 따르면 주요 AI 크롤러는 거의 JavaScript를 실행하지 않습니다——클라이언트 사이드로 로드되는 콘텐츠는 애초에 보이지 않으며, 이는 콘텐츠 보호의 부수 효과이자 '57%가 비공개 콘텐츠를 가져간다'는 숫자가 나올 수 있는 이유이기도 합니다.

💡 LAFA 관점

연 1700% 성장하는 것은 AI 트래픽이고, 막아야 할 것은 'AI'가 아니라 '공짜'입니다. LAFA의 24/7 AI 운영은 WAF 레이어에서 봇 식별과 분리를 수행합니다. 검증된 검색 크롤러는 노출과 교환으로 통과시키고, 학습형과 위장 공격자는 직접 차단하며, 매달 기계에게 내는 CDN 비용을 청구서에서 분리해 명확히 보이게 합니다.