AWS WAF, HTTP 402 페이퍼크롤 도입: 여러분의 사이트는 AI 봇에 요금을 청구해야 할까요?

📰 더 많은 뉴스를 원하세요?

1997년, IETF는 HTTP 규격에 하나의 상태 코드를 정의했습니다: 402 Payment Required(지불 필요). 그것은 기술적으로 존재하지만 거의 아무도 사용하지 않는 "예비 코드"로 설계되었습니다. 그리고 약 30년이 지난 지금, 이 잠자던 상태 코드는 글로벌 네트워크 인프라에서 가장 주목받는 주제 중 하나가 되었습니다.

이유는 간단합니다: AI 크롤러가 웹사이트 운영자의 리소스와 예산을かつて 없는 속도로 소비하고 있으며, HTTP 402는 기계 간에 "유료 통행" 합의를 위한 최초의 표준화된 수단을 제공합니다. 주목할 점은 이 변경을 주도한 회사가 스타트업이 아니라, Cloudflare와 AWS라는 세계 최대 클라우드 인프라 사업자라는 사실입니다.

WAF가 요금소로 바뀔 때

2025년 7월, Cloudflare는 Pay Per Crawl을 발표했습니다. 웹사이트 소유자는 도메인별 요청 단가를 설정할 수 있고, AI 크롤러가 콘텐츠를 요청할 때 헤더에 지불 의도를 포함하지 않으면 HTTP 402 응답을 받고 차단됩니다.

2026년 6월 15일, AWS도 동일한 메커니즘을 WAF Bot Control에 통합했습니다. AWS의 구현은 더 세분화되어 있습니다: 콘텐츠 경로별·봇 유형별로 가격을 설정 가능하며, 웹사이트 코드를 변경할 필요도 없습니다. 결제는 Coinbase 인프라를 통해 스테이블코인으로 이루어집니다.

양쪽 시스템의 공통점은 명확합니다: 요금 메커니즘이 CDN/WAF 에지 레이어에 있다——즉, "누가 접근 가능한지"를 결정했던 동일한 계층입니다. 즉, 액세스 제어와 수익화가 공식적으로 병합되었고, 모든 트래픽을 기본적으로 허용하던 시대는 끝난 것입니다.

수익뿐만 아니라: 가시성의 트레이드오프

표면적으로 보면 HTTP 402는 AI 기업에게 콘텐츠를 "임대"하는 방법처럼 보일 수 있습니다. 하지만 깊이 분석하면, 진정한 문제는 수익이 아닌 가시성입니다.

과거 30년 동안 검색 엔진 크롤러와 웹사이트 사이에는 암묵적인 합의가 있었습니다: 당신의 콘텐츠를 크롤링하게 해주고, 그 대가로 방문자를 보내주세요. Google Bot이 페이지를 인덱싱할 때마다 해당 페이지는 검색 결과에 표시되어 실제 트래픽을 가져왔습니다. 이는双赢의 순환이었습니다.

AI 시대는 이 규칙을 깨뜨렸습니다. AI 크롤러의 크롤링 목적은 "클릭 가능한 인덱스"를 만드는 것이 아니라, 모델 훈련을 위해 콘텐츠를 추출하는 것입니다——당신의 데이터를 가져가지만 독자를 당신의 사이트로 되돌리는 경우는 거의 없습니다. Cloudflare의 분석에 따르면, AI 크롤러 활동의 약 80%는 모델 훈련용이며, 실제로 리퍼럴 트래픽을 생성하는 검색 목적 요청은 극히 일부입니다.

즉 HTTP 402의 본질은: 웹사이트 소유자가 "내 콘텐츠를 무료로 볼 수 있는 봇은 누구인가"를 재결정하게 하는 것입니다. 어떤 크롤러에게 요금을 청구하고 어떤 봇을 통과시킬지 선택하는 것은 결국 여러분의 브랜드가 어떤 AI 답변에서 언급될지를 결정하는 것입니다.

정답은 하나가 아님——누구냐에 달림

"AI 크롤러에게 요금을 청구해야 할까?" 이 질문에는 유일한 정답이 없습니다. 적절한 전략은 콘텐츠 유형과 배포 모델에 따라 달라집니다:

대형 데이터베이스와 언론 기관: 대량의 고품질 독점 콘텐츠를 보유하고 있고, AI 인용에 의존하지 않는 배포 전략을 가진 경우. HTTP 402는 협상籌碼이 됩니다.
중소 기업 웹사이트와 스타트업: 콘텐츠가 AI 기업을 끌어 들일 만큼 독특하지 않을 수 있지만, CDN 비용이 무효 트래픽에 의해 소비되는 것을 더 우려하는 경우. 이들にとって 중요한 것은 "요금제"가 아니라 "차단"—— 가치 없는 크롤러를 에지 레이어 외부에서 제외하는 것입니다.
개발자와 기술 서비스 제공자: AI 에이전트가 자신의 API나 문서에 액세스할 것을 필요로 하면서 "정당한 도구 통합"과 "악의적 데이터 추출"을 구분하고 싶은 경우. 이 그룹이 필요한 것은 고급 봇 분류와 레이트 리미터링입니다.

기반 기술: x402 오픈 표준

Cloudflare와 AWS의 HTTP 402 구현은 동일한 하위 프로토콜, x402 위에 구축되어 있습니다. 이는 Coinbase가 주도 개발한 오픈 표준으로, 스테이블코인을 통한 기계 간 결제를 실현하며, 지불측이 계정이나 KYC를 보유할 필요가 없습니다. 즉 요금소의 범위는 알려진 AI 크롤러뿐만 아니라 익명 봇으로도 확장된다는 의미입니다.

또한 TollBit, Akamai, Skyfire 등의 써드파티 솔루션도 이 시장에 진입하고 있습니다. 그것들의 공통 트렌드는: 액세스 제어와 요금이 동일한 에지 규칙 엔진에서 완료된다는 점입니다. WAF 방화벽과 별도의 요금 시스템이 모두 필요한 것은 과거의 이야기——그것들은 이미 융합했습니다.

운용 팀에 대한 현실적인 영향

AI 크롤러에게 요금을 청구할지 여부에 관계없이, HTTP 402의 등장은 하나의 현실을 보여줍니다: 여러분 WAF/CDN 에지가 이제 봇 트래픽을 제어하는 유일한 최전선이 되었다. 이는 모든 운용 팀이 다음을 실행해야 함을 의미합니다:

첫째, 누가 크롤링 중인지 시각화하기. 봇 분석 도구로 검색 엔진(환영해야 할), AI 에이전트(가치가 있을 수 있는), 순수한 훈련 크롤러(단지 착취만 하는)의 구분을 수행합니다. 보이지 않는 것은 관리할 수 없습니다.

둘째, 계층화된 정책을 수립하기. 다른 봇 유형에 다른 액세스 규칙을 설정—— 정당한 검색 엔진은 전면 개방, AI 에이전트는 레이트 제한, 훈련 크롤러는 차단 또는 요금제 적용.

셋째, 자동화로 실행하기. 수동 모니터링과 수동 차단으로는 이미 충분하지 않습니다. 요청이 서버에 도달하기 전에 식별·분류·대응할 수 있는 자동 방어 시스템이 필요합니다.

💡 LAFA 관점
HTTP 402 Pay Per Crawl의 등장은 중요한 마일스톤입니다——"에지 레이어에서 봇 트래픽을 관리하는" 것이 옵션에서 필수로 바뀌었음을 증명합니다. Lafa System의 AI 운용 솔루션에는 봇 분류, 레이트 제한, 자동 차단 메커니즘이 표준으로装備되어 있습니다. 페이퍼크롤의 전문가가 될 필요가 없습니다—— 요청이 여러분의 인프라에 도달하기 전에 필터링과 의사결정을 수행합니다. "요금제를 적용하고 싶"든 "차단하고 싶"든 최전선에서 우리가 처리합니다.