AI 데이터 스크래핑의 대전환, 컨텐츠 독립기념일

Divided by Zero에 오신 걸 환영합니다. IT테크, 스타트업 그리고 자본시장에 대한 2차적 사고를 공유합니다.

지난 20년간 인터넷은 아주 단순하고 암묵적인 대타협 위에서 작동해왔습니다. 콘텐츠 창작자들은 구글 같은 검색 엔진이 자신의 웹사이트를 마음껏 긁어가는(crawling) 것을 허용했고, 그 대가로 검색 엔진은 사용자들을 창작자의 웹사이트로 보내주는 '트래픽'으로 보상했죠. 이 트래픽은 곧 광고 수익이었고, 디지털 콘텐츠 생태계를 지탱하는 혈액이었습니다.

그리고, 생성형 AI의 등장은 이 아름다웠던 공생 관계를 하루아침에 파괴해버렸습니다. 챗GPT 같은 AI들은 더 이상 사용자를 다른 웹사이트로 보내주지 않습니다. 대신, 인터넷의 모든 정보를 빨아들여 '자신이 직접' 요약된 정답을 알려주죠. 이제 창작자들은 데이터만 약탈당하고 아무런 보상도 받지 못하는, 일방적인 착취 관계에 놓이게 된 겁니다.

이런 절망적인 상황 속에서, 2025년 7월 1일, 인터넷 인프라의 거인 클라우드플레어(Cloudflare)가 아주 도발적인 독립 선언을 발표했습니다.

어쩌면 이날은, 콘텐츠 창작자들에게 정말로 새로운 독립기념일로 기억될지도 모르겠습니다.

숫자로 보는 불균형

일단 먼저 AI가 얼마나 일방적으로 데이터를 빨아들이고 있는지는 '크롤링 대 리퍼럴 비율(crawl-to-referral ratio)'이라는 지표를 보면 명확해집니다. 이 비율은 사용자 1명을 웹사이트로 보내주기 위해 몇 페이지를 긁어가는지를 의미하죠.

클라우드플레어의 2025년 6월 데이터에 따르면, 구글 같은 전통적인 검색 엔진의 비율은 약 14:1에서 18:1 수준이었습니다. 18페이지 정도를 읽고, 그중 한 명을 원본 사이트로 보내준다는, 나름 합리적인 교환이죠.

하지만 AI 크롤러는 차원이 다릅니다. OpenAI의 크롤러는 무려 1,700:1에서 17,000:1, 앤트로픽(Anthropic)은 경악스럽게도 73,000:1을 기록했습니다. 이건 사실상 교환이 아닌, 일방적인 '데이터 수탈'에 가깝습니다. 심지어 이런 공격적인 크롤링은 웹사이트 서버에 막대한 부담을 주어, 일반 사용자들의 접속 속도를 느리게 만드는 부수적인 피해까지 낳고 있었죠. 창작자들은 이제 트래픽을 빼앗기는 것을 넘어, 자신들의 서버 비용까지 내가며 AI 기업의 데이터 수집을 '지원'해주는 웃지 못할 상황에 처한 겁니다.

클라우드플레어의 도박: Pay Per Crawl

이 무법지대와 같은 상황에, 클라우드플레어가 'Pay Per Crawl(PPC)'이라는 새로운 규칙을 들고나왔습니다. 클라우드플레어의 전략은 아주 단순하면서도 강력합니다.

기본 차단, 허용은 선택: 클라우드플레어는 2025년 7월 1일부터 자사 네트워크에 새로 가입하는 모든 웹사이트에 대해 알려진 AI 크롤러를 기본값으로 '차단'하기로 했습니다. 이는 인터넷의 기본 원칙을 모두에게 열려있음(opt-out)에서 허용된 자에게만 열려있음(opt-in)으로 뒤집어버린 완전한 전환이라고 볼 수 있습니다
기계들 간의 자동 결제 시스템: 이 시스템의 핵심은, 오랫동안 잠자고 있던 웹 표준인 HTTP 402 Payment Required(결제 필요) 상태 코드를 부활시킨 것입니다. 이제 AI 크롤러가 PPC로 보호되는 사이트에 접근하면, "콘텐츠를 보려면 돈을 내세요"라는 자동 청구서를 받게 됩니다. AI 회사는 미리 설정된 예산에 따라 이 비용을 자동으로 지불하고 콘텐츠를 가져갈 수 있죠
크리에이터의 새로운 권력: 웹사이트 소유자는 이제 각 AI 크롤러에 대해 세 가지 옵션 중 하나를 선택할 수 있습니다. 1) 무료로 허용(Allow), 2) 요금 청구(Charge), 3) 완전 차단(Block). 이는 콘텐츠에 대한 통제권을 창작자에게 돌려주는, 아주 강력한 무기가 될겁니다

결국 클라우드플레어는, 웹의 20%를 차지하는 자신들의 압도적인 시장 점유율을 이용해, 인터넷의 무임승차 시대를 끝내고 데이터에 가격표를 붙이는 새로운 경제 시스템을 강제하려는 겁니다. 클라우드플레어가 이 새로운 경제의 게이트키퍼이자, 수많은 거래를 정산해주는 중앙은행 역할을 자처하고 나선 셈이죠.

실패했던 소액결제의 유령

사실 인터넷에서 콘텐츠에 돈을 매기는 소액결제 시스템은 과거 수십 년간 반복적으로 실패해 온, 저주받은 아이디어에 가깝습니다. 1990년대부터 수많은 시도가 있었지만, 복잡한 결제 과정과 "콘텐츠는 공짜"라는 사용자들의 인식, 그리고 무엇보다 "이 기사를 읽기 위해 10원을 결제하시겠습니까?"라는 질문에 매번 답해야 하는 정신적 거래 비용의 벽을 넘지 못했습니다.

하지만 'Pay Per Crawl'은 이 과거의 실패 사례들과는 근본적으로 다릅니다.

거래 주체의 전환 (인간 → 기계): 가장 결정적인 차이는, 이 시스템이 인간이 아닌 '기계'를 위해 설계되었다는 점입니다. 결제 여부를 고민하는 주체는 감정적인 인간이 아니라, 정해진 예산과 규칙에 따라 움직이는 자동화된 AI 봇입니다. 정신적 거래 비용이라는 가장 큰 장애물이 원천적으로 사라지는 거죠
명확한 가치 교환: AI 기업에게 데이터는 단순한 읽을거리가 아니라, 수십억, 수조 달러 가치의 모델을 만드는 데 필수적인 산업 '원자재'입니다. 지불해야 할 이유와 가치가 명확하죠
거래 비용 해결: 클라우드플레어는 수십억 건의 개별 결제를 하나로 묶어 AI 기업에 한 번에 청구하고, 모인 돈을 다시 수많은 창작자에게 나눠주는 정산소 역할을 합니다. 이를 통해 소액결제의 경제적 비효율성 문제를 해결한다고 하죠

결국 'Pay Per Crawl'은 AI라는, 데이터에 대한 자동화되고 집단적인 수요가 폭발하면서 비로소 가능해진, 완전히 새로운 모델인 셈입니다. 과거의 실패는 인간을 기계처럼 행동하게 만들려 했기 때문이고, 이번의 시도는 이미 존재하는 기계들을 위한 시스템을 만들었기에 성공 가능성이 높은 겁니다.

저작권 전쟁의 새로운 변수

하지만 'Pay Per Crawl'은 바로 이 주장의 근거를 무너뜨립니다. 실제로 작동하는 거대한 데이터 라이센싱 시장을 만들어버렸기 때문입니다. 이제 AI 기업이 이 시스템을 무시하고 데이터를 무단으로 긁어간다면, 이는 더 이상 '공정 이용'의 대상이 아니라, '실존하는 시장에 직접적인 피해를 주는 명백한 침해 행위'가 될 가능성이 높아집니다. 애틀랜틱(The Atlantic)의 CEO가 말했듯,

"이제 그들은 협상 테이블에 나와야 할 겁니다".

콘텐츠 창작자들의 독립기념일

클라우드플레어의 'Pay Per Crawl' 선언은, 지난 수년간 AI에게 일방적으로 데이터를 착취당해 온 콘텐츠 창작자들에게 마침내 자신들의 권리를 되찾을 수 있는 강력한 무기를 쥐여준 사건입니다. 이는 웹의 경제적 기반을 '트래픽'에서 '데이터의 가치'로 전환하는, 거대한 패러다임의 시작을 알립니다.

물론 이 새로운 질서가 인터넷을 더 폐쇄적으로 만들 수 있다는 우려도 존재합니다. 하지만 동시에, 양질의 콘텐츠에 대한 정당한 보상 체계를 만들어, 무분별한 AI 생성 쓰레기 정보의 범람을 막고, 오히려 '진짜 정보'의 가치를 높이는 긍정적인 효과를 가져올 수도 있습니다.

AI라는 거대한 파도가 모든 것을 집어삼킬 것 같던 시대에, 클라우드플레어는 기술 인프라 기업이 어떻게 시장의 규칙을 재정의하고 새로운 경제 생태계를 만들어낼 수 있는지를 보여주는 흥미로운 사례를 제시했습니다.

2025년 7월 1일은, 어쩌면 먼 훗날 콘텐츠 독립기념일로 기록될지도 모르겠습니다.