혹시 이런 경험 있으신가요. 대시보드에는 분명 ROAS 8배, 10배가 찍혀 있는데, 정작 그 채널 예산을 두 배로 늘려도 전체 매출은 꿈쩍도 안 하는 상황.
저도 몇 년 동안 겪었습니다. 그리고 오랫동안 원인을 몰랐어요. 솔직히 고백하면, 저는 한때 주간 리포트 맨 위에 ROAS를 신주단지처럼 박아두고, 숫자가 오르면 예산을 밀고 떨어지면 뺐습니다. 그게 데이터 드리븐이라고 믿었죠. 이번 뉴스레터는 그 믿음이 왜 틀렸는지에 관한 이야기입니다. 결론부터 말하면, 문제는 광고가 아니라 우리가 쓰던 '자'였습니다.
먼저 숫자 하나. 2026년 현재 전 세계 광고주의 71%가 리포트된 ROAS보다 '인크리멘탈리티(증분 기여)'를 1순위 KPI로 올렸습니다. 오래 마케팅의 왕좌를 지켰던 ROAS가 흔들리고 있다는 신호죠.
왜 이런 일이 벌어졌을까요.
ROAS의 결함은 생각보다 근본적입니다. ROAS는 "이 광고를 본 사람이 산 매출"을 보여줄 뿐, "이 광고가 없었어도 어차피 일어났을 매출"을 걸러내지 못해요. 앞은 상관관계, 뒤는 인과관계입니다. 우리가 예산으로 진짜 사고 싶은 건 인과관계인데, 정작 매주 들여다보는 건 상관관계였던 거죠.
가장 흔한 함정이 리타게팅입니다. 장바구니에 물건을 담아둔 사람에게 광고를 다시 보여줍니다. 그런데 이 사람들 상당수는 광고가 없어도 결국 살 사람들이에요. 마지막에 광고가 한 번 노출됐다는 이유로 그 매출 전부가 리타게팅의 공으로 기록됩니다. 대시보드는 ROAS 12배라고 웃지만, 실제 증분은 1.3배일 수도 있습니다. 나머지는 이미 일어날 일을 광고가 가로챈 허수예요.
한국 시장은 이 문제가 더 고약합니다. 서드파티 쿠키가 빠르게 힘을 잃으면서 어트리뷰션의 토대 자체가 흔들리고 있거든요. 사파리와 파이어폭스는 이미 완전히 차단했고, 크롬도 사용자 선택으로 바꿨습니다. 정리하면 이래요. 우리는 '못 믿을 지표'를, '못 믿을 데이터'로 계산하고 있었던 겁니다. 이중으로 위태로운 상태였던 거죠.
그럼 진짜 기여는 어떻게 재느냐. 방법은 의외로 단순합니다.
광고를 본 그룹과, 조건이 똑같은데 광고만 안 본 대조군(holdout)을 나눠서 두 집단의 매출 차이를 봅니다. 그 차이가 광고가 진짜로 만들어낸 증분이에요. 임상시험의 위약군과 완전히 같은 논리입니다.
제가 실제로 겪은 사례 하나를 나눌게요.
한 커머스 브랜드에서 브랜드 키워드 검색 광고를 2주간 완전히 꺼봤습니다. "당연히 켜둬야 하는" 채널, ROAS가 늘 9배 넘게 찍히던 그 캠페인이요. 광고팀은 매출 폭락한다며 극구 반대했습니다.
결과는? 전체 매출은 3% 남짓만 줄었습니다. 광고를 끄자 자연 검색 클릭이 그만큼 올라와 대부분을 메꿨거든요. 우리가 매달 그 채널에 쓰던 돈의 절반 이상은, 어차피 공짜로 들어올 트래픽을 유료로 사고 있던 것이었습니다.
이 실험 하나가 대시보드 1년치보다 많은 걸 가르쳐줬어요. 광고팀도 그 결과 앞에서는 아무 말도 못 했습니다.
그래서 저는 이렇게 말합니다. "홀드아웃을 켜기 무섭다"는 팀일수록 반드시 켜봐야 한다고. 끄는 게 무섭다는 감정 자체가, 그 채널의 성과를 사실은 한 번도 검증한 적 없다는 증거니까요. 진짜 효과 있는 채널은 꺼보면 매출이 정직하게 빠집니다. 안 빠지면? 그동안 허수에 돈을 태운 거고요.
제가 이 사례에서 배운 진짜 교훈은 따로 있어요. 인크리멘탈리티의 가치는 '높은 숫자를 증명하는 것'이 아니라 '낮은 숫자를 드러내는 것'에 있다는 겁니다. ROAS 10배 캠페인의 증분이 사실 1.2배였다는 걸 알게 되는 순간, 비로소 예산을 옳은 곳으로 옮길 수 있으니까요. 불편한 진실을 마주할 용기, 그게 이 방법론의 핵심입니다.
한 가지 흐름을 더 짚고 싶어요. 리테일 미디어의 성장입니다. 쿠팡, 네이버 같은 커머스 플랫폼 안의 광고가 전년 대비 14.1% 성장하며 디지털 채널 중 가장 빠르게 크고 있습니다. 그런데 여기서도 같은 함정이 반복돼요. 리테일 미디어는 구매 데이터와 바짝 붙어 있어 ROAS가 유난히 높게 찍힙니다. 살 사람에게, 살 자리에서 광고하니 당연하죠. 문제는 그 화려한 숫자의 상당 부분도 증분이 아니라는 겁니다. 채널이 새롭고 매력적일수록, 증분 검증의 필요성은 오히려 더 커져요.
그래서 저는 새 채널에 예산을 크게 태우자는 제안이 올라올 때마다 딱 하나만 묻습니다. "이거 홀드아웃으로 검증할 수 있어요?" 검증 설계가 안 되는 채널은, 아무리 ROAS가 예뻐도 실험 예산 이상은 주지 않습니다. 검증 불가능한 성과는 성과가 아니라 희망이니까요.
여기서 좋은 소식. 예전엔 이런 테스트가 너무 비쌌습니다. 구글의 인크리멘탈리티 최소 예산이 10만 달러 수준이라 중소 브랜드는 쳐다볼 수도 없었죠. 그런데 2026년, 구글이 베이지안 모델을 도입해 이 문턱을 5,000달러까지 낮췄습니다. 무려 20분의 1이에요. '측정의 민주화'가 일어난 겁니다.
물론 만능은 아닙니다. 마케터의 44%는 여전히 인크리멘탈리티 결과의 신뢰성을 의심하고, 43%는 채널별로 일관되게 적용하기 어렵다고 답했어요. 홀드아웃은 표본이 작으면 결과가 요동칩니다.
그래서 제가 내린 결론은 '삼각측량(triangulation)'입니다. 단일 진실의 원천을 찾겠다는 환상을 버리는 거죠. MMM으로 큰 방향을 잡고, 인크리멘탈리티로 특정 채널의 진짜 기여를 검증하고, 플랫폼 데이터로 일상 운영의 속도를 얻습니다. 어느 하나도 혼자서는 정답이 아니에요. 서로의 거짓말을 잡아주는 관계로 써야 합니다.
여기에 AI가 결합되면서 판이 한 번 더 바뀌고 있어요. 미국 마케터의 절반이 이미 자동 리포팅에 AI를 도입했고, 예전엔 데이터 사이언스팀이 몇 주씩 붙어야 돌아가던 모델을 이제 마케터가 자연어로 질문해 답을 얻습니다. 측정의 병목이 '기술'에서 '해석'으로 옮겨가고 있다는 뜻이죠. 저는 이 변화가 오히려 실무자에게 유리하다고 봐요. 도구가 쉬워질수록, 어떤 질문을 던지느냐가 실력을 가르니까요. 좋은 질문 하나가 값비싼 대시보드 열 개보다 낫습니다.
한 가지 흥미로운 대비도 있어요. 소비재(CPG) 업계 종사자의 33%는 인크리멘탈리티를 '가장 기초적인 수준'에서만 측정한다고 답했습니다. 방향은 다들 아는데, 실제 실행 깊이는 팀마다 천차만별이라는 얘기죠. 저는 바로 이 격차가 앞으로 2~3년간 마케팅팀의 실력을 가르는 진짜 분기점이 될 거라고 봅니다. 트렌드를 아는 것과, 그걸 매주 돌리는 것 사이의 거리는 생각보다 멉니다. 그리고 그 거리를 좁힌 팀이 예산 방어에서 이겨요. 경영진 앞에서 "이 채널을 끄면 매출이 이만큼 빠진다"를 실험 데이터로 증명하는 팀과, "ROAS가 높으니 유지해야 한다"고 우기는 팀 중 누가 신뢰를 얻겠습니까.
사실 제가 이 글에서 가장 하고 싶은 말은 지표 이야기가 아닙니다. 직업윤리 이야기예요.
못 믿을 숫자로 예산을 배분하는 건, 엄밀히 말하면 회사 돈을 감으로 쓰는 것과 다르지 않습니다. ROAS가 8배라고 자랑하기 전에, 그 광고가 없었다면 어떻게 됐을지 한 번이라도 물어본 적 있으신가요.
당장 이번 분기에 할 수 있는 건 딱 하나입니다. 늘 ROAS가 높게 찍혀서 "당연히 효과 있겠지" 싶은 채널 하나를, 딱 2주만 꺼보세요. 브랜드 검색이든 리타게팅이든요. 대개 거기서 증분이 가장 낮게 나옵니다. 그 결과가 여러분의 예산 회의를 완전히 바꿔놓을 겁니다.
그런데 이 실험을 언제, 어떤 채널부터, 얼마나 오래 돌려야 안전하게 결론을 낼 수 있는지 — 그 설계가 사실 전부입니다. 잘못 설계하면 오히려 멀쩡한 채널을 죽이게 되거든요. 제가 현장에서 검증한 홀드아웃 설계법과 71%가 갈아탄 측정 구조 전체는 원문에 정리해뒀습니다. ROAS를 성적표로 쓰는 팀이 왜 이미 지고 있는지, 그 진짜 이유는 마지막 문단에서 뒤집힙니다.
원문 보기: https://medium.com/p/ed47e0e4d6b5?postPublishedType=initial
의견을 남겨주세요