지난주에 한 브랜드 마케팅 팀 회의에 앉아 있었습니다. 대시보드가 세 개 열려 있었어요. 광고 플랫폼 리포트 하나, 자사 분석 도구 하나, 그리고 분기마다 외부에서 받아오는 모델 리포트 하나. 숫자가 다 달랐습니다. 회의는 한 시간 반 걸렸고 끝날 때 바뀐 건 아무것도 없었습니다.
이 장면이 특별히 나쁜 팀의 이야기가 아니라는 걸 올해 나온 조사 숫자가 말해줍니다.
미국 시니어 의사결정자 500명에게 "가장 믿는 측정 방법"을 물었더니 독립 증분 테스트가 60%로 1위였습니다. 미디어 믹스 모델링은 40%, 광고 플랫폼이 직접 주는 리포트는 37%였어요. 멀티터치 어트리뷰션을 가장 신뢰할 수 있는 방법론으로 꼽은 비율은 19.4%까지 내려갔습니다.
몇 년 전만 해도 멀티터치가 정답처럼 팔렸던 걸 기억하실 겁니다. 그 자리가 바뀌었습니다.
문제는 같은 해에 나온 다른 숫자입니다.
바이사이드 리더의 75%가 "어트리뷰션, 증분 테스트, MMM을 포함한 핵심 측정 방법들이 기대만큼 작동하지 않는다"고 답했습니다. 78%는 측정이 부실해서 마케팅 예산의 최소 10%가 낭비된다고 봤습니다.
읽고 나서 한참 생각했습니다. 가장 믿는 방법의 신뢰도가 60%까지 올라온 해에, 바로 그 방법까지 포함해서 "작동하지 않는다"가 75%라는 겁니다. 도구를 바꿨는데 불신은 그대로입니다.
저는 여기서 흔한 결론으로 가지 않으려고 합니다. "그러니 더 좋은 측정 솔루션이 필요하다"는 결론이요. 지난 5년간 업계는 라스트클릭에서 멀티터치로, 멀티터치에서 모델로, 모델에서 증분으로 세 번 갈아탔습니다. 그리고 75%에 도착했습니다. 네 번째 교체가 다를 이유가 있을까요.
제 생각은 이렇습니다. 측정의 문제는 정확도가 아닙니다.
대부분의 조직은 숫자가 정확해지면 결정이 쉬워진다고 가정합니다. 실제로는 반대로 움직입니다. 결정 규칙이 없는 팀에서 정확한 숫자는 논쟁의 연료가 됩니다.
실험 결과가 "이 채널의 증분 효과는 통계적으로 0에 가깝다"고 나왔다고 해봅시다. 그다음에 어떤 말들이 나오는지 아실 거예요. 테스트 기간이 짧았다. 시즌이 특이했다. 브랜드 효과는 90일 뒤에 나온다. 이건 상단 퍼널 채널이라 하단 전환으로 안 잡힌다.
전부 틀린 말이 아닙니다. 그래서 더 어렵습니다. 반박이 합리적일 때 숫자는 아무것도 바꾸지 못합니다.
같은 맥락의 숫자가 하나 더 있습니다. 87%의 기업이 스스로를 데이터 드리븐이라고 믿는데, 실제로 데이터에 근거해 결정한다고 답한 비율은 37%입니다. 이 50포인트 격차를 보통 "데이터 성숙도가 부족해서"로 설명합니다.
저는 권한 구조로 읽습니다. 데이터는 이미 내려진 결정을 지지할 때 소비되고 반대할 때는 맥락이 동원됩니다. 데이터 품질을 올려도 이 구조는 안 바뀝니다. 오히려 품질 좋은 데이터는 더 정교한 반박을 만들어냅니다.
그래서 저는 측정 프로젝트를 시작할 때 도구 이야기를 먼저 꺼내지 않습니다. 먼저 묻는 건 하나입니다.
"이번 분기에 당신이 실제로 바꿀 수 있는 결정이 뭔가요?"
이 질문에 세 개 이상 대답하는 팀을 만난 적이 많지 않습니다. 대부분 "채널 믹스 최적화" 같은 답을 주시는데 그건 결정이 아니라 영역입니다. 결정은 "리타게팅 예산을 20% 줄인다" 같은 문장이어야 합니다. 주체와 방향과 크기가 있어야 결정입니다.
결정 목록이 나오면 그다음은 임계값입니다. 결정마다 "어떤 숫자가 나오면 실행한다"를 분기 시작 전에 적습니다. 숫자를 본 다음에 기준을 정하면 늦습니다. 이미 해석의 협상이 시작된 뒤니까요.
그리고 마지막에 도구를 고릅니다. 임계값을 판정할 수 있는 최소한의 측정만요. 이 제약을 걸면 필요한 솔루션이 놀랄만큼 줄어듭니다. 작년에 한 D2C 브랜드에서 이 작업을 했는데 검토 중이던 도구 네 개 중 세 개가 필요 없어졌습니다.
조금 더 구체적으로 적어볼까요. 그 팀이 분기 초에 합의한 문장은 이런 모양이었습니다.
하나. 브랜드 키워드 검색 예산. 4주 지역 홀드아웃을 돌려 증분 전환율이 15%를 밑돌면 예산을 30% 깎는다. 둘. 리타게팅. 증분 기준 고객획득비용이 신규 고객 획득비용의 1.2배를 넘기면 노출 빈도 상한을 내린다. 셋. 영상 상단 퍼널. 분기 모델 리포트에서 기여도가 현재 예산 비중보다 5포인트 낮게 나오면 다음 분기에 그만큼 옮긴다.
세 문장이 전부입니다. 대단한 분석 설계가 아니에요. 중요한 건 이 문장들을 분기가 시작되기 전에 썼고 예산 권한을 가진 사람이 동의했다는 사실입니다.
그리고 실제로 첫 번째 항목에서 숫자가 기준을 밑돌았습니다. 회의에서 반박이 나왔습니다. 늘 나오는 그 반박들이요. 그때 누군가가 합의 문서를 띄웠습니다. 예산은 깎였습니다. 그 분기에 그 팀이 측정 도구를 새로 산 건 하나도 없었습니다.
반대로 제가 본 가장 비싼 실패는 이렇습니다. 월 단위로 아주 정교한 리포트가 나오는 조직이 있었어요. 데이터 연결도 깔끔했고 담당자도 유능했습니다. 그런데 1년 동안 그 리포트 때문에 움직인 예산이 거의 없었습니다. 이유가 단순했습니다. 리포트를 받는 사람에게 예산 권한이 없었어요.
측정 불신을 데이터 팀의 숙제로 넘기는 조직이 많은데 저는 그게 부당하다고 봅니다. 데이터 팀은 숫자를 정확하게 만들 책임이 있습니다. 하지만 그 숫자에 권한을 부여할 책임은 없어요. 권한은 예산을 쥔 사람이 줍니다. 측정을 고치라고 지시하면서 결정 규칙은 만들지 않는 조직은 계속 같은 자리를 돕니다.
혹시 지금 측정 개편을 검토하고 계시다면, 솔루션 데모를 잡기 전에 한 가지만 먼저 해보시길 권합니다. 광고 플랫폼이 보고하는 전환 수와 실제 주문 수의 비율을 지난 3개월치로 계산해보세요. 메타가 100건이라고 하는데 실주문이 62건이면 보정 계수는 0.62입니다. 정교한 방법은 아닙니다. 그래도 이 숫자 하나가 "과대계상이 어느 정도인지"를 처음으로 눈에 보이게 만들어 줍니다. 그리고 이 계산에는 추가 예산이 0원 듭니다.
그 다음에, 비중이 가장 큰 채널 하나에만 증분 설계를 붙여보는 겁니다. 전면 도입은 그 하나가 끝난 뒤에 이야기할 일입니다.
여기까지 읽으시고 "그래서 증분 테스트를 도입하라는 거네"라고 정리하셨다면 절반만 맞습니다.
증분 테스트에는 분명한 비용이 있습니다. 홀드아웃은 매출을 일부러 포기하는 실험이에요. 재무 담당자에게 "이 지역의 광고를 껐고 그만큼 매출이 빠졌는데 그게 학습 비용입니다"를 설명해야 합니다. 그리고 국내에서는 지역 분할 자체가 미국처럼 깔끔하지 않습니다. 수도권 비중이 압도적이라 홀드아웃 지역을 잡는 순간 표본의 성격이 달라져 버립니다.
그러니까 "미국은 증분이 대세"라는 문장만 들고 오면 6개월 뒤에 아무 결론도 못 낸 실험 로그만 남습니다. 저는 그런 사례를 몇 번 봤습니다.
국내에서 그나마 현실적인 대안은 시간 기반 홀드아웃입니다. 지역을 나누는 대신 요일이나 주차 단위로 노출을 껐다 켜면서 리프트를 보는 방식이에요. 다만 계절성과 프로모션 일정이 뒤섞여서 해석이 꽤 어렵습니다. 그래서 더 길게 돌려야 하고 더 자주 실패합니다. 이걸 미리 알고 시작하는 것과 모르고 시작하는 것의 차이가 큽니다.
그런데도 증분 테스트가 1위에 오른 이유는 따로 있다고 생각합니다. 정확해서가 아닙니다. 지역 홀드아웃은 노이즈가 크고 표본 요건이 까다롭고 비쌉니다. 정확도만 따지면 자랑할 게 없는 방법이에요.
다른 점은 단 하나입니다. 그리고 그 하나가 왜 MMM이나 어트리뷰션에도 그대로 이식될 수 있는지, 또 클린룸에 평균 87만 달러를 쓴 포춘 500 기업들이 왜 여전히 75% 안에 남아 있는지가 이 이야기의 결론입니다.
솔직히 말하면 그 부분이 제가 이 글을 쓴 이유입니다. 신뢰도 순위 표는 어디서든 볼 수 있지만, 왜 순위가 바뀌어도 불신이 안 줄어드는지는 거기서 설명해주지 않습니다. 전체 분석은 아래에서 확인하실 수 있습니다.
원문 보기: https://medium.com/@hoon_16083/%EC%B8%A1%EC%A0%95-%EB%8F%84%EA%B5%AC%EB%A5%BC-%EB%B0%94%EA%BF%A8%EB%8A%94%EB%8D%B0-75-%EA%B0%80-%EB%98%90-%EB%AA%BB-%EB%AF%BF%EC%97%88%EB%8B%A4-32948552c43e
의견을 남겨주세요