안녕하세요, 아이작입니다. 👋
오늘은 광고소재에 대해서 얘기해보려고 합니다.
결론부터 말씀드리자면,
소재 A랑 B를 며칠 돌려보고 한쪽을 끄셨다면, 그 판단은 틀렸을 가능성이 높습니다.
단순히 성과가 좋고 나빠서가 아니라, 충분한 데이터가 모이지 않았기 때문입니다.
가위바위보를 예시로 설명을 이어가볼게요.
① 세 판만으로는 아무것도 알 수 없어요
친구랑 가위바위보를 했어요. 세 판 해서 친구가 다 이겼습니다. 그럼 친구가 저보다 잘하는 걸까요? 아니죠. 그냥 운이에요. (심리적 요인, 초고수(?) 제외..)
광고도 똑같습니다. 소재 두 개 올려놓고 단순 며칠 지켜보는 건, 가위바위보 몇 판 하고 실력을 정하는 것과 같아요. 그래서 컴퓨터한테 시켜봤습니다.
실력=전환율이 완전히 똑같은 소재 두 개를 만들었다고 가정해볼게요. 백 명이 보면 두 명이 사는 소재(전환율 2%). 두 개 다 똑같이요. 그리고 1만번의 트래픽이 왔다고 가정해보죠.
결과는 이렇습니다.
| 트래픽 수 | 한쪽이 N배의 성과 | 두 배나 좋아 보일 확률 |
|---|---|---|
| 100명 | 두 배 | 60% |
| 300명 | 1.5배 | 30% |
| 1,000명 | 1.2배 | 4% |
| 3,000명 | 1.1배 | 거의 없음 |
| 10,000명 | 1.07배 | 없음 |
통계에서 루트 엔 법칙이라고 부릅니다. 흔들림을 절반으로 줄이려면 사람이 네 배 필요해요.
그래서 300명에서 1,000명으로 세 배 늘려도, 격차가 1.5배에서 1.2배로 조금밖에 안 줄어듭니다.
300명씩 보내놓고 한쪽이 1.5배 나빠 보여서 끄셨다면, 그건 가위바위보 세 판 하고 진 사람을 내보낸 것과 같습니다.
② 그럼 몇 판을 해야 아나요
여기가 진짜 중요합니다.
친구가 저보다 훨씬 잘하면 세 판만 해도 알아요. 근데 아주 조금 잘하면 백 판을 해도 헷갈립니다.
광고에 적용시켜보면, 새 소재가 얼마나 좋아졌냐에 따라 필요한 트래픽이 완전히 달라집니다.
전환율 2%로 동일한 기준으로 계산해봤어요.
| 새 소재가 이만큼 좋아졌다면 | 한쪽에 필요한 사람 수 |
|---|---|
| 10% 더 판다 | 8만 명 |
| 30% 더 판다 | 1만 명 |
| 50% 더 판다 | 3,800명 |
필요한 사람 수는 개선폭의 제곱에 반비례합니다.
개선폭이 절반으로 줄면 사람은 네 배가 필요해져요.
그래서 10%와 50% 사이가 다섯 배가 아니라 스무 배 넘게 벌어집니다.
쉽게 말하면, 작은 차이의 변동을 통계적으로 증명하는게 훨씬 더 많은 데이터를 요구합니다.
돈으로 환산해볼까요? 한 명 데려오는 데 800원, 한 달에 500만원 쓰는 가게라면 한 달에 6,250명이 옵니다.
| 찾고 싶은 것 | 걸리는 시간 |
|---|---|
| 10% 더 파는 소재 | 2년 2개월 |
| 30% 더 파는 소재 | 3개월 |
| 50% 더 파는 소재 | 한 달 |
10% 좋아진 소재를 찾겠다고 A/B를 돌리면 2년이 넘게 걸립니다.
그 사이에 계절도 바뀌고 유행도 바뀌어요. 못 기다립니다.
💡 그래서 작게 바꾸면 안 됩니다. 버튼 색이나 글자 몇 개 바꾸는 건, 나랑 실력이 비슷한 친구랑 가위바위보 하는 거예요. 백 판을 해도 모릅니다. 바꾸려면 크게 바꾸세요. 가격을, 사은품을, 첫 화면을 통째로. 확 달라야 몇 판 만에 보입니다.
③ 제 데이터에서도 똑같았어요
계산한것만 보여드리면 좀 그렇잖아요. 제 스레드 글 약 1000편으로도 확인해봤습니다.
글마다 반응률이 다 다릅니다. 그 차이가 어디서 왔는지를 분석해봤어요.
글을 잘 써서 벌어진 차이일까요, 그냥 사람이 적어서 흔들린 걸까요.
분석 방법은 생각보다 쉬워요. 가위바위보처럼 순전히 운만 작용했다면 얼마나 흔들렸을지는 계산이 됩니다. 그걸 실제로 흔들린 정도랑 나란히 놓으면 돼요.
| 본 사람 | 글 수 | 보통 반응률 | 제일 높았던 글 | 이 차이 중 운의 몫 |
|---|---|---|---|---|
| 100명 미만 | 18편 | 4.92% | 12.50% | 81% |
| 100~300명 | 259편 | 3.77% | 11.36% | 47% |
| 300~700명 | 290편 | 2.52% | 11.18% | 22% |
| 700~1500명 | 169편 | 1.94% | 8.58% | 14% |
| 1500명 이상 | 93편 | 1.72% | 4.86% | 6% |
맨 오른쪽 지표가 중요합니다.
100명 이하로 본 글들끼리 벌어진 차이는, 열에 여덟이 운이었습니다. 1500명 넘게 본 글들끼리 벌어진 차이는, 스물에 하나만 운이었고요.
왜 그런지는 표의 12.50%를 뜯어보면 바로 보입니다. 그 글은 80명이 보고 10명이 반응했어요.
한 명만 덜 눌렀으면 11.25%입니다. 사람 한 명이 1.25%p를 움직여요.
2,500명이 본 글에서는 한 명이 0.04%p입니다. 같은 한 명인데 30배 넘게 차이가 납니다.
이 81%는 이렇게 나온 숫자예요: 반응률은 몇 명이 보고 몇 명이 눌렀나입니다. 가위바위보랑 구조가 동일하다는 전제를 깔고 갑니다. 그래서 실력이 전부 똑같다고 쳐도 숫자가 얼마나 흔들릴지는 미리 계산됩니다. 33명이 본 글은 크게 흔들리고, 98명이 본 글은 덜 흔들려요. 그 계산값이 실제 흔들림의 81%였습니다. 1500명 넘는 구간에서는 6%였고요.
물론 정확한 분석은 아닙니다. 스레드의 알고리즘도 작용을 하고, 가위바위보처럼 모든 글들이 같은 조건과 환경에서 노출이 되는 것은 아니니까요. 그래도 방향은 분명하게 보여지는 것 같습니다. 적은 모수를 볼 때는 우연의 비중이 훨씬 크다고 결론을 낼 수 있겠죠.
광고로 옮기면 결국 이 얘기예요. 단지 구매 몇 건으로 매긴 소재, 캠페인 순위는, 가위바위보 세 판으로 매긴 순위인거죠.
오늘부터 바꿀 세 가지를 추천드리자면:
첫째. 크게 바꾸세요.
②번 표에 답이 있어요. 확 달라질수록 필요한 사람 수가 확 줄어듭니다. 계정이 작을수록 작은 실험을 하면 안 돼요. 버튼 색이 아니라 가격을, 글자가 아니라 첫 화면을 바꾸세요.
둘째. 언제 결정할지 먼저 정하세요.
매일 들여다보다가 좋아 보이는 날 결정하는 습관이 있어요. 저도 그랬습니다. 근데 이러면 틀릴 확률이 5%에서 20~30%로 올라갑니다.
가위바위보 하다가 내가 이기고 있을 때 여기까지! 하는 거랑 같거든요.
시작할 때 종이에 적으세요. 몇 명까지 볼지, 며칠에 결정할지. 그날까지는 봐도 판단은 안 합니다.
셋째. 1등은 내려온다고 미리 생각하세요.
이번 주 1등 소재는 다음 주에 보통 내려옵니다. 실력이 줄어서가 아니라 운이 빠져서요.
돈 더 부으니까 효율 깨지더라는 말, 절반은 이겁니다. 정말 그런 경우도 있어요. 근데 상당 부분은 그냥 원래 자리로 돌아온 겁니다.
거꾸로도 맞아요. 제일 안 되던 캠페인 손봤더니 좋아졌다면, 그 절반쯤은 제 실력이 아닐 수 있습니다.
그래서 뽑는 기간과 평가하는 기간을 나눕니다. 이번 달 데이터로 승자를 골랐으면, 그 승자 성적은 다음 달 데이터로만 봅니다.
그럼 또 유익한 퍼포먼스 마케팅/콘텐츠 등 다양한 AI 이야기를 전해드릴게요. 감사합니다.
Let AI work, you think.
— 아이작
📮 Business & Contact
[문의하기] 광고대행 & 퍼포먼스 마케팅 AX 시스템 구축: isaac.perform@gmail.com
[전자책] 구글애즈 검색광고 실무가이드: 보러가기
[스레드] @isaac.perform
의견을 남겨주세요