[8화] 📊 데이터는 많은데, 왜 확신은 부족할까

안녕하세요. 프로덕트를 만들며 생각이 점점 많아지고 있는 hubert입니다.

데이터 기반 의사결정은 이제 너무 익숙한 말이 되었습니다.
감이 아니라 숫자로 이야기하자, 측정할 수 있는 것만 논의하자, 가설은 검증하자.
이런 말들은 이제 제품을 만드는 사람이라면 거의 당연하게 받아들이는 문장이 된 것 같습니다.

저 역시 그 흐름 안에서 오래 일해왔습니다.
지표를 더 잘게 나누고, 퍼널을 더 세밀하게 보고, 세그먼트별 반응을 더 깊이 들여다보면 조금 더 좋은 결정을 내릴 수 있을 거라고 믿었습니다.

그런데 어느 순간부터 조금 다른 장면들이 눈에 들어오기 시작했습니다.

데이터는 분명 더 많아졌습니다.
대시보드는 더 정교해졌고, 실험 환경도 더 좋아졌고, 예전보다 훨씬 더 많은 숫자를 빠르게 확인할 수 있게 되었습니다.
그런데 이상하게도 확신은 함께 커지지 않았습니다.

오히려 중요한 결정을 앞둘수록
회의는 길어지고,
설명은 늘어나고,
마지막 한 걸음은 자꾸 뒤로 밀리는 경우를 더 자주 보게 됐습니다.

왜 그럴까 생각해보면,
문제는 데이터가 부족해서라기보다
실험과 가설이 생각보다 더 이른 순간에 힘을 잃고 있기 때문이었습니다.

❓ 가설은 결과가 나빠서만 힘을 잃지 않는다

예전에는 가설이 틀리면 실험이 실패한다고 생각했습니다.

이 기능을 넣으면 전환율이 오를 것이다.
이 정책을 바꾸면 사용률이 높아질 것이다.
이 경험을 더 편리하게 만들면 고객 반응이 좋아질 것이다.

이런 가설을 세우고,
실험을 하고,
결과를 보고,
그 결과를 바탕으로 다음 결정을 내리는 것.
저는 한동안 이것이 데이터 기반 의사결정의 정석에 가깝다고 생각했습니다.

그런데 실제로 일하면서 자주 마주한 장면은 조금 달랐습니다.

가설은 꼭 결과가 나빠서만 힘을 잃는 게 아니었습니다.
오히려 실험 결과가 나오기 전부터, 혹은 숫자가 충분히 쌓였는데도, 이미 약해지고 있는 경우가 많았습니다.

무엇을 확인하려는지,
어떤 결과가 나오면 성공이라고 말할 수 있는지,
무엇을 가장 중요하게 볼 것인지가
서로 분명하게 맞춰지지 않은 상태에서 실험이 시작될 때가 그랬습니다.

실험과 가설은 결과가 나쁜 순간보다, 무엇을 검증할지 흐린 채 시작될 때 더 먼저 힘을 잃습니다.

이럴 때는 데이터가 쌓여도 확신이 생기기보다
해석만 늘어나기 쉽습니다.

🧪 쿠폰 자동적용 프로젝트를 하며 들었던 질문

한 번은 고객이 보유한 쿠폰을 주문서에서 자동으로 적용해주는 프로젝트를 진행한 적이 있습니다.

업주가 발행한 쿠폰,
사용자가 따로 받아둔 쿠폰,
여러 경로로 보유하고 있던 혜택을
주문서에서 자동으로 반영해주는 구조였습니다.

처음 이 프로젝트를 바라볼 때의 기대는 비교적 단순했습니다.

사용자는 자신이 가진 혜택을 더 쉽게 쓸 수 있게 되고,
주문 과정에서 쿠폰을 일일이 찾거나 비교해야 하는 부담은 줄어들고,
그 결과 주문 경험도 더 편해질 것이라고 생각했습니다.

당시에는 꽤 자연스럽게 이런 기대도 함께 따라붙었습니다.
쿠폰 사용 경험이 더 편해지면 고객 반응도 좋아질 것이고,
혜택 경험이 자연스러워지면 서비스 활성화에도 긍정적인 영향을 줄 수 있지 않을까 하는 기대였습니다.

실제로 첫 결과는 나쁘지 않았습니다.
아니, 숫자만 놓고 보면 꽤 좋아 보였습니다.

쿠폰 사용률이 눈에 띄게 올라갔기 때문입니다.

처음에는 그 숫자가 반가웠습니다.
적어도 ‘고객이 가진 혜택을 더 쉽게 쓰게 만들겠다’는 목표만 놓고 보면,
우리가 하려던 변화가 분명히 작동한 것처럼 보였기 때문입니다.

그런데 이상하게도
시간이 지날수록 확신은 더 선명해지지 않았습니다.
오히려 그 숫자를 어떻게 이해해야 하는지에 대한 질문이 더 많아지기 시작했습니다.

📉 숫자는 좋아졌는데, 왜 확신은 줄어들었을까

처음에는 쿠폰 사용률 상승이라는 결과가 꽤 분명한 성공처럼 느껴졌습니다.

사용자가 혜택을 더 쉽게 썼다는 뜻처럼 보였고,
그만큼 주문 과정의 장벽이 낮아졌다고 해석할 수도 있었습니다.

그런데 시간이 조금 지나자,
숫자 바깥의 질문들이 하나둘 따라오기 시작했습니다.

이 쿠폰을 사용한 고객이
정말 더 자주 다시 주문하게 되었는지,
업주는 이 비용을 감수할 만큼
의미 있는 성과를 체감하고 있는지,
사용자는 지금 어떤 쿠폰이 적용됐는지,
그리고 이 매장에서 내가 얼마나 혜택을 받고 있는지를
분명하게 인지하고 있는지.

이 질문들이 붙기 시작하자
쿠폰 사용률이라는 숫자 하나만으로는
무언가를 쉽게 결론 내리기 어려워졌습니다.

업주 입장에서는
쿠폰 비용은 분명히 발생하고 있었습니다.
그런데 그 결과로 고객이 단골이 되었는지,
혹은 이후 주문 행동이 실제로 달라졌는지는
쉽게 확인하기 어려웠습니다.

사용자 입장에서도
자동적용은 분명 편리한 경험이었습니다.
다만 편리함과 혜택 체감은 완전히 같은 이야기는 아니었습니다.
쿠폰이 자동으로 적용되니 번거로움은 줄었지만,
정작 어떤 쿠폰이 어떻게 적용되었는지,
내가 이 매장에서 어떤 혜택을 받고 있는지는
생각만큼 선명하게 남지 않을 수도 있었습니다.

비즈니스 관점에서도 마찬가지였습니다.
누군가는 사용률 상승을 먼저 긍정적으로 봤고,
누군가는 할인 비용과 수익성을 더 크게 봤습니다.
제품 관점에서는 편의성이 좋아졌다고 말할 수 있었지만,
그게 정말 고객 활성화나 재주문으로 이어지고 있는지는 또 다른 문제였습니다.

같은 데이터를 보고 있었지만 우리는 서로 다른 성공을 이야기하고 있었습니다.

그리고 바로 그 지점에서
숫자는 많아졌지만 확신은 줄어드는 이상한 상태가 만들어졌습니다.

💡 그때 부족했던 건 데이터가 아니었다

지금 돌이켜보면
그때 부족했던 건 데이터가 아니었습니다.

데이터는 오히려 꽤 많았습니다.
사용률은 볼 수 있었고, 변화도 확인할 수 있었고,
여러 관점에서 해석할 근거도 충분히 있었습니다.

그런데도 결론이 쉽게 나지 않았던 이유는
우리가 이 실험을 통해 무엇을 성공이라고 말할 것인지를
충분히 선명하게 맞추지 못했기 때문이었습니다.

사용률이 올라가는 것이 가장 중요한지,
재주문이 늘어나는 것이 더 중요한지,
업주가 성과를 체감하는 것이 중요한지,
사용자가 혜택을 더 분명하게 인식하는 것이 중요한지.

이 질문이 먼저 정리되지 않으니
좋은 숫자가 나와도 그것이 곧바로 확신으로 이어지지 않았습니다.

오히려 반대로,
숫자가 많아질수록 해석은 더 많아졌고,
설명은 더 길어졌고,
결정은 더 조심스러워졌습니다.

그때 저는 분명하게 느꼈습니다.

가설은 결과가 안 좋아서만 힘을 잃는 게 아니라,
무엇을 확인하려는지 선명하지 않은 채 실험이 시작될 때
이미 약해지기 시작한다는 것을요.

결국 그때 힘을 잃은 건 데이터가 아니라 가설이었습니다.
무엇을 검증하려는지보다 무엇이 좋아 보였는지가 먼저 앞서기 시작한 순간,
실험은 학습의 도구이기보다 해석의 재료가 되어버렸습니다.

🧭 데이터는 사실을 보여주지만, 무엇을 중요하게 볼지는 알려주지 않는다

이 경험 이후로 저는 데이터 자체를 의심하게 된 것은 아닙니다.
여전히 숫자는 중요하고, 실험은 필요하고, 검증은 반드시 있어야 한다고 생각합니다.

다만 이제는 데이터가 답을 준다고 생각하지 않게 되었습니다.

데이터는 사실을 보여줍니다.
하지만 그 사실 중에서 이번에 무엇을 가장 중요하게 볼 것인지,
무엇은 참고하고 무엇은 다음 단계로 미룰 것인지까지 자동으로 정리해주지는 않습니다.

그 선택은 결국 사람이 해야 합니다.

그리고 그 선택이 빠져 있으면
조직은 같은 숫자를 보면서도
각자 다른 결론을 내리게 됩니다.

누군가는 성장을 먼저 보고,
누군가는 비용을 보고,
누군가는 고객 경험을 보고,
누군가는 운영 가능성을 봅니다.

모두 틀린 말은 아닙니다.
그래서 더 어렵습니다.

각자의 말이 모두 어느 정도는 맞기 때문에,
하나의 방향으로 합의하기가 더 어려워집니다.
저는 그 상태가 데이터 기반 의사결정이 가장 어려워지는 순간이라고 생각합니다.

숫자가 부족한 상태보다
숫자는 충분한데 기준이 흐린 상태가
오히려 더 오래 조직을 멈추게 만드는 것 같습니다.

📝 그래서 요즘은 결과보다 먼저 질문을 정리하려고 합니다

이 경험 이후로
저는 실험을 볼 때 결과보다 먼저 질문을 보게 되었습니다.

이 실험은 무엇을 확인하기 위한 실험인지.
무엇이 좋아지면 성공이라고 말할 수 있는지.
이번에 가장 중요하게 볼 숫자는 무엇인지.

그리고 나머지 숫자는
참고 지표인지, 경고 지표인지,
아니면 다음 단계에서 확인할 숫인지를
조금 더 의식적으로 나누어 보려고 합니다.

예전에는
데이터가 부족해서 결정이 어려운 줄 알았습니다.
지금은 조금 다르게 생각합니다.

확신이 부족한 이유는 데이터의 양보다
무엇을 확인하려는지에 대한 질문이 흐릿하기 때문일 수 있습니다.

좋은 실험은
많은 데이터를 만드는 실험이라기보다,
무엇을 배워야 하는지가 분명한 실험에 더 가깝다고 생각합니다.

📮 다음 호 예고

[9호] QA가 아니라 PM이 품질을 책임진다고요? - AI 서비스 PM이라면 반드시 고민해야 하는 ‘품질’의 기준

“품질평가? 그거 QA가 하는 거 아니에요?”라고 생각했던 초보 AI 서비스 기획자였는데,AI 서비스를 만들 때는 ‘품질’에 대한 역할이 완전히 달라진다는 걸 체감했습니다.
결론부터 말하면, AI 서비스에서 PM은 ‘품질을 정의하고 측정하는 사람’에 가깝습니다.

일반 서비스 PM과 AI 서비스 PM의 품질 역할 차이를 깨닫게 된 에피소드와, 실무에서 바로 써먹을 수 있는 평가 업무 관련 마인드셋, 그리고 꿀팁을 다음 뉴스레터에서 풀어볼게요.

✉️ 다음 호가 궁금하신 분들은 아래 [구독하기] 버튼을 눌러주세요. 🙂