[5호] 전환율은 올랐는데, 매출이 떨어졌다고요?

저는 그동안 포털, 모빌리티, 금융, 커머스 등 다양한 산업에서 UX 디자이너와 PM으로 일해왔습니다.

이 일을 꽤 오랜 시간 애정을 가지고 해올 수 있었던 이유가 무엇일까 생각해본 적이 있는데요.

제가 만드는 작은 변화 하나가 고객의 삶을 더 긍정적으로 바꿀 수 있다는 믿음, 그리고 (한 회사 안에서조차) 여러 프로젝트를 경험하면서 제품에 대한 이해가 넓어질 때 느껴지는 성취감 때문인 것 같아요.

하지만 이렇게 한 제품 안에 다양한 도메인과 기능 영역, 그리고 각기 다른 목표를 가진 조직들이 함께 얽혀 있기에 내가 만든 작은 변화 하나가 예상치 못한 지점에서 큰 영향을 일으키기도 합니다. 어쩌면 이런 긴장감을 즐길 수 있는 사람이 PM으로 오래 버티는 것 같기도 합니다. 😅

작은 개선 하나가 만드는 의외의 파장

예를 들어볼게요.

커머스 플랫폼에서 첫 구매 고객을 늘리기 위해 심리적 구매 허들이 낮은 소액의 상품을 페이지 상단에 추천하는 실험을 진행한다고 가정해보겠습니다. 이 실험의 가설을 다음과 같이 정의해볼게요.

실험이 성공한다면 고객의 구매 전환율, 상품 클릭률, 만족도를 상승시키는 긍정적인 효과를 기대해볼 수 있습니다.

하지만 다른 관점에서는 아래와 같은 일이 생길 수도 있어요!

고객이 소량의 상품만을 주문하게 되어서 평균결제금액(AOV)이 낮아진다면 총 매출이 하락하게 되고, 이 경우 재무나 경영기획 조직이 관리하는 매출 목표에 직접적인 타격을 줄 수 있습니다. 또한 고마진 상품 판매 비중이 줄어들거나 특정 셀러와의 관계에 영향을 주게 된다면, MD 조직 입장에서도 불편한 실험이 되지요. 의외지만 물류나 운영 조직에도 영향이 있습니다. 주문수는 증가하지만 주문당 매출이 낮고 포장 및 배송 비용은 거의 동일하다면 주문당 마진이 줄어들어 조직의 수익성에도 부담이 될 수 있기 때문입니다.

즉 하나의 개선은 생각보다 많은 조직의 KPI와 연결되어 있습니다.

실험을 바라보는 여러 시선

이러한 리스크를 관리하기 위해 실험에서는 기본적으로 목표 지표뿐 아니라 훼손되어서는 안 되는 가드레일 지표도 함께 설정합니다.

통계적 신뢰성을 확보하기 위해 2만 명을 대상으로 2주간 실험을 진행한다고 가정해볼게요.

실험 계획이 조직에 공유되는 순간, 관련 조직들에게 이 실험은 자연스럽게 예의주시 대상이 됩니다. 특히 매출 KPI를 직접적으로 책임지는 조직이라면, 설령 전체 트래픽의 아주 작은 비율로 진행되는 실험이라도 민감할 수 밖에 없을 거에요.

사업적 리스크가 존재하는 상황에서 이 2주는 생각보다 길게 느껴집니다. 실험 과정에서 매출이 떨어지는 모습이 보인다면, 당장 실험을 중단하라는 압박이 들어올지도 모르지요. 잘못된 일을 한 것도 아닌데, 실험을 진행하는 동안 어딘가 큰 잘못을 하고 있는 듯한 기분이 들기도 합니다. 

실제로 비즈니스 상황에 따라 조기 종료가 더 합리적인 선택일 수도 있습니다. 문제는 사전에 합의된 기준 없이 감정이나 불안에 의해 실험이 중단되는 경우입니다. 가설을 검증하기에 충분한 표본이 확보되기 전에 실험이 종료된다면 우리는 '위험했다'는 인상만 남긴 채 정량적 근거를 확보하지 못하게 됩니다.

물론 실험은 어디까지나 이 변화가 고객의 행동을 바꾸는지를 이해하기 위한 학습의 도구이며, 이 변화를 실제로 적용할 것인가는 분명히 다른 단계의 문제입니다. 그래서 실험 단계에서부터 모든 이해관계자를 완벽히 고려하려 한다면 실험은 불가능해질 수도 있습니다. 실험이 제대로 작동하려면, 단기적인 변동을 감수하고 검증 과정을 존중하는 조직의 열린 문화가 필요합니다.

하지만 실험의 목표만으로는 성공한 실험이 회사 관점에서는 사업의 악화가 되는 상황이 계속 반복된다면, 조직 내 실험 자체에 대한 신뢰가 약해질 수도 있습니다. 그렇게 되면 결국 우리가 하고 싶은 더 많은 것들을 시도해볼 수 있는 기회도 점점 줄어들게 될지 모릅니다.

실험을 지키기 위한 장치, Stop Rule

이 갈등을 줄이기 위한 방법 중 하나로 사전에 사업적 임계치(Stop Rule)를 고려해볼 수 있습니다. 사업적으로 치명적인 영향을 줄 수 있는 항목에 대해 사전에 행동 기준을 합의하고 실험 설계에 이를 반영하는 방식입니다.

예를 들어 다음과 같은 기준을 설정할 수 있습니다.

이러한 기준은 통계적 유의성과는 별개로, 사업적으로 감내하기 어려운 리스크가 발생했을 때 실험을 중단하기 위한 안전장치가 됩니다.

반대로 이러한 임계치를 건드리지 않는다면 실험의 신뢰성을 확보할때까지 실험을 유지하고 최종 결과를 기반으로 의사결정한다는 사전 합의 또한 매우 중요합니다. 이러한 합의가 우리의 실험이 불필요하게 중단되지 않고 유지될 수 있는 힘이 되어주기도 합니다.

최근에는 Statsig, Optimizely 등과 같은 실험 플랫폼을 통해 이러한 운영을 보다 체계적으로 할 수 있습니다. 이러한 플랫폼들은 실험 데이터를 지속적으로 모니터링할 수 있는 분석 환경을 제공합니다. 또한 주요 지표의 임계치를 설정해 이상 변화가 발생할 경우 알림을 받을 수 있어, 실험 진행 중 사업적 리스크를 보다 빠르게 감지할 수도 있습니다.

전문 실험 플랫폼을 쓰기 어렵거나 데이터 분석가가 없는 환경이라면, LLM을 활용해 실험 데이터를 자동으로 요약하고 사전에 정의된 기준에 따라 주요 지표의 이상 변화나 리스크를 점검하는 간단한 분석 구조를 설계해볼 수도 있습니다. 매일 실험 지표 변화를 요약하고, 가드레일 지표가 사전에 설정한 임계치를 초과했는지 여부를 자동으로 확인하는 방식입니다.

결정은 여전히 당신의 몫

데이터적 판단 근거를 명확하게 했다고 하더라도 실제적인 의사결정을 판단하는 것은 더 다양한 층위가 필요합니다. 정성적인 고객 반응, 회사의 중장기 전략 방향, 시장 경쟁 구도, 브랜드 방향성 등 다양한 관점으로 판단이 필요하고 그 최종 결정의 중심에는 이 실험의 오너인 PM이 있습니다.

그러나 이러한 사업적 판단 기준을 실험 설계 단계에서 함께 고려한다는 것은, 이 실험을 단순한 기능 테스트가 아니라 우리 조직 전체 전략과 연결된 의미 있는 시도로 만드는 일입니다. 그리고 그 고민은 다른 유관 부서들과 소통하고 설득할 수 있는 강력한 언어가 되어줄 것입니다.

지금도 고객 가치를 위해 실험을 이어가고 있는 모든 PM분들께 응원을 보냅니다. 👏

📮 다음 호 예고

[6호] 아침마다 트렌드 '날로 먹는' 방법 

클로드 코워크로 나만의 맞춤형 트렌드 레터를 받아볼 수 있는 치트키를 공개합니다.

✉️ 아래 [구독하기] 버튼 누르고 '날로 먹을' 준비되셨나요? 😆