디지털 마케팅의 꽃, A/B 테스트의 모든 것

⚡ 이런 내용이 담겨져 있어요

Q. 안녕하세요. 먼저 A/B 테스트란 무엇인지 간단하게 설명해주세요.

A/B 테스트란 이름에서 알 수 있듯 A안과 B안 중 어떤 게 더 좋은 결과를 가져오는지 실험하는 과정을 일컫는 이름입니다.

최근 선풍적인 인기를 끌고 있는 넷플릭스의 ‘흑백 요리사’를 보셨나요? 이 흑백 요리사의 썸네일 변경이 커뮤니티에서 화제가 되기도 했었는데요, 넷플릭스는 각 콘텐츠마다 여러가지 썸네일을 만들어서 사람들이 어떤 썸네일을 더 선호하는지 테스트 한다고 해요.

이처럼 더 좋은 결과를 만들기 위한 실험 과정을 A/B 테스트라고 합니다. 특히 디지털 환경이 발전하면서 과거보다 더욱 쉽게 테스트를 할 수 있게 되었어요.

Q. 그렇군요. 그렇다면 A/B 테스트가 중요한 이유는 무엇일까요?

A/B 테스트가 중요한 이유에는 여러가지가 있지만 크게 2가지를 이야기해보고 싶어요.

1. 데이터 기반의 의사결정

첫 번째는 데이터 기반의 의사결정을 할 수 있게 도와주기 때문입니다.

사업에 있어서는 감정적이기 보다는 정확하고 올바른 의사결정이 중요합니다. 그리고 정확하고 올바른 의사결정에는 그 근거가 되는 데이터가 필요하죠. 하지만 많은 사람들이 직관이나 감에 의존해서 의사결정을 내리는 경우가 많습니다.

물론 직관 역시 한 사람이 오랜 시간 쌓아온 경험에 기반한 나름의 빅데이터라고 볼 수 있지만 그 근거가 머릿 속에 있는 것과 실제 데이터로 나타나는 것은 큰 차이가 있습니다. 이런 분에게 A/B 테스트는 보다 나은 선택을 할 수 있도록 도와주는 도구가 될 수 있습니다.

2. 지속적인 최적화

두 번째는 지속적인 최적화를 이룰 수 있는 도구이기 때문입니다.

A/B 테스트는 한 번 진행하고 끝내는 것이 아닙니다. 테스트의 결과와 이로부터 얻은 인사이트를 다시 새로운 테스트 설계에 반영하고 이를 반복, 지속적으로 개선할 수 있다는 점이 바로 이 테스트의 매력이죠.

예를 들어 페이스북(메타)은 끊임없이 테스트를 진행하기로 유명한데요, 심지어 브랜드 컬러와 같은 브랜드 아이덴티티까지도 테스트의 대상으로 삼았습니다. 소수의 유저에게 몇 가지 대안을 보여주고 그 중 더 반응이 좋은 안을 전체에 반영하는 식이죠. 이처럼 지속적인 개선과 최적화는 페이스북이 초고속으로 성장할 수 있었던 비결이라 해도 과언이 아닙니다.

Q. 흥미롭네요. 그렇다면 이커머스에서 어떤 식으로 A/B 테스트를 적용해볼 수 있을까요?

우리 웹사이트에 유입된 사용자가 어떤 퍼널을 거쳐가는지 도식화 해보세요. 그리고 나면 각 퍼널별로 어떤 실험이 가능한지 그려볼 수 있습니다. 특히 이커머스는 다른 분야와는 다르게 유입부터 구매까지의 과정이 짧은 시간에 이루어지는 경우가 많아 테스트의 중요성이 더 높다고 할 수 있죠.

랜딩페이지

사용자가 유입되고 난 뒤 가장 처음 보게 될 화면을 떠올려보세요. 랜딩페이지라고 부를 수도 있겠네요. 여기서는 웹사이트 디자인과 관련된 요소를 가장 먼저 테스트 해볼 수 있습니다. 웹사이트 레이아웃이나 정보의 배치, 색상 구성 등이 그 대상이 되겠네요. 예를 들어 토스페이먼츠는 홈페이지 디자인을 지속적으로 실험하여 문의 전환율을 기존보다 2.6배나 높일 수 있었다고 합니다.

제품 상세 페이지

랜딩페이지에서 흥미를 느낀 사용자는 다음 퍼널인 제품 상세 페이지로 들어오게 됩니다. 이 페이지에서는 제품의 정보를 구체적으로 확인할 수 있죠. 제품을 표현하는 이미지나 영상, 제품의 설명, 리뷰 등을 실험할 수 있습니다.

여기서 사용자는 제품의 정보를 확인하고 제품을 구매할지 이탈할지 판단하게 됩니다. 그래서 더더욱 그 중요도가 높은 퍼널인데요, 윙잇은 이 퍼널에서 이미지 배치를 변경하여 전환율을 개선할 수 있었다고 합니다.

가격 전략

가격 전략 역시 실험의 대상이 될 수 있습니다. 가격 정보는 제품 페이지에 제공되긴 하지만 중요도나 비즈니스에 미치는 영향이 크기 때문에 별도로 살펴보겠습니다.

이커머스 가격 실험 솔루션을 제공하는 Intelligems의 실험 결과에 따르면 많은 이커머스 브랜드의 가격 전략이 잘못 설정되었다고 밝혔습니다. 이는 다른 변경점 없이 가격 구조만 테스트해봐도 지금보다 더 나은 수익을 기대할 수 있다는 뜻입니다. 무엇보다 가격이 변하지 않는 불변의 법칙이 아닌 언제든지 변할 수 있는 유동적 속성이라는 관점을 가져보세요.

위에 언급한 내용 외에도 결제 프로세스, 마케팅 메세지, 광고와 같이 사용자에게 노출되는 모든 영역이 A/B 테스트의 대상이 될 수 있다는 점을 기억하세요.

Q. A/B 테스트를 할 때 주의해야 할 점에는 무엇이 있을까요?

유용한 점이 많은 도구이지만 당연히 주의해야 할 점도 있습니다. 특히 실험의 신뢰도에 영향을 주는 내용은 더욱 신경 쓸 필요가 있습니다. 대표적으로 아래와 같은 내용을 주의해주세요.

충분한 샘플 크기 확보

실험의 신뢰도를 높이기 위해서는 샘플, 즉 테스트의 대상이 되는 사용자 수가 충분히 많아야 합니다. 샘플의 크기가 충분하지 않다면 여러가지 요인으로 인해 편향된 결과를 얻을 수 있기 때문에 실험의 신뢰도가 떨어집니다.

그렇다면 샘플의 크기가 얼마나 되어야 충분히 크다고 말할 수 있을까요? A/B 테스트 솔루션 Optimizely에 따르면 1) 현재 전환율과 2) 최소 감지 가능한 수준, 3) 그리고 통계적 유의성에 따라 샘플의 크기를 정할 수 있다고 합니다.

예를 들어 현재 전환율이 5%이며 현재 전환율에서 20% 차이가 난다면 유의미하다고 판단하고 95% 통계적 유의성을 가져가고자 하는 실험이 있다고 가정해볼게요. Optimizely의 계산식에 따르면 이 실험에 필요한 샘플은 6,900개가 필요합니다.

충분한 실험 기간 확보

실험의 신뢰도를 높이기 위해서는 샘플 크기 뿐만 아니라 실험 기간도 중요합니다. 특히 이커머스의 구매 전환율은 날짜나 시즌 이슈에 영향을 많이 받습니다.

예를 들어 주말은 배송이 되지 않기 때문에 평소보다 전환율이 떨어지기 마련입니다. 혹은 설이나 추석과 같이 긴 연휴 기간에도 전환율은 하락하죠. 이런 특수 요인의 영향을 최대한 적게 받도록 일반적으로 1주일 혹은 그 이상 실험을 진행하기를 권장합니다.

한 번에 하나의 변수만 테스트

A/B 테스트에서 가장 많이 실수하는 부분 중 하나가 바로 이 지점입니다. 빨리 결과를 보고 싶은 급한 마음에 여러 개의 실험을 동시에 진행하는 경우가 많습니다. 그러나 신뢰도 높은 실험 결과를 얻기 위해서는 한 번에 하나의 변수만 테스트 하는 게 좋습니다. 여러 요소를 동시에 변경한다면 어느 변화가 어떻게 영향을 미쳤는지 파악하기 어렵기 때문입니다.

다만 A/B 테스트라고 해서 꼭 두 가지 방안으로 테스트를 해야만 하는 것은 아닙니다. 충분한 샘플 크기와 기간이 주어진다면 3가지 혹은 그 이상으로 테스트를 진행할 수도 있습니다 이 경우 A/B/n 테스트라고 부르기도 합니다.

Q. A/B 테스트를 위해서는 어떤 솔루션을 써야하나요?

A/B 테스트라는 방법론이 대두된 이래로 다양한 솔루션이 출현했습니다. 주요 솔루션과 특징에 대해서 간단하게 살펴보면 다음과 같습니다.

1. Optimizely

AI 기반의 A/B 테스트 솔루션으로 이미지, 텍스트, UI, 레이아웃 등을 테스트 할 수 있습니다. 가장 기능이 많고 뛰어난 솔루션 중 하나로 전문가에게 적합합니다.

2. VWO

사용자 친화적인 솔루션으로 쉬운 인터페이스와 다양한 기능을 제공합니다. 일정량의 트래픽이 발생하기 전까지는 무료로 사용할 수 있다는 장점이 있습니다.

3. Hotjar

히트맵 분석이나 세션 레코딩과 같은 UX 분석 솔루션으로 유명한 Hotjar이지만 간단한 테스트 기능도 제공합니다. UX 분석과 함께 사용할 수 있어 효율적입니다.

4. IFDO

위 3가지와는 다르게 국내 업체에서 서비스하는 온사이트 마케팅&마케팅 자동화 솔루션입니다. URL 분기를 기반으로 하는 A/B테스트 기능을 제공하며 네이버 페이 구매 추적까지 가능하여 국내 이커머스 환경에 적합한 솔루션입니다.

그 외에도 광고 플랫폼에서 제공하는 A/B 테스트 기능도 활용이 가능하니 각자 상황에 맞게 적합한 솔루션을 살펴보고 선택하시기 바랍니다.

Q. 마지막으로 A/B 테스트를 해보고자 하는 분들에게 조언을 해주신다면요?

A/B 테스트는 디지털 마케팅의 꽃이라고 할 수 있습니다. 다만 처음부터 승리 공식을 발견하겠다는 거창한 목표보다는 단계를 작게 쪼개서 진행해보세요. 구매 버튼 색깔이나 제품 썸네일과 같이 작은 것 부터요. 이 작은 단계를 밟아가는 과정을 통해 방법론에 익숙해지고 조금씩 성과를 개선해 나가는 것이 중요합니다.

또한 데이터 기반으로 의사 결정을 하되, 직관과 경험도 놓치지 않는 게 중요합니다. 아무리 실험이 중요하다지만 결국 비즈니스를 하는 것은 자기자신입니다. 데이터에 비즈니스 감각과 고객에 대한 이해를 더한다면 더 좋은 결과를 가져올 수 있을 거에요.

지금까지 전달 드린 내용을 잘 기억하면서 지치지 말고 실험을 반복해보세요. 어느새 성장해있는 비즈니스의 모습을 볼 수 있을 것입니다.

(본 포스팅은 전달력을 높이기 위해 인터뷰 형식으로 구성되었습니다.)

📈 컨버전 인사이트는 전환율 최적화(Conversion Rate Optimization)를 연구하는 뉴스레터입니다

전환율 최적화에 대한 내용이 도움이 되셨다면 댓글로 남겨주세요.

문의나 다른 채널에서도 만나시려면 아래 버튼을 눌러주세요. 읽어주셔서 감사합니다!

더 많은 채널에서 만나기