🍳 PM을 위한 가설 설정과 검증 방법!

안녕하세요. 구독자님, 오늘도 팁스터 뉴스레터와 함께 해주셔서 감사합니다. '메이커의 레시피' 열한 번째 주제는 '가설 설정 및 검증 편'으로 서비스 기획자, PO, PM이 말하는 가설 설정과 검증에 대한 내용을 다섯 가지 공통 질문에 따라 정리했어요. 그럼, 이번 뉴스레터도 재미있게 읽어주세요!

이번 뉴스레터 하단에는 곧 시작될, 메이커 레시피만의 '북클럽' 도서 후보에 대한 투표가 포함되어 있어요. 고민상담 무료 이벤트도 진행중이니 끝까지 꼭 확인해주세요! 

🍳 오늘의 레시피 ’가설 설정과 검증’

가설 설정과 검증은 서비스 개발의 성공을 위한 핵심적인 요소에요. 이를 통해 불필요한 자원 낭비를 줄이고, 사용자 중심의 서비스를 개발하며, 데이터 기반으로 의사 결정을 할 수 있죠. 또한, 성공 가능성을 높이고, 팀의 효율성을 향상시키는 효과도 기대할 수 있는데요. 보통 아래와 같은 단계로 진행되는 가설 설증과 검증에 대해 오늘은 메이커와의 이야기를 정리해봤어요.

가설 설정: 서비스에 대한 명확한 가설을 설정합니다.
검증 방법 설계: 가설을 검증하기 위한 방법을 설계합니다. (A/B 테스트, 설문 조사 등)
데이터 수집: 검증 방법을 통해 데이터를 수집합니다.
데이터 분석: 수집된 데이터를 분석하여 가설을 검증합니다.
결론 도출: 분석 결과를 바탕으로 결론을 도출하고, 다음 단계를 계획합니다.

🧑‍🍳 오늘의 메이커

콘텐츠 플랫폼에서 일하는 3년 차 PM, 감자윤
B2B SaaS 플랫폼을 담당하는 6년차 PM, 혜요니
5년 간 플랫폼 서비스를 담당하고 이직 예정인 5년 차 PM, 하망

콘텐츠 플랫폼에서 일하는 3년차 PM, 감자윤

콘텐츠 버티컬 플랫폼에서 3년차로 일하고 있는 PM입니다. 교육 사업 기획 및 운영 관련 일을 하다 사용자의 문제를 주체적으로 고민하고 해결하는 일에 매력을 느껴 PM으로 직무 전환을 했어요. 가설을 검증하며 임팩트있는 문제를 해결하는 PM이 되기 위해 노력하고 있어요.

🥕 핵심 재료

방향성 제시 : 가설은 프로덕트 개발의 방향성을 제시하고 효율적인 작업을 가능하게 함
데이터 분석 : 객관적인 근거를 바탕으로 가설을 세우고 검증하는 데 필수적임
유저 리서치 : 사용자의 실제 니즈와 행동을 이해하여 더 정확한 가설 수립 가능
검증 방법 : A/B 테스트, 인터뷰 등 상황별 다양한 방법을 통해 가설의 유효성을 확인
유연한 대응 : 가설이 틀렸을 때 빠르게 수정하고 새로운 방향을 모색하는 능력이 중요

🔥 조리 방법

가설 설정과 검증이 프로덕트 개발 과정에서 왜 중요하다고 생각하시나요?

가설은 일을 효율적으로 할 수 있는 무기라 생각해요. 가설 없이도 일은 진행할 수는 있지만, 일의 성공 유무와 상관없이 그 결과의 원인을 파악하고 다음 스텝의 방향을 잡는 데에는 가설이 큰 역할을 하기 때문이에요. 만약 설정한 가설로 진행한 일이 실패했다면, 그와 관련된 가설은 모두 제거하고 다른 가설을 세워 프로덕트의 성공 가능성을 높일 수 있어요.

새로운 프로젝트를 시작할 때, 어떤 과정을 통해 가설을 설정하시나요?

프로젝트의 목표를 먼저 정확히 파악해요. 그 목표를 달성하는 게 왜 중요하고 어떤 가치를 가져다주는지 전반적으로 파악한 뒤 유저 행동 데이터를 보는 편이에요. 그래야 어떤 데이터를 어떻게 봐야 할지 알 수 있다 생각해요. 데이터로 얻은 인사이트가 있다면 기존 유저 리서치 결과를 참고해 숨은 의도를 유추하며 가설을 세워요. 리서치가 없다면, 가설 설정 전 직접 리서치를 시행해 봐요.

가설을 설정할 때 중요하게 생각해야할 기준 세 가지는 무엇일까요?

원칙에 부합하는지 : 목표 달성을 위해 가설을 세우는 경우, 그 가설이 '진짜' 우리가 원하는 목표를 달성시킬 수 있는지 여부예요. 목표에는 단순히 수치적인 것만이 아닌 얻고 싶은 의미나 가치도 담고 있기 때문이에요. 그 의미나 가치를 원칙으로 세우고 가설이 그 원칙에 부합하는지를 확인해요.

검증 가능한 지 : 세운 가설이 실제 검증 가능한지를 확인해요. 간혹 검증이 현실적으로 어려운 가설도 있어요. 검증할 때 통제가 어려운 변수가 존재하는 환경이나 요소가 있는 경우는 특히 가설 검증이 쉽지 않은 것 같아요

근거가 있는지 : 설정한 가설이 성공할 근거가 있는지 여부를 살펴봐요. 근거란 꼭 정량적일 필요는 없다 생각해요. 레퍼런스, 인터뷰 내용 등도 좋은 근거가 될 수 있다고 봐요. 직감도 경험에 의한 좋은 근거가 될 수 있지만 이 가설을 어떻게 세웠는지 물어봤을 때, '그냥'이라는 대답은 지양해야 한다 생각해요.

설정한 가설을 검증하기 위해 어떤 방법들을 주로 활용하시나요?

문제를 찾기 위한 가설 검증 때는 보통 A/B테스트를 주로 사용해요. 그러나 A/B 테스트도 어느 정도 디자인, 개발 리소스가 들어가는 경우가 많기 때문에, 가능한 경우 유저 인터뷰나 설문으로 확인할 때도 있어요. 사용성 관련인 경우에는 UT를 통해 검증해보려 해요.

가설이 틀렸다고 판단되면, 어떤 식으로 대응을 하고 어떤 과정을 거쳐 수정하시나요?

가설을 설정할 때 메인 가설과 서브 가설을 설정하고 있어요. 메인 가설은 광범위하게 설정하고, 그에 따라 좀 더 뾰족하게 서브 가설을 세워요. 만약 가설이 틀렸다면, 메인 가설 자체가 틀린 것인지 분석하고 고민해요. 메인 가설이 틀렸다고 결론 내리기 충분치 않다면, 그 메인 가설은 그대로 두고 관련된 서브 가설을 다시 세워 빠르게 검증해 보려는 편이에요. 그렇게 메인 가설이 틀렸다면 아예 처음부터 다른 방향으로 큰 가설을 세우고, 메인 가설이 틀린 게 아니었다면 그 안에서 유저가 반응하는 것과 아닌 것에 대해 또 다른 교훈을 얻어 다른 실험할 때 참고해요.

🍬 디저트

가설이 무기가 된다 | 우치다 카즈나리 - 교보문고

가설이 무기가 된다 | 분석력과 논리력이 일의 속도를 결정하는 것은 아니다저자가 신입 컨설턴트이던 시절, 당시 그는 ‘곁가지 인간’이라는 평가를 받고 있었다. 세밀한 분석을 잘했고 아이디어도 자주 제시했지만 그것……

product.kyobobook.co.kr

가설이 무기가 된다는 저도 추천을 받아 읽어본 책인데요! 가설을 업무에 어떻게 활용하면 좋을지 하나씩 확인하고 적용해 볼 수 있어서 좋았어요. 다만, 현재 절판이 되어 (ㅠㅠ) 중고 도서로 알아보시면 좋을 것 같네요! 내용이 좋아 우선 참고 도서로 추천해요.

B2B SaaS 플랫폼을 담당하고 있는 6년차 PM, 혜요니

B2B SaaS 플랫폼을 담당하고 있는 6년 차 PM 혜요니입니다. 저는 스타트업에서 서비스 운영자로 시작해 작은 규모의 회사다 보니 운영 플랫폼을 개선하는 프로젝트를 조금씩 담당하다 서비스 기획 업무를 시작하게 되었는데요. 지금은 B2B SaaS 업계에서 고객 파트를 담당하는 PM으로 일하고 있습니다.

🥕 핵심 재료

목표 설정 : 가설 설정의 기준 중 가장 중요한 요소로, 프로젝트의 방향성을 결정하고 검증의 기준으로 활용
데이터 분석 : 가설 검증을 위해 주로 활용되는 방법으로, 사용자 행동 패턴과 선호도를 파악하는 데 활용
사용자 인터뷰 : 정량적 데이터로 파악하기 어려운 사용자의 니즈와 pain point를 직접적으로 파악
학습 및 개선 : 가설 검증 과정에서 얻은 인사이트를 체계적으로 관리하고 학습하여 지속적인 개선

🔥 조리 방법

가설 설정과 검증이 프로덕트 개발 과정에서 왜 중요하다고 생각하시나요?

가설 설정과 검증은 프로덕트 개발을 진행할 때 가야 할 방향을 팀이 정확히 알고 있는가, 그리고 그 목표가 가고자 하는 방향과 맞는가를 계속해서 확인해 나가는 과정이라 생각합니다. 해당 작업이 없다면, 매번 진행하는 프로젝트의 방향이 그때그때 달라질 수 있고 그 결과에 대한 해석도 잘못된 해석으로 기회를 잃어버릴 수 있는 것 같아요. 그래서 목표에 맞춰서 우리가 이런 프로젝트를 한다면 어떤 결과가 도래할 것인가 등의 가설 설정은 매우 중요한 작업이라고 봐요.

새로운 프로젝트를 시작할 때, 어떤 과정을 통해 가설을 설정하시나요?

직전 프로젝트의 결과를 먼저 분석해 봅니다. 이때 기대만큼 퍼포먼스가 나오지 않은 지표가 있다면 왜 나오지 않았을까 어떤 변수가 있었을까 검토하고 그에 대한 가설을 먼저 세워봐요. 그렇게 해당 변수를 이렇게 대응한다면 원했던 목표치까지 올라갈 수 있다는 가설을 주로 설정하는 편입니다. 이 과정에서 데이터 분석 담당자와 운영 담당자, 개발자 함께 모여 결과에 대한 각 포지션별 입장과 예상 시나리오를 짜보며 가설을 수립하고 있어요.

가설을 설정할 때 중요하게 생각해야할 기준 세 가지는 무엇일까요?

목표 : 가설에 따라 최종적으로 이루고자 하는 목표가 가장 중요해요. 목표가 없다면 A/B테스트와 가설에 따른 작은 프로젝트가 큰 의미가 없을 수 있기 때문이에요. 검증의 방향이 없어지는 셈이죠.

검증 과정의 변수 : 가설을 검증하는 과정에 항상 많은 변수가 등장하는데요. 미리 어떤 변수가 있을 수 있는지를 팀과 함께 고려한 후 가설을 설정하면 좋아요.

검증 시점과 대상 : 가설 설정 당시 사용자 타겟층도 설정을 하기 때문에 해당 타겟층이 가설처럼 잘 활동했는가를 보기 위해서는 시점과 그 대상에 대한 트래킹이 매우 중요하다고 생각해요.

설정한 가설을 검증하기 위해 어떤 방법들을 주로 활용하시나요?

주로 퍼널 분석을 통해 특정 지면에서의 이탈률과 오래 잔존하는 지면에 대한 부분을 세밀하게 체크해요. 이를 통해 사용자의 행동 패턴과 선호도를 파악할 수 있죠. 또한, 100여 명의 다양한 사용자 집단을 모집하여 심층적인 인터뷰를 진행하기도 하는데요. 이 인터뷰를 통해 정량적 데이터로는 파악하기 힘든 사용자의 니즈와 pain point를 직접적으로 들을 수 있어요.

평소 가장 많이 활용하는 방식은 데이터 분석팀에서 추출하는 정보를 바탕으로 자체적인 해석과 지표 변화를 면밀히 체크하는 것인데요. 이 과정에서 단순히 숫자만 보는 것이 아니라, 그 뒤에 숨겨진 사용자의 행동 패턴과 의도를 파악하려고 노력해요. 또한, 테스트로 인해 장기적으로 사용자에게 어떤 영향을 미치는지도 지속적으로 모니터링하고 있고. 

가설이 틀렸다고 판단되면, 어떤 식으로 대응을 하고 어떤 과정을 거쳐 수정하시나요?

초기 가설 설정 시, 목표와 부합하지 않는다는 점을 인지한 경우에는 즉각적으로 전체 팀원이 참여하는 긴급 회의를 진행해요. 가설 설정의 오류 원인을 분석하고, 팀원들 간 활발한 토론을 통해 문제점을 명확히 파악하죠. 만약 모든 팀원이 일치된 의견으로 현재 진행 중인 테스트의 중단을 결정하게 되면, 새로운 대안 가설을 수립하고 그에 따른 테스트 준비에 착수해요.

가설 설정의 오류가 확인된 경우, 팀원 모두가 어떤 지점에서 오해나 착오를 범했는지 정확히 파악하고 이해의 간극을 좁히는 작업을 진행해요. 이 과정에서 도출된 인사이트와 학습 포인트는 상세하게 기록되어 데이터 분석팀에 전달되고 있어요. 분석팀은 이를 백로그에 체계적으로 관리하는데, 이를 통해 향후 유사한 오류의 재발을 방지하고 있어요. 이런 노력은 팀 단위의 학습 곡선을 가파르게 만들어, 장기적으로 더 정확하고 효과적인 가설 설정 능력을 기르는데 도움을 줘요.

🍬 디저트

스타트업을 위한 '실험'과 '가설' 개념 설명

막연히 이해하고 넘어갔던 실험과 가설 개념, 제대로 뽀개 봅시다.

www.minwookim.kr

실험 그리고 가설에 대해서 자세히 살펴볼 수 있는 글이에요!

5년 간 플랫폼 서비스를 담당하고 이직 예정인 5년 차 PM, 하망

플랫폼 프로덕트를 맡았던 5년차 PM 하망입니다. 초기 스타트업에서 PMF를 찾아본 경험이 있고, 대규모 여행 플랫폼에서 PM 역할을 해봤어요. 이후 뷰티 쪽 플랫폼에서 파트너 서비스를 맡을 예정입니다. (퇴사 후 이직 전까지 백수 경험 중)

🥕 핵심 재료

성공/실패 지표 : 제품의 성공과 실패를 판단할 수 있는 정확한 정의 필요
다양한 검증 방법 : A/B 테스트, 사용자 인터뷰, 데이터 분석 등의 방법으로 가설 검증
피벗 및 그로스 : 가설 실패 시 전략 재정립 및 꾸준한 제품 개선

🔥 조리 방법

가설 설정과 검증이 프로덕트 개발 과정에서 왜 중요하다고 생각하시나요?

가설 설정과 검증이 중요한 이유는 제품을 배포로 끝내지 않고 지속적으로 개선하고 발전시킬 수 있는 과정을 가질 수 있기 때문이에요. 그 과정에서 우리가 실행하고자 하는 주요한 목표가 무엇이고, 이에 따른 결과 그리고 성공과 실패의 기준이 무엇인지를 정확하게 정의를 먼저 해야 해요. 그렇게 제품 배포 이후에도 사용자 반응을 보면서 어떻게 그로스 해야 할지, 피벗 해야 할지를 결정하면서 지속적으로 업데이트 해나갈 수 있어요.

새로운 프로젝트를 시작할 때, 어떤 과정을 통해 가설을 설정하시나요?

단기적인 개선 과제와 사이드 프로젝트 경험에서 말해보자면, 먼저 프로젝트의 주요 배경을 파악해요. 이때 프로젝트의 주요 배경이라 하면 주로 사업 목표와 우리의 전략을 포함해요. 그다음에, 이에 맞는 목표와 문제를 설정하기 위해 정량적, 정성적 데이터를 분석하죠. 목표와 문제를 명확히 정의한 후에는 구체적인 해결책을 도출하고, 이를 바탕으로 가설을 설정해요.

다만, 앞선 답변에서 가설 실험의 중요성을 이야기했지만, 사실상 가설을 설정하고 실험할 수 있는 시기와 조직의 상황이 맞지 않는 곳도 많아요. 대규모 프로젝트를 오랜 기간 동안 실행하면서 ‘스케일업’ 과정을 거치는 저의 직전 회사처럼 말이죠.

가설을 설정할 때 중요하게 생각해야할 기준 세 가지는 무엇일까요?

첫번째는 ‘성공 지표와 실패 지표의 명확한 기준’이에요. 단순히 “N% 이하면 안된다”가 아닌, 시기별, 측정 기준 등을 정확하게 정의할 필요가 있어요.

두번째는 ‘가드레일 지표’에요. 가드레일 지표란, 떨어지면 안되는 지표에요. 서비스에 악영향을 주었는지를 파악하는데에 필요해요.

마지막으로는 ‘주요 서브 지표’에요. 성공 지표와 연관된 핵심적인 지표에요. 최종적으로 성공을 판가름하는 지표는 아니지만 성공 과정에서 확인할 수 있는 유의미한 지표를 의미해요.

설정한 가설을 검증하기 위해 어떤 방법들을 주로 활용하시나요?

저는 가설 검증을 위해 다양한 방법을 활용했어요. 우선 A/B 테스트를 통해 1차 실험을 진행해요. 이는 두 가지 버전을 비교하여 어떤 것이 더 효과적인지 객관적으로 판단할 수 있게 해줘요.

결과가 명확하지 않거나 추가적인 인사이트가 필요한 경우, 즉 '그레이 영역'에 대해서는 사용자 인터뷰를 실시해요. 이를 통해 정량적 데이터로는 파악하기 어려운 사용자의 생각과 행동 패턴을 깊이 있게 이해할 수 있어요.

더 나아가, 비즈니스에 미치는 영향이 크거나 주요 지표에 변화가 예상되는 경우에는 핵심 비즈니스 지표와 관련 데이터를 면밀히 분석해요. 이는 단순히 사용자 경험 개선뿐만 아니라 회사의 전반적인 성과에 미치는 영향을 종합적으로 평가하기 위함이에요. 이러한 다각도의 접근을 통해 가설의 타당성을 보다 정확하고 포괄적으로 검증할 수 있어요.

가설이 틀렸다고 판단되면, 어떤 식으로 대응을 하고 어떤 과정을 거쳐 수정하시나요?

가드레일 지표나 실패 기준에 충족될 경우에는 가설이 실패했다고 볼 수 있어요. 다만 실패와 성공 기준을 판단하기 위해서는 시즈널, 마케팅, 비즈니스 연관성과 같은 외부적인 요인이 관여되어 있지는 않은지 확인을 해본 뒤 실패했을 경우에 대한 액션 아이템을 진행해요. (이 부분은 애초에 가설을 수립하기 전 함께 잡혀있어야 할 것 같아요)

기능 자체를 피벗 해야 할지, 혹은 기존 부분을 업데이트하거나 그로스를 해야 할지 전략을 정리하고 다시 한번 2차 가설을 수립하여 진행하게 돼요. 물론, 그 과정에서 함께 하는 팀원들과의 회고나 데이터 분석 공유 등은 풍부하게 진행되어야 해요.

🍬 디저트

린 스타트업(10주년 기념판) | 애시 모리아 - 교보문고

린 스타트업(10주년 기념판) | 10년간의 철저한 테스트, 수백 건의 제품 사례 연구, 수천 건의 반복 작업으로 검증된 비즈니스 방법론! 저자 빼고 모든 것이 바뀐 출간 10주년 기념 『린 스타트업』 특별 개정판! * 스타벅스, 메……

product.kyobobook.co.kr

이미 읽어본 분들이 많을 것 같지만, 그럼에도 불구하고 여전히 배울 점이 많은 책이라고 생각해요. 사업 계획 수립과 고객 인터뷰 방법, 스타트업의 효율을 위한 업무 지침에 이르기까지 저비용 고효율을 가능하게 하는 린 스타트업의 진수를 확인할 수 있어요.

📚 책만 읽는 북클럽은 그만!

메이커의 레시피 뉴스레터에서는 곧, 북클럽을 운영할 예정이에요.

한 달(4주)를 기준으로 한 권의 책을 함께 읽어요
책을 읽은 뒤, 일주일 단위로 소개하고 싶은 내용과 함께 보면 좋은 자료를 공유해요.
마지막 주에는 온라인(또는 오프라인)으로 모여 서로의 생각을 나눠요.

책을 읽고 요약하고 생각을 공유하는 것을 넘어, 참여하는 사람들 간의 집단지성을 활용해 책의 한계를 넘는 방법을 계속 고민했어요. 그렇게 떠올린 개념이 '소셜 러닝 클럽'인데요. 책과 연결된 확장된 지식과 정보를 다양한 형식으로 함께 수집한다면, 보다 많은 재료를 모으고 우리만의 레시피로 활용할 수 있지 않을까요? 보다 상세한 진행 방법은 책이 정해진 후, 다음 뉴스레터를 통해 공유드릴게요! 아래 버튼을 통해 참여한다면, 어떤 책이 좋을지 함께 정해주세요!

도서 투표 및 사전신청

⭐ (이벤트) PM/기획 한정, 다섯 분에게 무료 상담을!

그동안 메이커 디렉토리를 통해 많은 분들이 고민상담을 신청해주셨는데요! 감사한 마음을 담아, PM/기획 분야에 한정해 선착순 다섯 분에게 팁스터 뉴스레터에 참여중인 에디터(PM/기획자)들이 무료로 고민상담의 기회를 제공하고자 해요. 아래 버튼을 클릭, 디렉토리의 메이커별 상세 화면에 담긴 신청하기 버튼을 통해 참여해주세요!

메이커 디렉토리 살펴보기