Bay Area K Group의 스터디 클럽에서 제품 관리(Product Management)를 주제로 터리사 토레스(Teresa Torres)의 'Continuous Discovery Habits'로 스터디에 참여하고 있습니다. 총 5주 동안 3챕터씩 진행해 왔으며, 이번 주에 마지막 세션을 끝으로 스터디가 종료됩니다. 이 책은 제가 추천한 책으로, PM 대상 팟캐스트 Lenny’s Podcast 슬랙 커뮤니티 멤버들 사이에서 가장 많이 추천된 책이기도 했습니다.
터리사 토레스의 'Continuous Discovery Habits'는 우리에게 '인스파이어드'로 잘 알려진 마티 케이건(Marty Cagan)의 'Continuous Discovery' 개념에서 영감을 받았습니다. 이 개념은 제프 패튼(Jeff Patton) 등이 정의한 Dual-Track Development, 혹은 Dual-Track Agile 개념에 기반하고 있습니다.
애자일의 시작은 소프트웨어 개발을 통해 어떻게 제품을 잘 만들 수 있을지에 대한 고민에서 비롯되었습니다. 2001년에 애자일 매니페스토(Agile Manifesto)가 작성될 때, 이 모임은 대부분 소프트웨어 엔지니어들로 구성되었습니다. 켄 슈와버(Ken Schwaber), 제프 서덜랜드(Jeff Sutherland), 론 제프리스(Ron Jeffries) 같은 엔지니어들이 미국 유타주의 파크 시티에 모여 소프트웨어 개발 방법을 개선할 방법을 논의하며 애자일 매니페스토를 작성한 것입니다. 여기서 중요한 점은 이 모임에 참석한 사람들이 모두 소프트웨어 엔지니어였고, 프로덕트 매니저는 단 한 명도 없었다는 사실입니다. 제프 패튼은 제품 매니저였지만, 이 모임에 참여하지 않았습니다.
Agile Manifesto에 서명한 켄 슈와버와 제프 서덜랜드는 각자 다른 회사에서 독자적으로 Scrum을 발전시키고 있었고, 이후 서로 협력하여 이를 체계화하면서 스크럼 가이드(Scrum Guide)를 작성했습니다.
많은 조직이 스크럼을 통해 작업을 2주 단위로 나누어 진행합니다. 작업 항목은 백로그에 정의되며, 제품 소유자(Product Owner)가 백로그에 어떤 작업을 넣을지 결정하고, 사용자 스토리(User Story)를 작성합니다. 개발 팀은 백로그 항목에 대해 논의하고, 제품 소유자가 우선순위를 정해 질문을 주고받은 후, 개발 팀은 구현할 항목을 계획합니다. 이후 스프린트를 진행하며, 결과물로 ‘잠재적으로 배포 가능한 제품’이 나오게 됩니다. 이는 반드시 배포 가능한 상태는 아니지만, 배포할 가능성을 염두에 둔 완성품입니다.
스크럼의 목적은 큰 프로젝트를 작은 조각으로 나누어 점진적으로 완성하는 것입니다. 과거에는 오랜 시간 개발한 후 한 번에 공개하는 ‘빅뱅 릴리스’ 방식이 일반적이었지만, 애자일 매니페스토 서명자들은 이 방식의 많은 위험을 인식했습니다. 긴 시간 동안 개발을 진행하면서 고객 피드백을 받지 못하면 원하는 결과를 얻지 못할 리스크가 커지기 때문입니다. 스크럼은 더 빠르게 피드백을 받고 개선하는 접근 방식을 장려합니다.
하지만 애자일은 점점 '제품을 더 잘 만들기 위한 도구'로 자리잡았습니다. 스크럼 덕분에 기업들은 제품 개발 속도를 높였지만, 실제로 고객이 원하는 가치를 전달하는 데는 어려움을 겪고 있었습니다. 백로그에 잘못된 아이디어가 정의되어 있다면 1-2주의 짧은 스프린트를 반복하더라도 고객이 원하지 않는 기능만 계속 전달될 수 있기 때문입니다. 이에 따라 제프 패튼과 마티 케이건 같은 선구자들은 제품 딜리버리(Product Delivery)와 구분하여 제품 디스커버리(Product Discovery) 개념을 제안했고, 두 개념을 지속적으로 실행할 것을 강조했습니다.
터리사 토레스의 'Continuous Discovery Habits'는 제품 팀이 사용자에게 진정한 가치를 전달하는 제품을 만들고 있는지에 대한 문제 인식에서 시작된 책입니다. 많은 조직이 Agile과 Lean 방법론을 사용하여 빠르게 제품을 개발하고 배포하고 있지만, 정작 고객이 원하는 것과 필요로 하는 것에 대한 깊이 있는 이해 없이 기능을 구현하는 경우가 많습니다. 이로 인해 고객에게는 실제로 가치가 없는 기능이 빠르게 반복 생산되는 문제가 생길 수 있습니다.
토레스는 지속적인 제품 발견(Continuous Discovery)의 중요성을 강조하며, 단순히 기능을 개발하는 것을 넘어 고객의 문제와 니즈를 지속적으로 파악하고 이를 반영하는 과정이 필요하다고 주장합니다. 이 책은 팀이 일상적으로 고객 피드백을 수집하고, 실험을 통해 가설을 검증하며, 제품의 방향을 조정할 수 있는 프레임워크와 방법을 제시합니다. 이 책은 '어떻게 더 나은 제품을 만들 것인가?'라는 질문을 넘어, '어떻게 고객에게 진정한 가치를 제공하는 과정을 지속적으로 만들 수 있을까?'라는 더 본질적인 질문을 고민하게 해줍니다.
이 책의 핵심은 '프로덕트 트리오(Product Trio)'입니다. 프로덕트 트리오는 프로덕트 매니저, 디자이너, 그리고 엔지니어로 구성된 소규모 팀으로, 이들은 비즈니스 목표와 일치하는 제품 목표를 설정하고 이를 실현하기 위해 협력합니다. 기능을 단순히 개발하는 것이 아니라, 고객 경험을 개선하고 비즈니스 목표를 달성하는 데 중점을 두는 것입니다.
이 책을 간단히 요약하면 다음과 같습니다. 인간은 본능적으로 해결책이나 결론을 내리려는 경향이 있지만, 이는 확증 편향이나 몰입 상승 같은 인지 오류로 인해 잘못된 의사결정을 내릴 가능성을 높입니다. 따라서 프로덕트 트리오는 제품 성과에 가장 큰 영향을 줄 수 있는 기회(Opportunity)를 선정하고, 해당 기회에 대한 솔루션(아이디어)을 탐색합니다. 이때 솔루션 자체를 테스트하기보다는, 솔루션의 성공을 위해 중요한 가정을 빠르게 테스트하여 팀이 고객에 대한 이해를 높이는 것을 우선시합니다.
개인적으로 이 책에서 가장 중요하게 느낀 부분은 기존의 제품 개발 방식과 크게 다른 접근 방식들이었습니다. 첫 번째는 매주 고객 인터뷰를 진행할 수 있도록 자동화된 프로세스를 구축하는 것이고, 두 번째는 타겟 기회를 선정하는 과정이며, 세 번째는 가장 리스크가 높은 'Leap of Faith Assumption'을 선정하고 테스트하는 과정이었습니다.
짧은 요약
- 프로덕트 트리오는 비즈니스 목표를 달성하기 위한 프로덕트 목표(product outcome)를 정의합니다.
- 프로덕트 트리오는 완벽하지 않지만 현재 이해하고 있는 공통의 지식을 정의합니다. 이 지식을 바탕으로 매주 고객 인터뷰를 하면서 프로덕트 기회(Opportunity)를 탐색합니다.
- 현재 집중할 하나의 기회(Opportunity)를 선정하고, 이를 정한 후 솔루션(아이디어) 단계로 넘어갑니다.
- 솔루션(아이디어)은 각자 준비하고, 평가는 함께 진행합니다.
- 솔루션을 테스트하지 않고, 솔루션에 내재된 가정을 식별하며, 가장 위험한 'Leap of Faith Assumption'을 우선적으로 테스트합니다.
- 가정 테스트를 통해 확보한 고객 인사이트를 팀의 공통 지식으로 내재화합니다.
- 디스커버리와 딜리버리 활동을 통합하여 디스커버리에서의 학습이 제품 개발을 이끌고, 제품 개발이 추가 학습을 촉진하는 원활한 흐름을 만듭니다.
다음은 책의 주요 내용을 설명하겠습니다. 목표 설정부터 고객 인터뷰, 기회 탐색, 기회 우선순위 정하기, 가정 테스트, 지속적인 딜리버리까지 주요 개념을 단계적으로 설명하겠습니다.
1. 성과 중심의 프로덕트 목표 설정
저자는 목표 설정과 관련해 세 가지 개념을 제시합니다: 비즈니스 목표(business outcome), 제품 목표(product outcome), 트랙션 지표(traction metrics)입니다.
- 비즈니스 목표는 매출 성장, 비용 절감, 신규 세그먼트 확대와 같은 전략적 이니셔티브를 포함하며, 후행 지표(lagging indicator)의 특성을 가집니다.
- 제품 목표(product outcome)는 비즈니스 목표를 움직이게 만드는 선행 지표(leading indicator)로 작용합니다.
- 트랙션 지표(traction metrics)는 특정 기능의 사용량을 측정하는 데 초점을 둡니다.
프로덕트 트리오(제품 관리자, 디자이너, 엔지니어로 구성)는 결과물(output)이 아닌 성과(outcome)에 초점을 맞춰 제품 목표를 설정합니다. 이러한 목표는 단순한 기능 개선이나 매출 성장과 같은 수치적 지표를 넘어, 사용자 행동 변화와 비즈니스 영향이라는 구체적이고 의미 있는 목적을 포함해야 합니다.
프로덕트 트리오가 구체적인 제품 목표를 바로 정의하기 어려운 경우, 처음에는 학습 목표(learning goal)로 시작하여 점차 성과 목표(performance goal)로 전환하는 것도 효과적인 방법입니다. 학습 목표를 통해 초기에는 고객의 니즈와 문제를 더 깊이 이해하고, 이를 바탕으로 명확한 성과 목표를 도출할 수 있습니다.
성숙한 제품을 관리하는 경우, 특정 트랙션 지표(예: 주요 기능 사용량)가 비즈니스 목표에 기여한다는 점이 검증되었다면, 해당 지표를 최적화하는 목표를 설정할 수 있습니다. 이는 트랙션 지표의 상승이 비즈니스 목표를 달성하는 데 직접적인 영향을 미칠 때 유용합니다.
그러나 트랙션 지표를 목표로 설정할 때 주의해야 할 점은 다양한 기회를 탐색하는 데 있어 제약이 될 수 있다는 것입니다. 특정 지표에만 집중하면 새로운 아이디어나 기회 발견이 어려워질 수 있으므로, 이를 보완하기 위해 정기적으로 디스커버리 활동을 병행하는 것이 중요합니다.
2. 경험 지도와 기회 솔루션 트리를 통한 공유 지식 구축
프로덕트 트리오는 경험 지도(experience map)와 기회 솔루션 트리(opportunity solution tree)를 공동으로 작성하여 팀 전체의 공유 지식을 구축합니다.
경험 지도(experience map)
프로덕트 트리오는 현재 자신이 보유한 지식을 기반으로 경험 지도를 함께 만듭니다. 경험 지도의 목표는 프로덕트 매니저, 디자이너, 엔지니어 각자가 알고 있는 고객의 대한 이해를 바탕으로 각자 어떤 영역에서 gap이 발생하는지 파악하고 이해도를 맞추는 과정입니다. 경험 지도는 기회(opportunity) 탐색의 시작점으로 고객인터뷰뷰 진행행할 때 참고합니다.
구체적으로 경험 지도는 사용자가 제품이나 서비스를 사용하는 전체 여정을 시각화하여 사용자 경험을 이해하고 개선할 수 있도록 돕는 도구입니다. 유사한 개념인 유저 저니(user journey)가 자사 제품에 대한 여정을 다룬다면, 경험 지도는 자사 제품뿐만 아니라 경쟁사 제품과 관련된 고객의 일상적인 경험까지 다룹니다. 이를 통해 고객의 전체적인 맥락에서 감정, 생각, 행동을 각 단계에서 깊이 파악하고, 고객이 느끼는 문제점과 개선 가능성을 발견하는 데 매우 유용합니다.
기회 솔루션 트리
기회 솔루션 트리는 프로덕트 목표를 트리 구조의 최상위에 두고, 고객의 기회(opportunity), 솔루션(solution), 그리고 가정 테스트(assumption test)로 이어지는 과정을 시각적으로 표현하는 중요한 도구입니다. 이 도구는 팀이 특정 제품 목표를 달성하기 위해 어떤 기회를 우선시해야 하는지, 그리고 이를 해결하기 위한 솔루션을 어떻게 테스트하고 검증할지 명확하게 파악하도록 도와줍니다. 이를 통해 팀은 의사결정을 체계적으로 내릴 수 있고, 프로덕트 목표(product outcome)와 일치하는 방향으로 지속적으로 발전할 수 있습니다.
경험 지도, 기회 솔루션 트리와 같은 시각화 작업은 팀의 고객 이해가 깊어짐에 따라 지속적으로 업데이트되는 살아있는 문서입니다. 이를 통해 팀은 공동의 이해를 갖추고, 고객에 대한 깊은 공감을 형성할 수 있습니다.
3. 고객 인터뷰의 일상화
“우리는 항상 고객이 자신들의 필요나 원하는 것을 직접적으로 말해주기를 기대할 수는 없습니다. 대신, 고객이 들려주는 이야기를 통해 그들의 충족되지 않은 필요(needs)를 발견하는 방법을 배우게 될 것입니다.”
프로덕트 트리오는 고객 인터뷰를 통해 기회를 탐색합니다. 고객 인터뷰를 솔루션을 검증하는 수단으로만 사용하지 않고, 매주 반복적으로 진행하여 고객의 페인포인트와 니즈를 발견하는 데 집중합니다. 이러한 인사이트는 경험 지도와 기회 솔루션 트리에 반영되어, 팀 전체가 고객에 대한 이해를 지속적으로 높이는 데 기여합니다.
고객 인터뷰는 일회성 이벤트가 아니라 지속적인 프로세스입니다. 정기적으로 고객의 목소리를 듣는 것은 진정으로 고객이 원하는 제품을 만드는 첫걸음입니다. 이를 위해 팀은 매주 고객과 접촉할 수 있는 구조를 마련하고, 반복적인 인터뷰를 수행할 수 있는 체계적인 시스템을 구축해야 합니다. 이렇게 얻어진 인사이트는 팀과 공유되어야 하며, 경험 지도(Experience Map)와 기회 솔루션 트리(Opportunity Solution Tree)에 반영되어야 합니다. 이러한 반복적인 프로세스를 통해 팀은 지속적으로 학습하고 변화에 적응할 수 있습니다.
효과적인 고객 인터뷰
저자는 고객에게 구체적인 이야기를 들려줄 것을 요청함으로써 진정한 니즈를 파악하는 것이 중요하다고 말합니다. 구체적인 답변을 요구하는 리서치 질문은 지양하고, 고객의 실제 경험과 행동을 기반으로 질문하여 숨겨진 니즈를 발견하는 데 집중해야 합니다. 또한, “그 다음엔 어떻게 되었나요?” 또는 “그때 어디에 계셨나요?”와 같은 시간 기반의 질문을 통해 고객이 자신의 경험을 더 세세하게 설명할 수 있도록 유도해야 합니다.
주간 인터뷰 프로세스 정착
저자는 매주 고객 인터뷰를 지속할 수 있는 구조를 아래와 같은 예시로 소개합니다.
- 제품 내 리크루팅(In-Product Recruitment): 간단한 설문이나 인센티브(예: “20분 동안 인터뷰에 참여하면 $20 지급”)를 통해 제품 내에서 직접 인터뷰 참가자를 모집합니다.
- 팀 간 협업(Collaborate with Teams): 인터뷰 기회를 위해 영업팀, 고객 지원팀과 협업합니다. 예를 들어, 구독을 취소하는 고객을 대상으로 트리거 기반 인터뷰를 설정할 수 있습니다.
- 고객 자문 위원회(Customer Advisory Board): 심도 있는 인사이트와 섭외가 어려운 고객의 목소리를 듣기 위해 각 기업이 기존에 운영하는 자문 위원회를 활용할 수 있습니다.
4. 타겟 기회 선정하기
저자는 기회 솔루션 트리(Opportunity Solution Tree)를 기회 공간(opportunity space)와 솔루션 공간(solution space)로 구분하고, 프로덕트 목표를 달성하기 위한 기회를 체계적으로 맵핑하는 것의 중요성을 강조합니다. 이는 팀이 고객의 니즈와 시장 상황을 명확히 이해하고, 구조적인 접근을 통해 가장 효과적인 기회를 선별할 수 있게 합니다.
기회를 맵핑하면 고객의 니즈를 구조적으로 파악하고 접근 방식을 정리할 수 있고, 여러 기회를 서로 비교/대조함으로써 평가를 통해 우선순위를 정하고 타겟 기회를 선정할 수 있습니다. 아래는 기회 맵핑과 우선순위 설정과 관련된 주요 내용 입니다.
솔루션이 아닌 기회에 집중하기
토레스는 제품 팀이 기능 구현에만 몰두할 경우 제품 전략이 약화될 수 있다고 지적합니다. 기능보다는 고객의 문제나 니즈와 같은 기회에 집중함으로써 장기적인 가치 창출을 도모해야 합니다.
또한 중요한 것은 한 번에 하나의 기회에 집중하여 점진적 가치 전달을 가능하게 합니다. 이는 모든 기회를 한꺼번에 해결하려는 폭포수(Waterfall) 방식보다 더 효과적입니다. 개별 기회에 집중함으로써 팀은 각 기회를 명확히 평가하고, 우선순위를 설정할 수 있습니다.
기회 솔루션 트리(Opportunity Solution Tree)를 통한 의사결정
기회 솔루션 트리는 기회 공간을 시각적으로 구조화하여 새로운 기회를 빠르게 식별하고, 해당 기회를 열 수 있는 제품 전략을 도출하는 데 도움을 줍니다. 목표는 고객이 가진 모든 문제를 해결하는 것이 아니라, 목표 성과를 이끌어낼 수 있는 핵심 문제에 집중하는 것입니다.
기회 솔루션 트리에서 기회를 작성하고 맵핑하는 방법은 아래와 같습니다.
기회 맵핑 방법
- 1. 기회 목록 작성 (Inventory Opportunities): 고객 인터뷰와 데이터를 기반으로 식별된 다양한 기회를 목록화합니다. 존 듀이의 교육 철학을 인용하자면, “체계적이고 지속적인 탐구”를 통해 처음 발견된 니즈에 즉시 뛰어들지 않고, 전체적인 가능성을 신중하게 검토하는 것이 중요합니다. 이렇게 함으로써, 각 기회에 대한 보다 깊은 이해와 신중한 접근이 가능합니다.
- 2. 기회 구조화 및 재정비: 바바라 트버스키의 말처럼 기회 구조는 학습에 따라 “설계하고, 해체하고, 다시 구축”될 수 있습니다. 기회 공간이 변화함에 따라 트리 구조도 유연하게 변형할 수 있어야 합니다. 트리를 통해 기회를 상위-하위 관계로 정리하면, 각 기회를 보다 작고 해결 가능한 단위로 나누어 빠르게 반복 작업을 진행할 수 있습니다.
- 3. 기회 트리의 기본 구성: 기회 솔루션 트리는 단순한 목록이 아니라, 부모-자식 및 형제 관계를 포함한 트리 형태로 구성해야 합니다. 트리 구조를 통해 각 기회를 더 작은 단위로 나누어 관리할 수 있으며, 이를 통해 최종적인 목표를 이루기 위한 중간 목표들을 명확히 정의할 수 있습니다.
- 부모-자식 관계: 상위 기회(부모 기회)는 하위 기회(자식 기회) 중 하나만 해결하더라도 부분적으로 해결될 수 있어야 합니다.
- 형제 관계: 동일한 레벨에 위치한 형제 기회들은 상호 독립적으로 다룰 수 있어야 합니다. 이를 통해 특정 기회를 해결할 때 다른 기회에 영향을 미치지 않고도 진행이 가능합니다. 트리 내에서 동일한 레벨(형제 관계)의 기회끼리 비교하여 상대적 중요도를 평가하며, 이는 기회를 일괄적으로 점수화하기보다는 상대적인 평가를 통해 팀 간 건강한 토론을 유도하는 것이 핵심입니다.
기회 평가 기준 설정
- 기회 크기 평가 (Opportunity Sizing): 각 기회가 영향을 미치는 고객의 수와 그 빈도를 평가하여, 더 많은 고객에게 자주 발생하는 문제에 우선순위를 두는 방식입니다.
- 시장 요인 (Market Factors): 특정 기회를 해결하는 것이 시장 내 위치와 경쟁 구도에 어떤 영향을 미칠지를 고려합니다.
- 회사 요인 (Company Factors): 회사의 비전, 미션, 전략적 목표와 기회가 얼마나 일치하는지를 평가합니다. 이를 통해 회사의 장기 목표와의 정렬성을 확인할 수 있습니다.
- 고객 요인 (Customer Factors): 각 기회가 고객에게 얼마나 중요한지, 그리고 현재 솔루션에 대한 고객 만족도가 어떤지를 평가합니다. 고객에게 가장 큰 가치를 제공할 수 있는 기회를 우선시하는 것이 중요합니다.
양방향 의사결정 방식 (Two-Way Door Decisions)
양방향 의사결정 방식은 아마존의 제프 베조스가 언급하여 유명해진 개념입니다(일부 PM 사이에선 제프 베조스 레벨에선 양방향이지만... PM 레벨에선 모든 것이 일방향이라고 언급하기도 하지만...).
양방향 문 의사결정 방식은 실험적으로 검증할 수 있는 결정(복원 가능)과 돌이킬 수 없는 결정(비복원 가능)을 구분하여 기회를 평가하는 데 도움을 줍니다. 복원 가능한 결정은 빠르게 시도해보고 새로운 인사이트를 통해 조정할 수 있는 기회를 제공합니다.
5. 기회 기반 아이디어 탐색 및 평가
타겟 기회를 선정했으면 프로덕트 트리오 각 구성원은 이를 바탕으로 아이디어(솔루션)를 탐색합니다. 핵심은 객 개인이 개별적으로 아이디어를 생각하고, 평가는 다 같이 투표를 통해 진행한다는 점입니다. 책은 아래와 같은 브레인스토밍 방법을 제안하고 있습니다.
1. 타겟 기회 검토 (Review Your Target Opportunity)
- 선정된 타겟 기회 이해: 팀이 목표 기회를 명확히 이해하도록 합니다.
- 다른 기회와의 차별화: 목표 기회를 이전에 논의한 다른 기회와 구별합니다.
- 적절한 크기 검증: 목표 기회가 충분히 구체적인지 확인하여 아이디어가 실행 가능한 단위로 나올 수 있도록 합니다.
2. 독립적으로 아이디어 생성 (Generate Ideas Alone)
- 아이디어 메모: 가능한 많은 아이디어를 각자 개별적으로 적어봅니다.
3. 팀과 아이디어 공유 (Share Ideas Across Your Team)
- 대면 또는 디지털 채널에서 공유: 팀 회의나 디지털 채널을 통해 아이디어를 소개합니다.
- 아이디어 설명 및 질의 응답: 각 아이디어에 대해 설명하고 팀원들이 질문할 수 있는 시간을 갖습니다.
- 협력 및 아이디어 발전 유도: 팀원들이 서로의 아이디어에 의견을 더하며 발전시킬 수 있도록 유도합니다.
4. 아이디어 반복 생성 및 공유 (Repeat Steps 2 and 3)
- 아이디어 추가 공유: 아이디어 공유를 반복하여 팀원들이 추가로 영감을 얻도록 합니다.
- 15-20개의 아이디어 도달: 충분한 수의 아이디어가 나올 때까지 반복합니다.
- 다양하고 독창적인 아이디어 생성: 동일한 아이디어의 변형이 아니라, 각기 다른 시각의 아이디어를 만들도록 합니다.
5. 점 투표 방법 (Dot Voting Method)
- Dot voting으로 아이디어 좁히기: 팀원들이 점투표를 통해 선호하는 아이디어를 선택합니다.
- 3표 투표권 부여: 각 팀원이 선호하는 아이디어에 3표를 할당할 수 있게 합니다.
- 타겟 기회와의 연관성 평가: 각 아이디어가 목표 기회를 얼마나 잘 해결하는지 중점으로 평가합니다.
6. 아이디어 토론 및 조정 (Discuss and Refine Ideas)
- 선택된 아이디어 논의: 최종 선택된 아이디어에 대해 토론하고 강점을 설명합니다.
- 타겟 기회와의 부합성 강조: 각 아이디어가 목표 기회를 어떻게 해결하는지 구체적으로 설명합니다.
- 최종 투표: 최종 상위 3개의 아이디어를 확정하기 위해 다시 투표를 진행합니다.
6. 숨은 가정(hidden assumption) 확인하기
아이디어, 즉 솔루션을 선정했으면 바로 솔루션을 테스트하고 싶은 욕망이 생길 것입니다.
하지만 저자는 솔루션을 바로 테스트하지 않고, 먼저 성공의 핵심 가정을 확인하고 이를 검증하는 접근 방식을 권장합니다. "스토리 맵핑" 도구를 통해 고객의 여정을 시각화하고 각 단계에서 어떤 가정이 숨겨져 있는지 식별하도록 돕는 과정에 대해 더 명확히 설명할 필요가 있습니다.
이 과정은 확증 편향(불리한 증거를 무시하려는 경향)과 책임 전가 편향(더 많이 투자할수록 아이디어에 더 집착하는 경향)에서 벗어나게 해줍니다. 특정 아이디어가 성공하려면 어떤 가정들이 성립되어야 하는지 파악함으로써, 리스크를 줄이고 성공 가능성을 높일 수 있습니다. 아래는 이와 관련한 주요 가정의 카테고리와 식별 방법입니다.
1. 주요 가정 카테고리
각 아이디어가 성공하려면 다음 다섯 가지 영역의 가정들이 충족되어야 합니다. 이러한 카테고리를 활용하면, 자칫 간과할 수 있는 리스크 요인을 포착할 수 있습니다.
- Desirability (매력도): 고객이 정말로 이 솔루션을 원할까요? 필요한 모든 행동을 수행할 만큼의 매력을 느낄까요?
- Viability (수익성): 이 솔루션이 우리 비즈니스에 이익을 가져다줄까요? ROI를 창출할 수 있을까요?
- Feasibility (실현 가능성): 우리가 실제로 이를 구축할 수 있을까요? (단순히 기술적 가능성뿐만 아니라 전반적인 가능성을 포함, 예를 들어 법무,보안 팀이 이 아이디어를 허용할 것인가? 우리의 기업문화가 이를 허용할 것인가?)
- Usability (사용성): 고객이 이 솔루션의 사용 방법을 이해할 수 있을까요? 고객이 필요한 것을 찾을 수 있을까요?
- Ethical Implications (윤리적 고려사항): 이 솔루션이 잠재적인 해를 일으킬 가능성은 없을까요?
- 윤리적 가정을 확인하는 질문: “만약 이 솔루션의 작동 방식과 내부 논의 내용이 뉴욕타임스, 월스트리트저널, BBC와 같은 언론에 보도된다면 문제가 될 부분이 없을까요? 만약 문제가 된다면 그 이유는 무엇일까요?”
2. 숨겨진 가정(hidden assumption)을 찾는 방법
책은 가정을 찾는 데 유용한 도구입니다 스토리 맵핑(Story Mapping)을 소개합니다. 먼저, 솔루션이 이미 존재한다고 가정하고, 사용자가 가치를 얻는 과정(구현 과정이 아님)을 시각화합니다. 이를 통해 솔루션이 효과적으로 작동하려면 누가 어떤 방식으로 상호작용해야 하는지 파악할 수 있습니다. 스토리 맵을 통해 구체적인 가정 식별 방법은 다음과 같습니다.
- 주요 행위자(actor) 식별: 솔루션이 가치를 제공하기 위해 반드시 참여해야 하는 주요 행위자들을 파악합니다. 경우에 따라 플랫폼이나 인터페이스 자체가 하나의 “행위자”로 간주될 수 있습니다.
- 행위자의 순차적 단계 정리: 각 행위자가 가치를 전달하기 위해 따라야 할 단계를 차례대로 나열하고 구체적으로 작성합니다. 각 단계는 앞서 언급한 다섯 가지 카테고리의 가정들이 모두 충족되어야 성공할 수 있습니다.
3. 추가 가정 식별 도구
- 기회 솔루션 트리(Opportunity Solution Tree) 통한 가정 식별: 기회 솔루션 트리에서 각 노드와 연결 요소를 재검토하여, 해당 아이디어가 성공하려면 어떤 가정들이 필요한지 확인합니다. 특히 수익성(viability) 관련 가정을 파악할 때 유용하며, 결과부터 시작하여 목표를 향해 거꾸로 작업함으로써 성공에 필요한 논리적 가정을 명확히 할 수 있습니다.
- 이 솔루션이 목표 기회를 해결할 수 있는 이유는 무엇인가?
- 목표 기회를 해결하면 원하는 결과가 나올 이유는 무엇인가?
- 프리모템(Pre-Mortem) 분석: 완전히 실패했다고 가정하고, 그 이유를 추적하는 방식으로 가정을 식별합니다. “어떻게 실패할 수 있었는지”가 아닌, “왜 실패했는지”에 초점을 맞춰 질문합니다.
4. 성공의 핵심 가정(Leap of Faith Assumptions) 선택
충분히 많은 가정이 생성된 이후에 모든 가정을 나열한 후, 가장 큰 리스크를 지닌 Leap of Faith Assumptions(성공의 핵심 가정)을 식별하고 테스트를 위한 우선순위를 설정합니다. 이 단계에서 각 가정의 상대적인 중요도에 초점을 맞추며, 불필요한 논의를 피하고 효율적인 선택을 목표로 합니다.
성공의 핵심 가정(Leap of Faith Assumptions)는 근거(evidence, how much do we know about this assuption?)가 약하지만 아이디어 성공에 필수적인 가정(솔루션에 큰 영향을 주는 대처하기 어려운 가정)들로, 첫 번째로 검증할 타겟 가정이 됩니다. 이를 통해 아이디어가 실제로 가능성 있는지 신속하게 판단할 수 있습니다.
가정 맵핑은 정확할 필요는 없으며, 상대적으로 트리오가 어떻게 맵핑하는지 중요합니다. 그리고 가장 우상단에 있는 가정(assumption) 3개부터 테스트를 시작합니다.
7. 아이디어가 아닌 가정 테스트하기
초기 아이디어 단계에서 가장 중요한 것은 전체 아이디어를 디테일하게 설계하고 한 번에 테스트하는 대신, 위험도가 가장 높은 가정에 대해 간단하고 명확하게 설계된 테스트를 진행하는 것입니다. 이러한 접근은 시간과 리소스를 절약할 뿐 아니라, 결정의 리스크를 최소화할 수 있습니다.
강력한 가정 테스트는 실제 사용자가 특정 상황에서 가정에 따라 행동하는지를 관찰함으로써 가정의 유효성을 평가할 수 있도록 도와줍니다. 이때 무엇을 시뮬레이션할지 신중하게 선택하는 것이 핵심이며, 완벽할 필요는 없습니다. 불완전한 테스트라도 결정 과정에서의 위험을 줄이는 역할을 합니다.
효과적인 초기 가정 테스트를 위한 다섯 가지 전략
1. 동시에 세 가지 아이디어 테스트하기: 한 번에 세 가지 아이디어에 대해 가정을 검증하는 것은 특정 아이디어에 과도하게 집착하는 것을 방지하고, 다양한 결과를 교차 검증할 수 있는 장점을 제공합니다. 서로 다른 가정 간의 교차 검증을 통해 결과의 신뢰성을 높이며, 하나의 아이디어에만 지나치게 집중하지 않고 균형 잡힌 판단을 내릴 수 있습니다.
2. 평가 기준 명확히 설정하기: 예를 들어, “10명 중 최소 3명이 특정 행동을 한다”와 같이 숫자로 된 구체적인 평가 기준을 설정하면, 테스트 결과에 대한 명확한 기준을 가지고 해석할 수 있습니다. 이를 통해 팀 전체가 어떤 신호를 긍정적인 결과로 간주할지 사전에 합의할 수 있으며, 결과 해석에서 발생할 수 있는 확증 편향(confirmation bias)을 줄일 수 있습니다.
3. 작게 시작하여 초기 신호 찾기: 하루나 이틀 내에 완료할 수 있는 작은 규모의 테스트로 초기 신호를 찾는 것이 중요합니다. “좋은 테스트는 잘못된 이론을 무너뜨린다”는 Karl Popper의 철학처럼, 작은 테스트에서 빠르게 오류를 찾아내어 수정함으로써 이후 대규모 실험에서 발생할 수 있는 불필요한 리스크를 줄일 수 있습니다.
4. 위험 요소의 검증을 위한 삼각 측량 접근법 활용: 빠르고 작은 테스트는 잘못된 긍정 및 부정 결과가 발생할 가능성이 있기 때문에, 결과를 해석할 때 신중하게 접근해야 합니다. 또한, 서로 다른 가정 테스트 간의 교차 검증(삼각 측량)을 통해 결과에 대한 신뢰도를 높이는 것이 중요합니다. 항상 추가적인 해결 방법을 준비해 두고, 테스트 결과에만 의존하지 않도록 합니다.
5. 과학적 사고 방식 활용: 가정 테스트는 진리를 발견하는 것이 아니라, 아이디어의 리스크를 줄이는 것이 목적입니다. 따라서, 과학적 유효성에 지나치게 집착하기보다는 가정을 검증하고 리스크를 줄이는 데 초점을 맞추어야 합니다. 과학적 사고방식을 활용하되, 완벽한 과학적 접근보다는 실제 문제 해결에 중점을 두는 유연한 태도가 중요합니다.
추천 테스트 도구
1. 비대면 사용자 테스트(unmoderated user testing): 사용자의 자연스러운 행동을 관찰할 수 있는 비대면 사용자 테스트를 활용하면, 가정에 대한 직관적이고 실질적인 피드백을 얻을 수 있습니다. 이를 통해 사용자가 특정 가정 하에서 어떤 행동을 보이는지를 확인할 수 있습니다.
2. 단일 질문 설문조사(one-question surveys): 간단한 질문을 통해 특정 가정에 대한 명확한 답을 얻을 수 있습니다.
Sprig, Maze, UserTesting 같은 서비스가 예시가 될 것입니다. 특히 최근 Sprig가 주목받고 엄청나게 성장하고 있습니다.
가정 테스트 효과 측정의 중요성
가정 테스트가 성공적이라고 해서, 최종 목표에 도달했다고 생각하면 안됩니다. 우리의 궁극적인 목표는 프로덕트 목표, 비즈니스 목표를 달성하는 것이며, 초기 제품 단계에서는 모든 것을 측정할 필요는 없습니다. 대신, 성공을 평가할 기준으로 삼은 요소들에 초점을 맞춰 측정하는 것이 중요합니다.
- 1. 측정 기준 설정하기: “한 사람이 여러 번의 행동을 하는 것과 여러 사람이 한 번씩 행동하는 것이 동일한 가치를 창출하는가?” 만약 그렇다면, 행동 수를 측정하고, 그렇지 않다면 사람 수를 측정합니다. 이 기준을 통해 불필요한 데이터를 측정하는 것을 피하고 핵심 데이터에 집중할 수 있습니다.
- 2. 측정 가능한 방식 찾기: 최종 결과가 추적하기 어렵더라도, 간접적인 방식으로 측정할 수 있는 방법을 찾아야 합니다. 예를 들어, 누군가가 채용 지원서를 제출한 후 어떤 결과가 있었는지 사용자에게 후속 이메일을 보내어 물어보는 식입니다. 이러한 방법을 통해 제품 사용 후의 결과를 어느 정도 파악할 수 있습니다.
- 3. 완전한 솔루션 없이도 효과 테스트 가능: 비즈니스 성과에 대한 잠재적 영향을 측정하기 위해 완전한 솔루션을 반드시 테스트할 필요는 없습니다. 예를 들어, 일회성 파일럿 프로그램(솔루션의 전체 기능을 완성하지 않고도, 일회성 파일럿 프로그램을 통해 중요한 가정을 검증)을 통해 잠재적 파트너십의 가치를 양측이 검증할 수 있습니다. 이런 방식으로도 충분히 초기 가설 검증이 가능합니다.
- 4. 발견(Discovery)과 배포(Delivery)의 상호보완적 관계 이해하기: 발견과 전달 과정은 반복적으로 이루어지며 서로를 보완합니다. 발견 과정이 발전하면서 초기의 전달 작업과 차이가 점차 사라지며, 실제 프로토타입과 더 큰 규모의 테스트 사용자와 함께 작업하게 됩니다. 이를 통해 발견과 전달이 유기적으로 결합되어 목표를 향해 나아갈 수 있습니다.
8. 디스커버리와 딜리버리의 통합
많은 팀이 “언제 발견을 마치고 전달을 시작할 수 있나요?”와 같은 질문을 합니다. 첫 번째 질문에 대한 대답은 간단합니다. 발견은 끝나지 않습니다. 이 책은 연속적 발견(Continuous Discovery)에 관한 것이기 때문에, 항상 더 배우고 발견할 것이 있습니다.
또한 가정 테스트를 실제 프로덕션 환경에 배포한 경우, 우리는 실제 고객 데이터를 수집하고 있는 상태입니다. 이러한 디스커버리 과정은 우리가 실서버 배포를 하도록 만들었습니다. 그리고 배포의 영향을 측정한 결과 더 많은 발견이 필요하다는 결론에 도달할 가능성이 높을 것입니다.
이것이 바로 디스커버리가 딜리버리(배포)를 촉진하고, 딜리버리가 배포를 촉진한다는 말의 이유입니다. 둘은 별개의 단계가 아니며, 한쪽 없이 다른 쪽을 수행할 수 없습니다. 테스트가 계속 진화에 따라, 진짜 고객, 실제 컨텍스트, 실질적인 데이터를 사용하여 테스트가 필요하게 됩니다. 프로덕션 환경에서의 테스트는 자연스러운 발견 과정의 진행이며, 이는 또한 딜리버리 작업의 시작이기도 합니다.
지속적인 제품 발견의 습관(Continuous Discovery Habits) 책에 대해서 설명을 드렸습니다. 프로덕트 트리오라는 팀이 같이 고객에 대한 공통의 지식을 계속 넓히면서 단순히 아이디어, 솔루션을 기반으로 의견 배틀을 뜨는 것이 아니라, 기회/문제점 중심으로 임팩트를 탐색하는 과정과 아이디어를 테스트하는 것이 아닌 근거와 아이디어 성공에 핵심이 되는 가정을 기반으로 테스트하는 컨셉이 인상적인 책이었습니다.
2021년에 출간되어 실리콘밸리 프로덕트 매니저 사이에선 많이 회자되고 실제 업무에 활용이 되고 있는데 아직 국내에선 여전히 아이디어와 요구사항 중심으로 일하는 문화가 일반적인 것 같아서 이번에 공유를 하고 싶었습니다.
감사합니다 :)
댓글
의견을 남겨주세요