💬 실무자를 위한 사용자 피드백 실전 가이드

안녕하세요. 구독자님, 오늘도 팁스터 뉴스레터와 함께 해주셔서 감사합니다. '메이커의 레시피' 아홉 번째 주제는 '사용자 피드백 편'으로 서비스 기획자, PO가 말하는 사용자 피드백에 대한 내용을 네 가지 공통 질문에 따라 정리했어요. 그럼, 이번 뉴스레터도 재미있게 읽어주세요!

🍳 오늘의 레시피

사용자 피드백은 서비스를 기획하고 만들어가는 과정에 빠질 수 없는 요소입니다. 프로덕트가 가야하는 방향의 힌트가 되기도 하는데, 피드백을 받아들이는 기준이 없다면 잘 못된 해석으로 연결될 수도 있죠.

그래서 오늘은 세 명의 메이커와 함께 ‘사용자 피드백’에 대한 이야기를 전해드립니다. 이번 뉴스레터를 통해 ‘사용자 피드백’은 어떻게 받아들이고 인사이트를 찾으면 좋을지 정리해볼 수 있는 시간이 되면 좋겠습니다.

다양한 유저를 고려하는 라인페이플러스 서비스기획자, 조창욱

안녕하세요, 이커머스 기업에서 첫 근무를 시작해서 지금은 핀테크 기업에서 일하고 있는 서비스기획자 조창욱이라고 합니다. 저는 주로 운영자들이 쓰는 어드민을 기획하면서, 유저뿐만 아니라 운영자의 불편함까지 캐치해서 어드민도 사용성을 좋게 기획하고 싶은 욕심이 있어요. 국경에 상관없는 결제 서비스를 만들자는 비전을 향해서 오늘도 노력하고 있습니다!

🥕 핵심 재료

사용자 세분화 : 피드백의 대표성을 판단하기 위해 사용자를 다양한 기준으로 세분화하기
공통 니즈 : 겉으로는 상반된 의견 속에서도 숨겨진 공통 니즈 파악하기

🔥 조리 방법

사용자 피드백과 데이터 분석 결과가 다를 때, 어떻게 의사결정을 하시나요?

우선 사용자 피드백은 인터뷰 또는 설문조사를 진행한 사용자 수가 충분했는지, 대상이 적절했는지를 검토합니다. 데이터 분석은 활용한 조건에 오류는 없었는지를 점검하고요.

사용자 피드백은 깊이 있는 질적 정보를 제공하지만 표본 크기가 작을 수 있고, 데이터 분석은 큰 규모의 행동 패턴을 보여주지만 그 이면의 이유를 설명하지 못할 수 있기 때문이에요. 이러한 이유로 각각의 결과를 다시 꼼꼼히 점검했을 때, 둘 다 이상이 없다면 둘 다 맞는 내용이라고 판단합니다.

그 이후에 프로덕트의 목표와 우선순위를 고려해서 각 결과의 중요도를 평가합니다. 이때 필요하다면 추가 조사나 실험을 계획해서 불일치하는 부분에 대한 더 많은 정보를 수집하려고 합니다.

수집된 사용자 피드백이 대세의 의견인지 아닌지 구분하는법이 있을까요?

먼저, 제품의 목표와 전략에 맞는 ‘대세’가 무엇인지를 명확하게 정의해야 해요.

그다음에는 사용 빈도나 패턴 등의 다양한 기준으로 사용자를 ‘세분화’ 합니다. 이렇게 세분화시킨 사용자들을 분류한 그룹을 고객 세그먼트라 하는데, 여기서 실제 사용 데이터를 분석해서 피드백 제공자가 해당 세그먼트를 대표하는지 확인해야 해요.

그리고 시간에 따른 의견 변화를 발견하거나, 필요시 소규모 실험을 진행해서 피드백의 ‘타당성’을 확인하는 과정도 필요하다고 생각해요.

이렇게 크게 세가지 관점으로 접근한다면 수집된 사용자 피드백이 실제로 대세를 반영하는지 신뢰성 있게 판단할 수 있지 않을까 싶습니다.

같은 상황에 대한 상반된 의견이 수집될 경우의 대응 방법이 있을까요?

상반된 의견들을 단순히 긍정과 부정으로 나누기보다는, 의견 속에 숨겨진 ‘공통 니즈’를 파악하는 것이 중요합니다. 겉으로 보기에는 상반되어 보여도, 더 깊이 들여다보면 같은 니즈가 있다는 걸 발견할 수도 있거든요.

예를 들어 ‘앱 디자인이 너무 복잡하다’는 의견과 ‘앱 디자인이 너무 단순해서 기능을 찾기 어렵다’라는 의견은 상반되어 보이지만, 궁극적으로는 ‘쉽고 직관적인 사용 경험’을 원한다는 공통점을 갖고 있죠.

이런 내용을 파악하기 위해 상반된 의견을 낸 사용자들이 같은 사용자 그룹에 해당된다면, 그 사용자들을 대상으로 그룹 인터뷰를 진행해서 추가 의견을 들어보고 있습니다.

사용자 피드백을 팀 내에서 공유하고 활용하는 프로세스는 어떻게 되나요?

저희 조직에는 사용자 피드백을 모으고 전달하는 팀이 따로 있어요. 그리고 이 피드백을 사업부서, 기획부서가 모두 체크합니다. 각 부서에서 피드백을 확인한 후에는 사업 부서에서 요구사항을 정리해 기획팀에 전달하거나, 혹은 기획팀에서 자체적으로 개선을 진행하기도 합니다.

이 프로세스에서 결국 가장 중요한 것은 사용자 피드백을 각 팀에 맞게 선별해서 공유한다는 데에 있어요. 사업 부서에는 시장 분석이나 전략 수립에 필요한 정보를, 기획 부서에는 제품 개선에 필요한 정보를 정리해서 전달해 주면 각 팀이 상황에 맞게 사용자 피드백을 활용하는 과정이 수월해집니다.

사용자 피드백을 통해 제품이나 서비스를 개선한 구체적인 사례를 들어주실 수 있나요?

저희 서비스의 사용자라 하면 대표적으로 일반 유저들과 가맹점이 있는데요. 이 가맹점들이 홍보 메시지를 유저에게 발송하는 광고 서비스에서, 가맹점의 피드백을 적극적으로 반영해서 개선을 진행한 경험이 있어요.

가맹점들로부터 피드백을 수집했을 때, 크게 메시지 발송 횟수와 시점에 대한 불만을 표명한 의견이 대세를 이루고 있었어요. 가맹점 입장에서는 일반 유저들을 대상으로 유의미한 홍보 메시지를 메시지를 전달하고 싶은데 기존 정책은 이 부분을 충족시키지 못한 부분이 있었던 거죠.

이렇게 수집한 피드백을 바탕으로 메시지 발송 빈도를 조정하고, 유저 행동 데이터를 활용해 보다 적절한 타이밍에 메시지가 발송되도록 개선했어요. 이 개선을 통해 가맹점의 만족도가 크게 향상되었고, 일반 유저들도 메시지를 더욱 유용하게 받아들이고 있다는 결과까지 확인할 수 있었답니다.

🍬 디저트

사용자 피드백에 대한 답변과 함께 확인하기 좋은 내용

User feedback: How to collect and use user feedback to improve your...

User feedback is the process of collecting and analyzing the opinions, preferences, and experiences of your customers or users regarding ...

fastercapital.com

서비스 기획자가 사용자 피드백을 수집하고 분석할 때 참고할만한 이론을 정리한 아티클입니다.

조창욱 메이커에게 고민상담 신청하기

12년차 Product Owner, 우탄이

저는 안드로이드 개발자로 시작해, 현재는 다양한 사업 방향 구상과 함께 모바일 서비스를 만드는 PO 우탄이입니다. 스마트폰 시대가 열릴 때부터 지금까지 IT 서비스를 좋아해서 즐겁게 일을 하고 있는데, 항상 어떻게 하면 팀이 일을 잘하고 즐겁게 할 수 있는지 고민합니다.

🥕 핵심 재료

서비스 규모와 단계 : 서비스 규모와 단계에 따라 피드백 접근 방식 고려하기
핵심 사용자 정의 : 사용자 그룹을 정의하고, 그룹별 니즈를 충족시키는 방향으로 의사결정하기

🔥 조리 방법

사용자 피드백과 데이터 분석 결과가 다를 때, 어떻게 의사결정을 하시나요?

데이터와 사용자 피드백이 다르면 우리 서비스가 어느 지점에 도달해있는지 먼저 생각해보는 편입니다. 아무래도 초기 서비스일 경우, 사용자 모수가 적어 소중한 초기 사용자를 먼저 만족시켜서 사용자 리텐션을 유지하는 의사결정도 중요하다고 생각해요. 

그래서 초기 서비스는 비교적 목표하는 데이터보다 사용자 피드백을 의사결정하는 방향에 무게를 두고 빠르게 서비스에 적용하는 것이 좋은 것 같습니다. 

이후 서비스 규모와 방향성이 잡혀서 규격화된다면 초기 사용자에 비해 더욱 다양한 성향을 가진 그룹이 등장하죠. 그 시기가 오면 그룹별 데이터 기반 페르소나를 지정하여 각각에게 필요한 서비스의 기능을 노출해 주는 것도 필요하다고 생각합니다. 

대표적으로는 개인화 추천 알고리즘과 그룹별 사용자에게 노출되는 모달의 종류와 멘트를 다르게 하는 부분이 있을 것 같네요.

수집된 사용자 피드백이 대세의 의견인지 아닌지 구분하는 법이 있을까요?

대세 의견인지 구분하는 방법을 딱 잘라 규정하는 건 개인적으로 어렵다 생각합니다. 앞서 말씀드린 것과 같이 서비스의 단계에 따라 대세를 판단하는 기준이 달라지기 때문인데요. 

제가 신규 서비스 런칭을 담당했을 때를 돌아보면, 사업 구상을 하는 당시 견고하게 생각한 비즈니스 모델도 실제 사용자에게 전달되고 가치있다고 판단되는 기능은 예상과 많이 다른 경우도 많더라고요. 그러다보니, 수집된 사용자의 피드백도 사업과 서비스의 단계에 따라 결과에 연결되는 비중이 달라질 수 있다고 생각합니다. 

그 외의 일반적인 상황에서는 연령, 성별, 사용 빈도(리텐션, 재방문율), 서비스 이용 기간 등의 정보를 바탕으로 사용자 그룹을 지정해 그룹별 피드백 경향을 파악한 내용을 기반으로 대세 여부를 판단할 수 있을 것 같아요. 이 때 특정 그룹에서만 나타나는 피드백이라면 전체 사용자를 대상으로는 대세 의견이 아닐 가능성이 높겠죠. 다만, 그룹의 규모가 서비스 사용자의 대다수라면 그 그룹에게 베타 서비스를 제공하고 우리가 목표한 지표와 수치에 도달할 수 있는지 검증이 반드시 필요하다고 생각합니다.

같은 상황에 대한 상반된 의견이 수집될 경우의 대응 방법이 있을까요?

보통은 둘 다 잡으려다 다 놓치는 경우가 많아요. 이런 경우에는 서비스에 더 이득이 되거나 규모가 큰 그룹의 의견에 집중하는 것이 맞다고 생각합니다. 

초기 서비스에서는 A/B 테스트를 통해 많은 사용자들이 선호하는 방향으로 업데이트를 진행합니다. 선호도를 판단하는 기준은 트래픽이나 이벤트 수 등의 데이터로 알아볼 수 있을 것 같아요. 

규모가 갖춰진 서비스라면 앞서 정의한 핵심 사용자 그룹의 니즈를 충족시키는 방향으로 의사결정을 내리려 노력하는 편입니다. 예를 들어, 수익 창출에 큰 영향을 미치는 '고가치 사용자' 그룹의 의견을 우선적으로 반영하는 것이 중요할 수 있죠.

사용자 피드백을 팀 내에서 공유하고 활용하는 프로세스는 어떻게 되나요?

앱스토어 리뷰의 경우, 봇을 통해 슬랙으로 자동 공유되고 있어요. 그 중에서도 부정적인 피드백을 팀에서 중점적으로 살펴보는 편입니다. 

부정적인 피드백이 슬랙에 공유되면, 먼저 버그인지 신규 업데이트에 대한 불편사항인지를 먼저 파악하는데요. 버그라면 빠르게 수정 후 배포할 수 있도록 계획을 세우고, 신규 업데이트에서 부정적인 내용이라면 원인을 파악을 먼저 한 뒤 개선 프로세스를 진행합니다. 이 때 신규 업데이트에 대한 반응이 지나치게 부정적이라면 빠르게 롤백을 하는 경우도 있습니다. 

반대로 추가 업데이트에 대한 요구사항 등의 긍정적인 피드백은 PM/PO가 먼저 확인 후 백로그에 쌓아둡니다. 그 중 반복적으로 등록되는 내용을 놓치지 않기 위해 주 단위로 정기적인 피드백 검토 회의를 통해 중요한 피드백을 우선순위에 따라 분류하고, 개선 방안을 논의하고 있어요.

사용자 피드백을 통해 제품이나 서비스를 개선한 구체적인 사례를 들어주실 수 있나요?

마침, 최근 놀라운 지표들을 보고 개선을 준비하고 있는데요ㅎㅎ.  저희 서비스의 주요 고객인 10대 사용자들은 다른 연령층에 비해 즉시 소비를 하는 인앱 결제보다 리워드 광고를 통한 유료 기능을 사용할 것이라 예상을 했었는데요. 예상과 달리 "광고를 너무 많이 봐야 해서 불만이다"라는 불만이 지속적으로 들어와 유료 결제를 넣더라도 더 좋은 퀄리티의 결과가 나오는 기능을 추가해 보자 결정을 하게 되었습니다. 

그 결과 사용자가 인앱 결제를 시도하는 비율이 늘어나는 지표를 확인할 수 있었죠. 그래서 다양한 결제 상품을 추가로 제공하면서 사용자가 더 편리하게 결제하고 다양한 상품을 구매할 수 있는 방향으로 개선을 진행했습니다. 그래서 이제는 인앱 결제가 이제 광고수익을 넘어가는 결과들이 나오고 있어요!

우탄이 메이커에게 고민상담 신청하기

커뮤니티 플랫폼 Product Owner, 동동

안녕하세요 크리에이터 커뮤니티 관련 서비스를 담당하고 있는 Product Owner 동동입니다! 에이전시에서 서비스 기획을 시작으로 현재는 스타트업에서 9년 넘게 재직하며 다양한 사용자를 접하며 서비스를 만들어가고 있습니다. 프로덕트 관점에서 사용자 피드백을 어떻게 대응하고 있는지 열심히 풀어보겠습니다!

🥕 핵심 재료

팀 목표와 방향성 : 팀 목표와 진행 중인 프로젝트와 발견된 사용자 피드백 연결하기
기능과 지면 주요도 : 기능의 중요도에 따라 피드백 긴급성 판단하기

🔥 조리 방법

사용자 피드백과 데이터 분석 결과가 다를 때, 어떻게 의사결정을 하시나요?

피드백과 데이터가 다른 부분이 있다면, 그 다른 점이 발견되는 지점의 기능과 지면 주요도를 먼저 파악해봅니다. 그리고 그 지면과 기능이 현재 팀에서 집중하고 있는 포인트와 다른 점이 없는지 먼저 찾아봅니다. 

프로덕트 전반적인 흐름에서 피드백과 데이터 인사이트가 다른 지점이 비교적 주요도가 낮고 팀이 집중한 포인트와 다르다면 피드백과 데이터 비교 분석한 결과 자체를 낮은 우선 순위로 백로그에 저장해두고, 추후 고려하는 정도로만 대응을 진행합니다. 아무래도 리소스가 한정적이고 달성해야 하는 KPI에 집중을 하기 위해서 백로그에 저장하는 편입니다. 

다만, 팀이 집중하고 있는 지면인데 피드백과 데이터가 다르다면 사용자 피드백을 중심으로 다시 데이터를 분석하는데요. 우리가 누락하는 데이터가 없는지 다시 분석해 본 후 해당 피드백이 기능적 오류인지, 안내 멘트로 인해 사용자가 착각할 수 밖에 없는 구조인지 재차 확인해봅니다.

수집된 사용자 피드백이 대세의 의견인지 아닌지 구분하는 법이 있을까요?

대세 의견을 구분하는 기준은 다수의 사용자에게 유사한 피드백이 오는지를 기준으로 합니다. 특히 신규 기능은 배포 직후 2주정도 CS 이메일 등 사용자 피드백이 들어오는 채널을 꼼꼼히 살펴보는 편이에요. 서비스 변화 직후의 사용자 피드백은 그만큼 서비스 변화에 민감하게 받아들이는 사용자로 판단하여, 충분히 대세의 의견으로 귀 기울일 수 있다고 생각합니다.

물론 의도적으로 개선한 부분에 대해 롤백의 피드백이 오는 경우도 있는데, 이 경우 서비스가 가고자 하는 미래 지향점을 감안하여 피드백을 접수하는 편입니다. 그리고 추가적으로 제가 만든 서비스더라도 자주 써보려 하는 편이에요. 쓰다보면 예상 외로 기획할 때 발견 못한 포인트나 추가 개선사항을 발견할 수 있는데 직접 느낀 부분이 피드백으로 들어오면 적어도 고려해볼 가치가 있다고 판단하는 편이에요.

같은 상황에 대한 상반된 의견이 수집될 경우의 대응 방법이 있을까요?

그럴 경우 팀이 목표하고 있는 점 혹은 예정된 프로젝트와 연관된 방향의 의견에 좀 더 힘을 주어 의사 결정하는 편입니다. 다만 이렇게 의사결정을 하기 위해서는 같은 상황에 상반된 의견이 수집되는 비율이 양측이 비슷해야 할 것 같아요.

그리고 현재는 반영하지 못하더라도 반대의 의견을 준 사용자의 패턴과 피드백 의미를 좀 더 이해해보려 합니다. UX상 우리의 의도가 사용자에게 헷갈리게 전달 되었을 수 있기 때문에 정비할 점이 없는지 찾아보면 좋다고 생각해요.

사용자 피드백을 팀 내에서 공유하고 활용하는 프로세스는 어떻게 되나요?

사용자 피드백의 주요도에 따라 프로세스가 조금 다른데, 긴급한 피드백일 경우 데일리 스크럼 회의 때 피드백과 대안책을 바로 공유하는 편이고요. 고민과 의사 결정이 필요하다면 상용 환경에서 해당 피드백 내용을 직접 확인해보고 기획자와 의견을 공유해보는 편입니다. 이후 스프린트 회의 때 안건을 공유하고 대안책에 대한 상호 피드백과 일정을 조율합니다.

사용자 피드백을 통해 제품이나 서비스를 개선한 구체적인 사례를 들어주실 수 있나요?

제가 담당한 서비스에서 최근 사용자로부터 특정 지면에 반복적인 CS가 인입되는 경우가 있었는데요. CS가 자주 발생하는 지면이 상품 판매 데이터를 확인할 수 있는 대시보드 지면으로 담당하는 서비스의 메인 기능이었죠. 

초기에는 빈도 수가 적어, 운영자 차원에서 대응하며 주간 단위로 몇 명에게 얼마나 높은 빈도로 CS가 들어오는지를 1차적으로 확인해봤습니다. 처음에는 동일한 피드백을 접수하는 사용자가 적어 대응방식을 유지했는데, 점차 문의하는 사용자가 늘어나며 점점 운영 리소스를 투자하는 것보다 기능으로 대응을 하는 것이 리소스상 더 이로운 상황이 되었죠. 그래서 당시 진행 중인 프로젝트와 연결하여 사용자가 직접 판매 데이터를 쉽게 다운로드할 수 있는 기능을 준비해서 대응하게 되었습니다. 

개인적으로 사용자 피드백이 서비스 의사결정의 가장 중요한 지표가 될 수는 없다고 생각해요. 결국 한정적인 리소스에서 얼만큼 현명하게 대응해야하는지를 PO로서 집중할 수 밖에 없는데, 그 과정에 반복적인 사용자 피드백으로 리소스를 기능적으로 대응할 수 있는 순간이 오면 그때 리소스를 배정하는 편입니다.