💬 기능 출시 후, 우리가 챙겨야 할 것은?

지난 9월 21일 발행된 뉴스레터 주제는 '기능 출시 전, 우리가 챙겨야 할 것은'에 대한 내용이었는데요. 출시 전 준비한 것들이 우리가 의도한 대로 잘 반영되었는지 출시 후 확인하는 것 역시 중요한 과정 중 하나라고 생각해요. 그래서 이번에는 기능을 출시(배포)한 뒤, 사용자의 만족도를 어떻게 확인하면 좋은지, 구체적으로 활용할 수 있는 방법은 무엇인지 메이커들과 함께 이야기를 나눠봤어요. 마지막에는 함께 활용하기 좋은 서비스도 정리되어 있어요!

서비스 기획자 K : 사용자 만족도를 꼭 고려해야 하는 이유

데이터 분석만큼 제가 사용자 만족도에 집착하는 이유는 사용자와의 ‘관계’를 구축하는 데 있어 중요한 역할을 한다고 생각하기 때문입니다. 서비스들이 ‘고객문의’를 통해 VOC를 수집하지만, 이는 보통 일방향으로 이뤄지는 경우가 많고, 긍정이든 부정이든 사용자가 직접 행동을 해야 의견을 들을 수 있다는 한계도 존재하는데요. 사용자가 특정 행동을 한 직후, 행동에 대한 경험이 아직 남아있을 때 만족도에 해당하는 피드백을 요청하게 되면 즉시 응답을 할 수 있을 뿐만 아니라, 사용자에 대한 관심을 기울이고 있다는 사실을 알리는데 많은 도움을 받을 수 있어요. 사용자가 고객문의 등을 직접 찾아 나서지 않아도, 더 많은 목소리와 의견을 낼 수 있는 환경을 제공할 수 있는 것이죠.

또 하나는 발생하는 문제에 대한 빠른 파악이 가능하다는 점인데요. 기능을 배포하기 전 아무리 꼼꼼하게 테스트를 진행한다 하더라도 모든 케이스와 상황을 고려할 순 없어요. 때문에 사용자의 피드백을 통해 미처 고려하지 못한 상황과 발생한 문제를 빠르게 확인할 수 있어요. 저는 브런치에 에세이를 쓰고 있는데요. 글을 발행하기 전 친한 지인에게 미리 글을 보여주는데, 직접 쓸 때는 잘 몰랐던 내용과 실수를 이 과정에서 많이 발견하고 있어요. 사용자 피드백은 결국 글을 교정해주는 역할과 유사하다고 생각하는 이유이기도 해요. 우리 서비스를 사용자의 시각으로 살펴볼 수 있는 소중한 기회를 제공해주는 셈이죠.

다만, 사용자 피드백을 받는 것으로 끝내는 것이 아니라 이를 우리 서비스(제품) 개발 과정에 어떤 식으로 활용할 것인지에 대한 과정이 명확하게 정의되어 있어야 해요. 사용자의 피드백으로부터 단편적인 솔루션을 도출하기보다는 문제점을 찾아갈 수 있어야 하기 때문인데요. A 기능에 대한 만족도를 확인해 볼까? 그 기능을 사용한 직후 5점 척도로 질문을 던지면 되겠지? 정도가 아니라 이를 통해 수집된 피드백의 다음 단계는? 함께 확인할 정보는? 등의 기준이 있어야 제품 개발 과정에 보다 적극적으로 피드백을 활용할 수 있다고 생각해요. 추가로, 학습이 충분히 되지 않은 기능이나 기존에 없었던 서비스라면 피드백이 단순 불만으로 채워질 가능성이 높기에 받지 않는 상황을 함께 고려하는 것도 도움이 될 수 있어요.

💡 메이커의 꿀팁

프로덕트 매니저 H : 만족도 조사에서 ‘타이밍’이 중요한 이유

기능을 준비하면서 사용자가 어떻게 반응하는지 확인하는 방법은 크게 두 가지입니다. 하나는 로그를 통해 데이터를 뜯어보는 방법이며 또 하나는 사용자에게 직접 만족도와 같은 질문을 던져 생생한 의견을 듣는 방법입니다. 이 둘은 각각의 방법으로 활용되기보다는 상호보완적인 역할을 하게 되는데요. 얼마나 방문하고, 재구매는 언제 발생하며, 주로 어떤 연령대의 사용자가 우리 서비스를 쓰고 있는지 등의 행동 기반 데이터로 알 수 없는 내용을 사용자 조사를 통해 알 수 있기 때문입니다. 그래서 저는 특정 기능을 준비하는 데 있어 로그를 어떻게 수집해 데이터를 볼 것인지와 더불어 사용자 만족도 등의 피드백을 어떻게 확인할 것인지를 꼭 함께 확인하고 있습니다.

사용자 만족도 조사를 준비하며 가장 신경 쓰는 부분은 어떤 순간에 제공할 것인지에 대한 내용인데요. 배달을 예로 들면, 배달이 완료된 순간에 배달이나 주문한 메뉴에 대한 피드백을 요청하는 것보다 식사가 어느 정도 마무리 되었다고 판단하는 순인 20-30분 뒤에 제공하는 것이 정확도와 응답률을 높일 수 있습니다. 보통 기능을 사용한 뒤에 만족도를 묻는 게 기본이지만, 기능에 따라 시간차가 필요하거나 일정한 사용 흐름이 끝난 뒤에 묻는 등의 고려가 필요할 수 있기에 이런 내용을 함께 확인하는 것이 중요하다고 생각합니다.

또 동일한 방법의 만족도 조사를 상황에 따라 사용하는 것 역시 중요한데요. 저는 기능에 대한 만족도를 확인하는 경우 주로 CSAT(Customer Satisfaction Score) 방법을 활용하고 있어요. ‘A에 얼마나 만족하시나요?’라는 직접적인 질문으로 만족도를 측정하게 되며, 주로 기능을 경험한 직후에 진행하게 됩니다. 다만, 기능을 경험한 지 오래된 경우에는 응답이 정확하지 않을 수 있기에 일주일 이내 경험을 기준으로 삼고 있습니다.

CSAT는 5점 척도로 많이 진행하고 있으며, 선택한 것 항목에 따라 추가 질문을 하는 방식을 통해 조금 더 자세한 피드백을 확인하고 있어요. 예를 들어, 어떤 기능에 대해 사용자가 매우 불만족을 선택했다면, 개선을 위해 필요한 내용이 무엇인지를 추가로 물어보는 방법입니다. 빠른 확인이 필요한 경우에는 2점 척도로 이모지 등을 활용해 만족도를 확인하는 경우도 있어요.

CSAT 조사는 단순 만족도를 묻는 방법이기에 정량화 하기는 쉽지 않아요. 그래도 기능에 대한 대략적인 반응을 확인할 수 있으며 특정 응답수가 감소하거나 부정적인 반응이 늘어날 때를 빠르게 알 수 있다는 장점이 있어요. 만약 부정적인 반응이 갑자기 늘어날 경우 데이터를 함께 보는 방법으로 문제를 빠르게 인지하고 해결할 수 있습니다.

💡 메이커의 꿀팁

CSAT를 통해 만족도 조사를 진행할 때 읽어보면 좋은 글

‘CSAT, 고객 만족도가 당장 궁금할 때 필요한 조사’에서는 CSAT 방법의 특징과 단점이 잘 정리되어 있어요. 특징으로는 (1) 고객의 행동이 당장 궁금할 때 활용할 수 있고 (2) 다양한 형태의 질문을 적용할 수 있으며 (3) 타이밍이 중요하다는 내용이 포함되어 있고요. 노하우로는 (1) 5점 척도를 바탕으로 2점 척도 등을 활용하는 방법과 (2) 재미있는 조사를 위한 이모지 활용 (3) 만족도 계산 방법 (4) 함께 묻기 좋은 질문 등이 포함되어 있어요. 

프로젝트 매니저 B : 말하지 않아도 알 수 있는 만족 지표 데이터

배포 후 기능이나 업데이트 만족도를 조사하는 방법은 참 다양한데요. 사용자 리서치 중 일부는 표본이 어느정도 확보되어야 기준을 총족할 수 있다는 등의 허들이 있어요. 많은 서비스가 리서치를 위해 리워드를 제공하는 것 역시 같은 이유라고 볼 수 있죠. 물론, 함께 진행하는 것이 좋지만 저는 우선 침묵의 피드백이라고 할 수 있는 데이터를 통해 기능 만족도를 살펴보려 노력합니다. 대표적으로는 개선한 구간에서 사용자 이벤트가 늘었는지, 혹은 이탈이 줄었는지 등 기능을 개발하고 적용한 목적에 따라 추적하고 있어요.

데이터를 통해 기능 만족도를 확인하려면, 문제를 파악할 때부터 명확한 목표 수립이 가장 중요한데요. 목표를 위한 가설 설정과 더불어 이를 어떻게 검증할 지의 과정에서 사용자 데이터를 어떻게 확인할 것인지를 함께 정리하고 있어요. 검증 기준에 따라 가설이 잘못되었을 경우, 다른 방법을 활용할 수 있도록 빠르게 움직이는 것도 필요하죠. 개선 전,후의 데이터를 확인해 실제로 사용자들이 만족하고 그 행동을 이어 나가는지 확인할 수 있어요.

제가 진행한 프로젝트에서는 모바일 업로드 기능을 제공했을 때 사용자당 업로드 수가 늘어날 것인가 등의 가설을 가지고 테스트를 진행해 봤는데요. 업데이트 후 이전보다 업로드 수가 상승하는 걸 경험했어요. 중요한 건, 한 명의 사용자가 반복해서 이 행동을 하고 있는지, 반복적인 행동을 바탕으로 평균적인 업로드 수가 증가하는 지 등 검증하고자 하는 배경에 따라 살펴볼 수 있어야 한다는 점이에요. 새롭게 추가된 기능이라 호기심에 1-2번 사용 후, 멈춘다면 만족도가 높은 기능이라고 판단할 수 없기 때문입니다. 데이터로 이런 판단이 어렵다고 느껴지는 경우에는 저도 사용자 만족도 조사를 별도로 진행하고, 응답한 사용자 중 일부를 대상으로 다시 사용성 테스트나 인터뷰를 진행하며 데이터로 알 수 없는 내용을 확인하고자 노력하고 있어요.

💡 메이커의 꿀팁

사용자 데이터를 분석하기 위해 읽어보면 좋은 글

만족도 조사를 사용자 행동 데이터를 기반으로 분석하려면, 사용자 행동 패턴에 대한 가설과 그에 맞는 대안책을 잘 정리하는 것이 가장 중요한데요. 그러기 위해서는 사용자 데이터를 효과적으로 분석하는 법을 꼼꼼히 살펴보면 좋을 것 같습니다. 특히 이 아티클은 정량적 데이터와 추론적인 통계의 차이와 그 차이에 따라 어떤 분석을 하면 좋을지 정리해 줬는데요. 아티클 말미에는 통계도 매우 중요하지만, 결국 사람이 파악하고 맥락을 이해하여 선택하는 의사결정도 중요하다 집어준 점도 흥미로웠습니다.

프로덕트 매니저 G: 작은 팀에서 만족도를 조사하는 방법, NPS

제가 맡은 B2B 프로덕트에 최근 새로운 기능을 론칭했는데, 저희가 예상한 것보다 버그가 많이 생기고 일부 사용자로부터 부정적인 피드백이 지속적으로 들어오는 거예요. PM으로서 이 문제가 대부분의 사용자들을 괴롭히는 큰 문제인지, 아니면 일부 사용자들의 기대치가 너무 높아서 발생하는 일시적인 현상인지 판단하고 싶었어요. 백로그에 해결해야 할 다른 문제들이 많이 쌓여있는 상황에서, 일의 우선순위를 정하기 위해서는 명확한 지표를 보고 판단하는 것이 좋겠다는 생각이 들었어요. 그래서 사용자의 기능 만족 지표를 확인하는 방법을 찾아보다가 ‘NPS(Net Promoter Score, 순고객추천지수)’의 도입을 팀에 제안하게 되었습니다.

NPS는 ‘우리 제품을 주변에 추천할 의향이 있는가’라는 질문으로 사용자의 만족도와 추천 의향을 파악하는 방법이에요. 제가 NPS를 눈여겨보게 된 이유는 무엇보다 간단하기 때문이에요. 복잡한 설문조사를 설계할 필요 없이 위의 질문으로 사용자의 만족도를 파악하는데요, 빠르게 성장하는 서비스를 가졌지만 가용할 수 있는 리소스가 적은 작은 팀에게 맞는 간결한 피드백 수집 방법이라고 생각했어요. 그리고 응답자 또한 부담이 적기 때문에 응답률이 높고 사용자 의견을 명료하게 전달한다는 장점이 있어, 새 기능에 대한 사용자들의 만족도를 직관적으로 파악하는 데 이상적이라고 생각했습니다.

설문 결과로 나온 저희 제품의 NPS는 25였습니다. B2B 서비스의 업계 평균보다 낮은 편이었고, 낮은 점수를 준 사용자들의 코멘트를 수집해 보니 새로운 기능에 대한 사용자의 만족도가 기대에 못 미치고 있다는 것을 파악하게 되었습니다. 이는 새로운 기능을 추가하는 것보다 기존 기능을 보완하는 것으로 제품 개발 방향을 전환하는 계기가 되었어요. 이후 심층적인 유저 인터뷰를 진행해 불만의 원인을 파악하고, 기능의 정확도를 향상하고 UI/UX를 개선하는 데 주력했습니다. 이러한 개선 작업을 거친 후 NPS를 주기적으로 시행하면서 사용자들의 반응이 긍정적으로 변화하는 것을 확인할 수 있었습니다.

💡 메이커의 꿀팁

NPS 도입에 관심이 생길 때 읽어보면 좋은 글

이번 코멘트를 읽고 우리 회사에 NPS를 효과적으로 도입하고 싶다는 생각을 하고 계시는 분들께, 버즈빌 팀의 ‘월간 NPS로 고객 마음 읽기’라는 글을 소개합니다. 글에는 NPS를 도입하고 이를 업무 문화로 발전하기 위한 노력들이 담겨있어요. 에디터에게 인상적이었던 부분은 버즈빌 팀에서 NPS를 설계하고 해석하는 모든 단계를 시스템화한 점인데요, NPS가 ‘설문을 위한 설문’으로 끝나지 않도록 응답을 수집한 후 결과를 가시적으로 볼 수 있는 대시보드를 만들고, 결과를 통해 액션 아이템을 끌어내기 위해 리뷰하는 자리를 주기적으로 만들었어요. 또한, 만족도 결과를 OKR로 반영하여 구성원들이 이를 통해 목표와 보상을 받을 수 있게 설계한 점이 놀라웠습니다.

1.told

개발 과정을 거치지 않고도 다양한 종류의 사용자 피드백을 받을 수 있도록 도와줘요. NPS, CSAT 등의 템플릿을 지원하며 앱과 웹서비스에서 모두 적용할 수 있고, 간단한 디자인 작업도 할 수 있어요. 원하는 상황과 타겟에 맞게 피드백을 제공할 수 있으며 웹훅 기능도 활용할 수 있죠. 수집된 피드백은 대시보드를 통해 통계로 자세히 살펴볼 수 있는 기능도 지원합니다. 

told 자세히보기

2.오픈서베이 - 피드백

오픈서베이에서 서비스 중인 피드백 역시 다양한 종류의 사용자 피드백을 쉽게 적용할 수 있도록 도와줘요. 모바일, 태블릿, PC 등 디바이스 환경에 따라 적절한 응답 화면을 제공하며, 설문 로직 설정과 응답 참조 기능으로 매끄러운 응답 과정을 만들고 확인할 수 있어요. 가장 큰 장점은 웹 링크, 이메일, 문자 메시지, 홈페이지 설치, 카카오톡 등 여러 채널을 통해 피드백을 수집하고 한 곳에서 데이터를 확인할 수 있다는 것!

피드백 자세히보기

3.왈라

왈라는 AI 어시스턴트가 상황에 따른 설문 제작을 도와주는 서비스입니다. 네이버나 구글폼에서 내용을 불러와 편집할 수 있으며 응답자 찾기 기능으로 응답 수집 속도를 높일 수 있어요. 설문 제작은 물론 주관식 항목에 대한 답변을 자동으로 요약해주기도 해요. 뿐만 아니라, 자동으로 대시보드를 생성해 응답에 대한 내용을 보기 좋게 정리해 줘 분석에 필요한 시간을 아낄 수 있습니다.

왈라 자세히보기

📮 광고 및 제휴 문의: https://tally.so/r/wa5WKE

💬 이번 뉴스레터는 어땠나요?

이번 커피챗은 어땠나요? 뉴스레터에 대한 의견을 더해주세요! 

의견 남기기

11월 16일 목요일에 발행될 메이커들의 커피챗 주제는 '사이드 프로젝트'입니다. 메이커들은 어떤 이유로 사이드 프로젝트에 참여하고, 그 과정에서 무엇을 배우고 중요하게 생각하는 것은 무엇인지 자세히 듣고 정리할 예정입니다. 다음 뉴스레터도 많은 기대 부탁드려요!

📮 멤버십 콘텐츠 캠핑편 무료 제공 안내

멤버십 콘텐츠는 어떤 내용을 담고 있는지, 첫 번째 주제 '캠핑편'을 통해 자세히 확인해보세요!

팁스터 뉴스레터의 공식 오픈채팅방에 참여해보세요!

팁스터 뉴스레터에서는 프로덕트와 관련된 다양한 주제의 콘텐츠를 발행하고 있어요!

멤버십 콘텐츠 중 '캠핑'편은 무료로 체험하실 수 있어요!