🧐 Summary
1️⃣ 파일럿 테스트는 본 조사 전에 작은 규모로 설계와 진행 방식을 점검하여 문제를 미리 수정하는 과정이에요.
2️⃣ 파일럿 테스트에서는 조사 절차와 데이터 수집, 분석 방법이 적절한지 확인하고, 참여자가 조사 내용을 쉽게 이해할 수 있는지 점검해요.
3️⃣ 1-2회의 파일럿 테스트를 통해 조사 결과의 신뢰도를 높일 수 있어요.
안녕하세요 구독자님, 실제 사용자 조사에서 가장 중요한 작업이 무엇이라고 생각하시나요? 저는 파일럿 테스트라고 생각합니다. 우리가 설계한대로 좋은 조사 결과를 얻으면 좋겠지만, 실제로 조사를 해보면 내 생각과 다르게 흘러가는 경우가 많잖아요. 파일럿 테스트를 작게, 한번이라도 해본다면 진짜 사용자 조사를 더 탄탄하게 할 수 있어요. 그래서 오늘은 사용자 조사에서 파일럿 테스트가 왜 필요하고 어떻게 해야하는지 이야기 나눠 볼게요.
파일럿 테스트가 무엇이고 언제 해야 하나요?
파일럿 테스트는 본격적인 사용자 조사를 진행하기 전에 작은 규모로 연구 설계와 진행 방식을 점검사는 과정이에요. 사용자 조사 리허설인 셈이죠. 이 과정에서 조사가 제대로 진행될 수 있는지, 문제가 생길 부분은 없는지 등을 미리 확인해볼 수 있어요. 조사에 참여하는 사용자들이 우리가 설계한 테스트를 제대로 이해하지 못하면 결과의 신뢰가 떨어지기 때문에 사전에 이런 문제를 해결하려는 것이죠.
특히, 파일럿 테스트는 초보 UX 연구자나, 익숙하지 않은 주제를 다루 때, 첫 시도에서 바로 제대로된 결과를 얻어야 할 때 유용합니다. 실수를 발견하고 수정할 수 있는 기회가 생기기 때문이죠. 이렇게하면 본 조사 결과의 품질을 높일 수 있어요. 이미 익숙한 주제에 대해 조사를 하거나 사용자 조사를 많이 해본 UX 연구자는 감이 있겠지만, 그렇지 않으면 뭔가 막막하잖아요. 그럴때일수록 일단 조사 과정을 빠르게 설계하고 얼른 테스트를 해보는거죠.
파일럿 테스트에서 어떤 것들을 확인해야 하나요?
사용자 조사에서 파일럿 테스트의 역할은 결과 확인이 아니라 조사 방법이 문제 없는지 확인하는 것이에요. 따라서, 사용자 답변이나 관찰 결과를 분석한 내용보다는 그 데이터 수집과 분석 과정에서 어떤 문제가 있었고, 그걸 어떻게 수정하면 좋을지에 집중해야 합니다. 한마디로 이렇게 사용자 데이터를 모으고 분석할 수 있겠지라고 생각한 부분들이 실제 사용자들을 대상으로 잘 작동하는지 알아보는거죠.
예를 들면, 조사 과정이 참여자들에게 너무 부담스럽지 않은지, 전체적인 사용자 조사가 예상대로 진행되는지, 설문지나 인터뮤 질문을 참여자들이 쉽게 이해하는지 등을 확인해야 합니다. 사용자들의 피드백을 보고 어떤 데이터를 더 수집해야하는지도 가늠할 수 있어요. 결과 데이터 자체에 집중하는 것이 아니라 데이터의 범위가 조사의 목적에 맞는지를 확인하면서 조사에서 알아볼 항목들을 수정하는 것이죠. 정리하자면, 파일럿 테스트에서는 조사 절차와 데이터 수집 방법, 분석 도구가 적절한지 확인해야해요.
파일럿 테스트는 몇 명을 대상으로 몇 번이나 해야하나요?
한번 생각해볼까요. 파일럿 테스트에서 나온 문제점들을 수정하기 위해서는 적어도 본 조사 하루 전에는 테스트를 해봐야겠죠? 그런데 이렇게하면 파일럿 테스트 결과를 제대로 반영해서 수정할 시간이 부족해요. 그래서 늦어도 본 조사 일주일 전에는 파일럿 테스트를 해보는 것이 좋습니다.
파일럿 테스트를 많이 반복할 수 있다면 더 완벽한 사용자 조사를 할 수 있겠지만 비용과 시간이 많이 들겁니다. 한마디로 비효율적이에요. 경험상 1-2회 정도의 파일럿 테스트를 하면 어느 정도 문제를 파악할 수 있어요. 첫 번째 테스트에서는 큰 문제점을 찾아내고, 두 번째 테스트에서는 그 문제를 해결한 수정본이 제대로 동작하는지 확인 합니다.
그럼 몇 명으로 파일럿 테스트를 해야할까요? 사용자 조사의 목표와 우리 조직이 가진 자원에 맞게 유연하게 설정하면 됩니다. 한 의료 연구에 따르면, 조사 과정에서 참여자들이 불편하지 않은지와 같은 간단한 연구 절차를 검증하는 파일럿 테스트는 10-15명으로도 충분하다고해요 [1]. 하지만 우리 조직은 사용자 조사를 할 수 있는 인원이 너무 적고, 내가 설계한 조사 방법들이 맞는지 걱정된다면, 3-5명 정도를 대상으로 첫 번째 파일럿 테스트를 해보세요. 물론, 이건 저의 경험적인 데이터에요. 부족하다고 생각할 수 있지만 조사 과정이 잘 동작하는지를 대략적으로 알 수 있는 크기입니다. 아예 안해보는 것보다는 조사의 신뢰도를 훨씬 높일 수 있으니까요.
AI 시대에서 예전 방식의 파일럿 테스트가 과연 얼마나 의기 있을까라고 생각하실 수도 있어요. 요즘에는 UX조사를 도와주는 다양한 AI도구들이 많으니까요. 조사 도구가 진화하면서 파일럿 테스트도 다양하게 시도해볼 수 있지만, 중요한 것은 실제 내가 설계한 사용자 조사에서 좋은 결과를 얻기 위해서는 파일럿 테스트가 꼭 필요하는 것이에요. 사용자 조사에 대한 나의 의구심과 불안도를 낮춰줄 수 있고 결과에 대한 신뢰도도 높여줄 수 있죠. 특히, 사용자 조사가 처음이라 잘 모르겠다면 빠르게 조사 설계를 하고 바로 옆 사람에게라도 파일럿 테스트를 해보세요. 하면서 알게된다는 말을 체감할 수 있을꺼에요.
그럼, 우리는 다음주 월요일에 만나요!
Reference
[1] Hertzog, M. A. (2008). Considerations in determining sample size for pilot studies. Research in nursing & health, 31(2), 180-191.https://doi.org/10.1002/nur.20247
[2] Van Teijlingen, E., & Hundley, V. (2002). The importance of pilot studies. Nursing Standard (through 2013), 16(40), 33.https://www.proquest.com/openview/e1c79ecc86d8b228530d189b81b25f63/1?pq-origsite=gscholar&cbl=30130
[3] https://www.nngroup.com/articles/pilot-testing/
![[사용자리서치] 잘 이해되는 UX 리서치 보고서는 어떻게 만드나요?의 썸네일 이미지](https://cdn.maily.so/m3zgsy7ptsmwtrsq8l7l55f8mi9z)
![[사용자리서치] 우리 리서치에 맞는 참가자를 고르는 법의 썸네일 이미지](https://cdn.maily.so/k64n11a2vaakw7pezb2wlap28v1x)
의견을 남겨주세요