사용성 테스트 앞서 가설 설계하라!
Boxesandarrows에 올라온 Avi Soudack의 글 Don’t Test Users, Test Hypotheses을 전문 번역한 글입니다.
“당신이 만든 디자인이든, 다른 사람의 디자인이든, 답을 얻고자 하는 질문을 정하는 것에서 시작하라.”
“당신의 유저를 관찰하라.”
이는 대부분의 인터페이스 디자이너와 사용자 경험 전문가들이 동의하는 격언입니다. 하지만 어떻게 “관찰”할 것인가? 무엇을 찾아야 할까? 나는 웹사이트나 어플리케이션을 테스트할 때 유저의 행동에 대한 가설을 세우는 것이 관찰 프로세스를 명확히 하고, 구조화된 데이터 수집 및 분석, 리서치 결과 정리에 큰 도움이 된다는 것을 알게 되었습니다.
유저 테스팅은 일반적으로 일종의 낚시 여행처럼 구성됩니다. 미끼(유저)를 던져 어플리케이션이나 사이트의 깊은 곳으로 끌어내고, 어떤 물고기(결함)가 미끼를 물어오는지를 살펴보는 것입니다. 이는 가치 있는 접근법이며 오랜 세월에 걸쳐 그 유효성이 입증된 방법입니다. 그러나 결함을 찾아내기 시작할 때, 몇 가지 어려운 질문이 우리에게 주어집니다. 예를 들어, 언제 테스트를 마칠 것인가? 사이트나 어플리케이션을 완전히 테스트하기 전에 얼마나 많은 결점을 찾아야 하는가? 결점을 발견했다면, 그것이 얼마나 심각한지 어떻게 알 수 있으며, 무엇으로 측정할 수 있는가? 반복적인 테스팅을 진행할 때, 이전 버전의 테스트 결과와 현재 버전의 테스트 결과를 어떻게 비교할 것인가?
이런 문제들을 고민하면서 유저 테스팅을 디자인 프로세스에 효과적으로 적용하는 방법은, 조사하고자 하는 주요 이슈를 명확하게 정의하고, 유저가 특정 상황에서 어떤 행동을 할지를 예측하는 것입니다.
예를 들어, 쇼핑 웹사이트의 사용자 경험을 리뷰해 달라는 요청을 받았을 때, 처음 본 순간 “사용자들은 절대 가격 페이지를 찾지 못할 것이다”라는 생각이 들었다고 가정해봅시다. 이와 같은 예감을 명확한 예측이나 가설로 바꿈으로써, 디자인팀은 테스팅이나 리서치 결과의 신뢰성을 더욱 높일 수 있을 것입니다.
Here’s how to do it
당신이 만든 디자인이든, 다른 사람의 디자인이든, 먼저 답을 얻고자 하는 질문을 정하는 것에서 시작하세요. 디자인에 숨겨진 가정을 명확히 하고, 유저의 행동을 예측해 그들이 어떻게 행동할지를 바탕으로 가설을 세우는 것이 첫 번째 단계입니다. 그 다음, 이러한 가설을 검증하기 위한 테스트를 계획하세요. 이렇게 하면 결과가 어떻든 간에, 디자인에 대한 구체적이고 유용한 정보를 얻을 수 있을 것입니다.
나는 동료 Dianne Davis와 함께 수년에 걸쳐 웹사이트와 애플리케이션을 테스트하는 이 접근법을 발전시켜왔습니다. 우리는 모든 디자인이 사람들의 반응과 행동을 예측한다는 아이디어에서 출발합니다. 이러한 예측을 명확한 언어로 표현하고 가설로 만드는 것은 사용성 리서치의 초점을 분명히 하여, 유저가 아닌 “디자인 자체를 테스트”할 수 있는 기회를 제공합니다.
Testing the design
디자인을 테스트하는 첫 번째 단계는 가설을 세우는 것입니다. 우리는 사이트나 애플리케이션에 대한 포괄적인 리뷰에서 시작하며, 이 과정에서 관련된 휴리스틱방법을 활용합니다. 사이트 리뷰는 디자이너들이 작성한 프로젝트 문서, 즉 요구 사항, 사양, 창의적 브리프 등에 기록된 목표나 철학에 맞춰 진행됩니다. 이는 사이트가 그 디자인에 잘 맞는지를 명확히 파악하는 데 매우 중요합니다.
이 시점에서 디자인 팀의 목표를 명확히 하고, 유저 행동에 대한 추측을 분명히 표현하기 위해 팀원들을 적극적으로 참여시키는 것이 중요합니다. 이렇게 하면 테스트의 결과는 우리의 질문이 아니라 그들의 질문에 대한 답이 될 것입니다. 만약 우리가 직접 만든 디자인을 테스트한다면, 이는 디자인을 비판적으로 되돌아보고 주요 예측과 가정을 밝힐 수 있는 기회가 됩니다.
이 초기 리뷰는 많은 "결점"과 유저 행동에 대한 질문을 만들어냅니다. 우리는 유저가 어려움을 겪을 가능성이 있는 부분, 디자인 목표를 달성하지 못하는 요소, 사용하지 않을 기능 등을 파악할 수 있습니다. 이러한 부분들은 단순한 "결점"이 아니라 잠재적인 문제이자 유저 행동에 대한 추측으로 바라보게 됩니다. 이제 우리는 각 이슈를 단순한 예측이 아니라 "테스트 가능한" 요소로 인식하게 됩니다. 아마도 이슈가 심각한지, 사용자 경험과 작업 완수에 영향을 미치는지에 대한 우리의 직관이나 이전 경험이 이를 알려줄 수 있지만, 유저에게 테스트하기 전까지는 확신할 수 없습니다. 여기서 가설의 중요성이 강조됩니다.
이러한 예측과 추측은 유저 행동에 대한 비공식적인 가설이 됩니다. 예를 들어, 자동화 제조회사의 사이트를 리뷰할 때, 우리는 유저가 제품 상세 사진을 보여주는 팝업창을 보지 못하거나 사용하지 않을 것이라고 추측했습니다. 심지어 유저가 그런 사진을 찾고 있을 때도 그 링크를 클릭하지 않을 것이라고 가정했습니다. 즉, 우리의 가정은 '대부분의 유저는 그 팝업창을 찾지 않을 것'이라는 것입니다. 만약 대다수 유저가 실제로 링크를 찾거나 사용한다면, 우리의 가설은 틀린 것이고, 그 디자인 예측은 지지를 받게 됩니다. 반대로, 유저가 링크를 찾지 않는다면 무엇을 수정해야 할지 알 수 있게 됩니다.
또 다른 연구에서는 페인트 색상 조합 소프트웨어의 재디자인된 인터페이스를 테스트했습니다. 이 어플리케이션은 작업 순서에 대한 지표가 부족했기 때문에 유저가 어려움을 겪을 것이라고 예상했습니다. 우리는 유저가 다음에 무엇을 해야 할지 모를 것이라고 가정했고, 이를 통해 검토해야 할 영역을 밝혀낼 수 있었습니다.
Testing users testing the design
유저의 행동에 대한 가설이나 예측은 다양한 시나리오와 작업을 개발하고 개선하는 데 도움을 줍니다. 가설 테스트 접근법의 두 번째 단계에서는 전통적인 사용성 인터뷰, 관찰, 측정 방법을 사용하여 유저를 대상으로 연구를 진행합니다. 이 과정에서 가설을 검토하고 질문에 대한 답을 찾고자 하는 욕구는 작업 선정, 관찰, 인터뷰, 데이터 분석, 그리고 최종 리포트 작성 등 모든 과정에 영향을 미칩니다.
만약 우리가 설정한 가설이 유저의 유형과 관련이 있다면, 표본 선택과 연구 설계에도 중요한 영향을 미칠 수 있습니다. 예를 들어, 교육 사이트를 테스트할 때, 플래시 기반의 애니메이션 도입부가 특정 오디언스인 아이들에게는 흥미를 끌 수 있지만, 다른 그룹인 선생님들에게는 귀찮은 요소가 될 것이라고 예상했습니다. 이를 바탕으로 우리는 각 카테고리에 충분한 유저를 참여시켜 두 그룹이 이 기능을 사용하는 방식의 차이를 비교했습니다. 그러나 결과적으로 우리는 예상과 달리 모든 아이들이 "Skip Intro" 버튼을 눌렀다는 사실을 알게 되었습니다.
유저의 행동에 대한 가설과 예측은 과제 시나리오 개발과 사용성 과업을 개선하는 데 중요한 역할을 합니다. 따라서 핵심 과제 선정 과업은 프로젝트의 이용 사례나 시나리오에서 도출되어야 합니다.
Watching and listening
이러한 접근법은 유저를 관찰하고 데이터를 수집하는 방법에도 영향을 미칩니다. 우리는 유저가 겪는 모든 결점이나 문제를 기록하지만, 특히 우리가 정의한 “병목구간”과 “rabbit holes”에 집중하여 유저 행동을 관찰합니다. 여러 관찰자와 함께 작업할 때는 가설을 공통의 판단 기준으로 활용하여, 동일한 요소를 관찰할 때 조사 결과를 쉽게 비교하고 통합할 수 있습니다.
예를 들어, 우리가 온라인 쇼핑 사이트를 테스트한다고 가정해봅시다. 이때 우리는 유저가 제품을 찾거나 결제하는 과정에서 겪는 모든 문제를 기록합니다. 특히, 유저가 자주 멈추거나 혼란스러워하는 부분인 “병목구간”과 불필요하게 클릭을 반복하는 상황인 “rabbit holes”에 집중하여 관찰합니다.
또한, 여러 명의 관찰자가 함께 작업할 경우, 우리는 미리 설정한 가설을 기준으로 삼아 동일한 문제를 관찰합니다. 예를 들어, "유저는 결제 버튼을 쉽게 찾지 못할 것이다"라는 가설이 있다면, 모든 관찰자가 이 버튼을 찾는 데 걸리는 시간, 문제 요인 등을 기록하여 결과를 비교할 수 있습니다. 이렇게 하면 조사 결과를 쉽게 통합하고, 어떤 문제가 더 심각한지 판단하는 데 도움이 됩니다
유저 관찰 방법은 관찰자가 자신의 편견과 기대를 배제하기 위해 노력하는 에스노그래픽 접근법에 기반합니다. 제가 제안하는 가설 기반 방법은 이 전통적인 관찰 방식을 두 가지 방법으로 보완합니다
첫째, 이 방법은 전통적인 관찰법을 대체하기 위한 것이 아니라 보완하기 위한 것입니다. 유저가 테스트를 수행할 때, 우리의 예측과 관계없이 유저의 행동을 세심하게 기록해야 합니다. 이렇게 하면 이전에 발견되지 않았던 문제들을 찾아내고 유저가 예상치 못한 행동을 하는 모습을 관찰할 수 있습니다. 유저를 직접 보고 듣는다면, 그들은 자신이 사용하는 도구와 기기, 제품에 대해 흥미로운 통찰을 제공할 것입니다.
가설이 관찰을 보완하는 두 번째 이유는 기대를 명확히 표현함으로써 중요한 문제에 대한 편향을 경계할 수 있도록 돕기 때문입니다. 에스노그래피는 수행하기 어려운 작업으로, 자신의 편견을 인식하기 힘들고 이를 뒷받침하는 증거를 찾기가 쉽습니다. Jeffery Rubin은 그의 저서 《The Handbook of Usability Testing》에서 구체적인 테스트 목표를 염두에 두라고 조언합니다. “그렇지 않으면, 찾고 싶은 결과만 찾게 되는 경향이 크다.” 가설이나 추측으로 시작하는 것은 유저 테스팅 데이터를 의식적으로 평가하고 해석할 수 있는 틀을 제공합니다.
Sifting and reporting
데이터 압축과 정리는 항상 어려운 과제가 되며, 결점 리스트를 완전히 처리하는 것은 사용성 담당자와 팀원들에게 부담을 줄 수 있습니다. 여러 가지 문제 외에도, 이러한 정보를 정리하는 과정 자체도 힘들 수 있습니다. 테스트 시작 시 설정한 가설은 결과를 해석할 때 서로 그룹화할 수 있는 의미 있는 방법을 제공합니다.
이러한 접근법은 결과를 인터페이스의 특징보다는 디자인 목표와 관련된 유저 행동 중심으로 정리하여 타당성을 높이고, 기본적인 디자인 관계를 명확히 드러내줍니다.
가설 기반 테스팅 접근법은 무엇을 고쳐야 할지를 결정하는 데 도움을 줍니다. 리서치 결과와 개선안을 사전에 설정한 목표와 연결하면 우선순위를 정하기가 더 쉬워집니다.
반복적인 테스트를 진행할 때, 가설은 테스트 단계 간의 연결 고리를 형성하여 디자인 변경이 유저 행동에 미치는 영향을 예측하는 데 도움을 줍니다.
1) 연결 고리 형성
가설은 테스트 중에 어떤 변화를 주었을 때 유저가 어떻게 반응할지를 미리 예상할 수 있게 해줍니다. 이렇게 하면 각 테스트가 서로 연결되어 있어, 이전 테스트의 결과를 바탕으로 다음 테스트를 계획할 수 있습니다.
2) 예측 가능성
디자인을 변경했을 때 유저가 어떻게 행동할지를 미리 생각해볼 수 있습니다. 이렇게 하면 디자이너가 어떤 부분을 수정해야 할지 더 분명하게 알 수 있고, 그 결과로 더 나은 디자인을 만들 수 있습니다.
3) 문제 식별
반복적으로 테스트를 진행하면서 가설을 확인하거나 수정할 수 있습니다. 이 과정을 통해 유저 행동의 패턴을 이해하고, 문제가 발생한 원인을 쉽게 찾아낼 수 있습니다
리포팅 측면에서, 우리는 디자이너와 개발자들이 원하는 목표와 아이디어에 맞춰 리서치 결과를 제시할 때 그들의 관심을 끌 수 있다는 것을 알게 되었습니다. 가설을 그들이 가지고 있는 디자인 비전과 일치하도록 설정하면, 더 좋은 출발점을 가질 수 있습니다. 실제로 그 목표와 관련된 유저 행동을 관찰하면, 디자인 의사결정의 영향을 더 자신 있게 이야기할 수 있습니다. 예를 들어, 가격 페이지를 찾는 것이 사이트의 중요한 부분인데, 유저가 이를 찾지 못하면 디자이너는 무엇이 잘못 되었는지를 자연스럽게 고민하게 됩니다. 이렇게 되면 유저를 탓하는 대신 문제를 해결하려는 경향이 생깁니다
Not the null hypothesis
가설을 설정하면 특정 행동을 선입견을 가지고 볼 가능성이 있습니다. 즉, 관찰자가 자신의 가설을 확인하려고 할 수 있다는 걱정이 생깁니다. 하지만 경험적 방법은 그런 식으로 진행되지 않습니다. 실제로 우리는 가설을 검증하기 위해 나가는 것이 아니라, 테스트를 하기 위해 나가는 것입니다. 우리는 관찰한 결과에 대해 열린 마음을 유지하면서, 어떤 결과가 나와도 받아들일 준비가 되어 있습니다.
유저 테스팅은 소극적 관찰을 바탕으로 한 자연주의적 연구 방법입니다. 그래서 유저의 경험에 직접 개입하지 않고, 그들이 하는 모든 행동을 열린 마음으로 바라보는 것이 중요합니다. 우리는 리서치 결과를 가설이 맞는지 틀린지를 증명하는 방식으로 제시하지 않습니다. 그 이유는 우리가 진정한 경험적 디자인을 위해 필요한 엄격한 통제권을 가지고 있지 않기 때문입니다. 또는 그런 통제권을 사용하고 싶지 않기 때문이기도 합니다.
가끔 가설의 관점에서 상황을 바라보기도 하지만, 실제로는 사용성이 자연스럽게 흐르는 방향이 있다고 생각합니다. 예를 들어, Susan Dray와 David Siegel은 “디자인 문제와 유저 태스크의 우선순위를 매기기” 위해 시스템이나 제품을 전체적으로 리뷰하면서 사용성 연구를 시작해야 한다고 주장합니다. 그들은 “주요 영역에 대한 좋은 아이디어”를 갖는 것이 중요하다고 강조합니다.
Design as hypothesis
사이트나 애플리케이션의 목표를 바탕으로 가설을 설정함으로써 사용성 테스팅을 디자인 과정에 통합할 수 있다는 것을 깨달았습니다. 디자인 목표에 맞춘 가설로 접근하면, 적절한 행동 중심의 리서치 결과를 얻을 수 있습니다. 이러한 방식은 사용성을 창의성을 억누르는 것이 아니라, 오히려 창의성에 집중할 수 있도록 도와줍니다.
제가 생각하기에 이 접근법이 효과적인 이유 중 하나는 모든 디자인이 본질적으로 가설이라는 점입니다. 디자이너는 의식적이든 무의식적이든 유저의 행동을 예측하게 됩니다. 예를 들어, “내가 여기에 버튼을 배치하고 이렇게 디자인하면, 유저는 이를 보고 다음 단계에서 클릭해야 한다고 이해할 것이다”라는 예측을 하는 것입니다. 이러한 예측은 사용성 리뷰와 리서치의 초점을 명확히 해주고, 디자인 자체를 테스트할 수 있는 기회를 제공합니다.
댓글
의견을 남겨주세요