🧐 Summary
1️⃣ Synthetic user는 평균을 잘 재현한다. — 사람들의 전반적인 경향과 기존 패턴을 빠르게 재현하는 데에는 꽤 유용합니다.
2️⃣ 하지만 검증에는 위험할 수 있다. — 지나치게 협조적인 AI의 특성은 나쁜 아이디어까지 좋은 아이디어처럼 보이게 만들 수 있습니다.
3️⃣ 무엇보다 ‘예상 밖의 발견’을 만들기 어렵다. — 좋은 리서치의 가치는 사람들이 말한 답보다 아직 말하지 않은 행동과 잠재된 니즈를 발견하는 데 있습니다.
안녕하세요, 구독자님. 오늘은 ‘진실’을 주제로 한 9월의 두 번째 뉴스레터입니다.
요즘 AI를 활용하지 않는 분야를 찾기가 더 어렵죠? 디자인 리서치에서도 AI를 도입하려는 움직임이 활발한데요, 그 중 하나가 바로 Synthetic User Research입니다. 방법은 간단합니다. LLM으로 우리의 타겟 사용자를 만들고, 그 사용자와 인터뷰를 하는 거에요. 실제 사용자를 모집할 필요가 없으니 시간과 비용을 크게 줄일 수 있고, 훨씬 큰 규모의 검증도 가능합니다. 기업 입장에서는 관심을 가지지 않을 이유가 없어 보입니다.
하지만 진짜 ‘옛날 리서치’를 해온 사람인 저에게는 조금 황당하게 느껴지기도 합니다. 실제 사람을 만나지 않고도 정말 사용자 리서치를 했다고 말할 수 있을까요?오늘은 이 가상의 사용자를 활용한 리서치가 무엇을 잘하고, 무엇을 놓치는지 이야기해보려고 합니다.
1. 잘하는 것 — 큰 방향과 평균값
Synthetic User Research가 꽤 잘하는 일이 있습니다. 바로 사람들의 전반적인 경향을 예측하는 것입니다.
Stanford 연구팀이 Nature에 발표한 연구에서 연구진은 약 12만 명이 참여한 다양한 사회과학 실험의 결과를 GPT-4가 얼마나 잘 예측하는지 확인했습니다. 그 결과 LLM의 예측 성능은 인간 전문가 집단과 유시한 수준이었습니다.
다른 연구에서도 비슷한 결과가 나옵니다. 실제 사람들에게 했던 설문을 LLM 기반의 synthetic user에게 동일하게 진행했을 때, 인간 응답에서 나타나는 재검사 신뢰도의 약 90% 수준까지 재현했다는 결과도 있어요.
그러니까 우리가 알고 싶은 것이 “대체로 사람들은 어떻게 생각할까?” 또는 "전체적인 경향은 어느 쪽일까?”라면 synthetic user는 꽤 유용할 수 있습니다. 문제는 디자인 리서치가 언제나 평균을 찾기 위해 존재하는 것은 아니라는거죠.
2. 위험한 것 — 컨셉 검증
Nielson Norman Group이 과거 자신들이 진행했던 사용자 연구를 synthetic user로 다시 수행하면서 발견한 중요한 문제가 있습니다. AI가 지나치게 협조적이라는 것이었어요.
LLM은 기본적으로 사용자의 요청에 도움이 되는 방향으로 답하려는 성향이 있습니다. 그래서 새로운 컨셉에 대해 물어보면 실제 사용자보다 훨씬 긍정적인 반응을 내놓는 경우가 많아요. 아이디어를 비판해야 하는 상황에서도 오히려 그럴듯한 장점을 만들어냅니다. 그래서 NN/g는 synthetic user를 이용한 컨셉 검증을 “incredibly risky”라고 표현합니다. 컨셉 검증의 목적은 아이디어를 칭찬받는 것이 아니라 틀린 아이디어를 걸러내는 건데 무엇을 보여줘도 긍정적으로 반응한다면 오히려 위험할 수 있다는 것이죠.
3. 더 큰 문제 — 예상 밖의 사용과 잠재된 니즈
그런데 저는 이보다 더 중요한 한계가 있다고 생각합니다.사용자 리서치의 진짜 가치는 무엇일까요? 제가 지금까지 했던 리서치를 돌이켜보면 “이번 리서치는 정말 의미 있었다”고 느꼈던 순간은 대부분 예상하지 못했던 것을 발견했을 때였습니다. 사용자가 우리가 생각하지 못했던 방식으로 제품을 사용하고 있거나, 사용자 자신도 명확하게 설명하지 못했던 불편과 니즈를 관찰을 통해 발견했을 때였죠. 리서치에서 의미 있는 메시지는 종종 사용자가 질문에 답하는 순간보다 그 사람을 관찰하는 순간에 나옵니다. 우리는 우리가 말할 수 있는 것보다 더 많은 것을 알고 있기 때문입니다.
Sanders와 Stappers의 프레임워크에서는 사용자 경험에 접근하는 방법을 Say / Do / Make와 같은 층위로 설명합니다. 우리가 흔히 ‘latent need’라고 부르는 잠재된 요구는 단순히 사용자가 말하는 것을 듣는 것만으로는 발견하기 어렵습니다. 사람들이 실제로 무엇을 하는지 관찰하고, 때로는 직접 표현하기 어려운 경험을 끌어내는 과정이 필요합니다. 그런데 LLM이 가장 잘 재현할 수 있는 것은 결국 이미 언어로 표현된 세계입니다. 사람들이 말해온 것을 그럴듯하게 재현하는 것과, 아직 아무도 말하지 않은 것을 발견하는 것은 전혀 다른 일입니다. Synthetic user가 가진 가장 큰 한계는 여기에 있다고 생각합니다.
저는 오늘 뉴스레터를 쓰기 전에 두 가지 가설을 가지고 있었어요.
하나는 Synthetic User Research가 디자인 프로세스의 발산 단계인 ideation에서는 활용될 수 있지만, 가능성을 줄여나가는 validation에 사용하는 것은 위험하다는 것이었습니다. 두번째는 전반적인 경향을 파악하는 데에는 도움이 될 수 있지만, unexpected moment를 발견하기는 어렵다는 것이었습니다. 관련 연구와 사례를 찾아보면서 이 두 가설을 뒷받침하는 결과를 꽤 많이 발견할 수 있었습니다.
Synthetic User Research를 활용하고 싶어 하는 의사결정자들의 생각도 충분히 이해가 돼요. 시간과 비용을 줄일 수 있고, 수백 명의 사용자를 몇 분 만에 만들어낼 수도 있습니다. 최신 AI 기술을 활용한 방법이니 더 매력적으로 보이기도 하죠.
하지만 리서처라면 조금 다르게 생각해야 하지 않을까요? 우리가 리서치를 하는 이유가 무엇인지부터 다시 물어야 합니다. 이미 알고 있는 경향을 빠르게 확인하기 위해서인지, 우리가 만든 아이디어를 검증하기 위해서인지, 아니면 아직 우리가 모르는 것을 발견하기 위해서인지에 따라 필요한 방법은 완전히 달라집니다.
“그래도 리서치를 안 하는 것보다는 낫지 않나요?”라고 묻는다면 저는 이렇게 대답할 것 같습니다.
나쁜 리서치는 차라리 없는 것보다 못할 수 있습니다. 우리를 잘못된 방향으로 보낼수도 있으니까요.
[inspire X 오픈카톡방]
https://open.kakao.com/o/gBHmseah
Reference
[1] Ashokkumar, A., Hewitt, L., Ghezae, I., & Willer, R. (2026). Large language models can predict the results of social science experiments.Nature, 1-8.
[2] Maier, B. F., Aslak, U., Fiaschi, L., Rismal, N., Fletcher, K., Luhmann, C. C., ... & Wiecki, T. V. (2025). LLMs reproduce human purchase intent via semantic similarity elicitation of Likert ratings.arXiv preprint arXiv:2510.08338
[3] https://www.nngroup.com/articles/synthetic-users/
[4] https://sharedspaces.drc.usask.ca/designmethodology
의견을 남겨주세요