🧐 Summary
1️⃣ VOC에는 맥락과 주관이 담겨 있어, 분석하기 전에 해석의 기준이 필요합니다.
2️⃣ 데이터를 선택하는 기준이 명확히 드러나야 분석 결과를 신뢰할 수 있습니다.
3️⃣ 자동화할 것과 사람이 판단할 것을 구분하는 것이 중요합니다.
안녕하세요, 구독자님. 어느새 11월이네요.
올 한해를 돌아보니 제가 시간을 제일 많이 쏟은 업무가 AI를 이용해 VOC를 분석하는 일이었더라구요. 기존에도 다양한 분석 방법을 활용해서 VOC를 분석했었는데, 이제 회사에서 AI를 자유롭게 활용할 수 있게 되면서 AI를 통한 분석 프로세스를 잡아가는 데에 올 한해를 쏟았던 것 같아요.
일년간 새로운 시도도, 또 그 시도끝에 얻은 실패도 많았는데 이제야 조금 틀이 잡힌 것 같은 기분입니다. 그래서 이번달에는 제가 그 작업을 진행하면서 얻은 인사이트를 공유해보려해요. 분석 결과를 나누고 싶은 건 아니구요, 그 결과를 잘 다듬어 나가는 과정에 대한 이야기입니다.
VOC, 그 자체로는 '데이터'가 아니다
첫번째 뉴스레터에서는 가장 밑바닥의 문제를 다뤄보려해요. 저희가 가지고 있는 VOC를 얼마나 믿을 수 있느냐 하는 이야기에요.
판매량이나 신규유입고객 등의 정량 데이터는 숫자 자체가 곧 사실입니다. 그런데 사람들이 온라인에 제멋대로 쓰는 VOC는 완전히 달라요.
VOC 원본 데이터를 열어보면 생각보다 많은 것이 섞여있습니다. 대표적인 네 가지를 소개해볼까요.
- 주제 이탈 : 'Color' 카테고리에 선정되었는데 막상 읽어보면 디스플레이 성능에 대한 이야기인 경우
- 마케팅 복붙 : '역대 가장 인상적인 제품'처럼 사용자가 직접 쓴 말이 아니라 보도자료를 복붙한 리뷰
- 오분류 : A 제품에 대한 VOC로 잡혔지만 읽어보면 A제품과 비교하며 B제품에 대해 이야기한 경우
- 표현 이슈 : 비속어가 섞여 그대로 보고자료에 노출시키기엔 부담스러운 경우
하지만 문제는 이런 문장들이 모두 통계에 묻혀버린다는거에요. 결과만 봐서는 이런 내용이 전혀 보이지 않더라구요. '긍정 82%'라는 수치만 보면 멀쩡한 숫자지만, 이 숫자를 설명하기 위해 대표 VOC를 인용하다보면 이런 노이즈가 드러나곤 합니다. 잘못된 대표 인용구 하나 때문에 보고 자리에서 "이거 진짜 소비자가 쓴 말 맞아요?"라는 이야기가 나올 수도 있고, 분석 결과에 대한 신뢰도가 확 떨어지기도 하죠.
수만건의 문장이 있어도, 실제 보고서에 들어가는 문장은 일부입니다. 그 일부가 수만건을 대변하는 순간, 그 일부를 고르는 행위 자체도 중요한 분석의 일부가 되더라구요. 이 선택을 어떻게 신뢰할 수 있게 만드느냐가 생각보다 몹시 중요했습니다.
선정 로직을 블랙박스로 두지 않는다
저는 그래서 대표 인용을 뽑기위한 로직을 먼저 만들었어요. 키워드 적합도, 대표성, 중복 여부 등의 조건으로 점수를 매겨 상위 문장을 뽑았죠. 빠르고 일관적이지만, 이 과정을 AI에게 모두 일임하면 나중에 교체를 위한 판단이 쉽지 않았습니다.
그래서 이 규칙을 사람이 따라갈 수 있는 형태의 프로세스로 다시 변환했습니다. 어떤 속성이 상위 몇 개로 들어왔는지, 그 속성 안에서 각 문장이 로직에 얼마나 부합하는지로 점수를 매겨, 단계별로 추적이 가능하게 만들었죠.
이렇게 로직이 눈에 보이면, 이상한 결과가 나왔을 때 어떤 단계에서 문제가 있었는지 파악할 수 있어요. 그리고 그 결과물에 대해 디펜스할 때 로지컬하게 대응할 수 있다는 장점도 있었죠.
자동으로 거르고, 사람이 고정한다
그렇다고 자동 선정을 끝까지 믿을 수는 없었어요. 규칙은 맥락을 모르기 때문이에요. 그래서 과정을 세 단계로 분리했어요. 규칙으로 후보군을 좁히고, 사람이 최종 판단으로 교체/삭제하고, 그 결정을 고정(lock)한다.
여기서 세 번째 단계가 결정적이었습니다. VOC는 매 시간 갱신되고, 그때마다 결과물을 재생성하다보면 매번 다른 대표 인용이 선정되어 있더라구요.
그래서 사람이 내린 판단을 별도로 저장해뒀습니다. 결과적으로 자동 생성의 속도와 사람이 검수하는 정확성 모두를 가져가되, 사람의 판단이 재생성에 쓸려 없어지지 않게 유지한거죠.
AI를 분석에 도입하며 가장 위험했던 유혹은 '전부 자동으로 돌리면 객관적일 것'이라는 생각이었어요. 자동 선정은 빠르지만 맥락을 놓칠 수 있고, 사람의 판단은 정확하지만 재현이 어렵습니다. 그래서 그 둘을 섞지 않고 역할을 나누는 것이 중요했어요. 자동화는 범위를 좁히는 데에, 사람의 판단은 최종 결정에 쓰는거에요.
수십만건의 어수선한 문장을 c-level을 위한 보고서에 올리기 위한 '신뢰도 있는 데이터'로 바꾸는 일은 세 가지로 압축할 수 있었습니다. 오염된 문장을 걸러내고, 선정 로직을 투명하게 만들고, 사람의 판단을 고정시킨다. 자동화와 사람의 역할을 명확히 구분하는 것이 그 출발점이었어요.
다음 주에는 이렇게 정리한 VOC를 다양한 정량 데이터와 하나의 스토리로 묶어나가는 과정에서 배운 것들을 이야기해보려 합니다. 가을의 한가운데(혹은 겨울의 시작일지도 ㅠ)에서 단풍 바짝 즐기시고, 다음주에 또 만나요!
[inspire X 오픈카톡방]
https://open.kakao.com/o/gBHmseah
의견을 남겨주세요