AI 가시성 측정, 정확도가 아니라 정밀도의 문제입니다

AI 검색 가시성 측정에는 맞히고 틀리는 정답이 없습니다. 생성형 AI의 답변은 같은 질문에도 매번 달라지기 때문에, 도구 두 개가 41%와 23%라는 다른 숫자를 보여줘도 한쪽이 틀린 게 아닙니다. 서로 다른 조건에서 서로 다른 분포를 잰 것뿐입니다. 그래서 GEO 성과 측정에서 물어야 할 질문은 "이 숫자가 맞습니까"가 아니라 "같은 방법으로 다시 재면 같은 숫자가 나옵니까"입니다. 정확도(accuracy)가 아니라 정밀도(precision)를 봐야 한다는 뜻인데요, 이 기준을 세우고 나면 측정 도구를 고르는 방식도 보고서를 읽는 방식도 달라집니다.

지오랭크가 B2B SaaS 기업 A사와 6개월간 진행한 프로젝트가 그 사례입니다. 처음 3개월은 핵심 프롬프트 40개를 매일 1회씩 ChatGPT에 던져 언급 여부를 1과 0으로 기록했습니다. "이번 주 노출률 45%, 지난주 대비 12%p 상승" 같은 리포트가 올라갔지만, 다음 주에 아무것도 바꾸지 않았는데 28%로 떨어졌습니다. 원인을 찾느라 2주를 썼고, 같은 프롬프트를 하루 20번 연속으로 던져 보고서야 답이 나왔습니다. 20회 중 언급 횟수가 그날 8회, 다음 날 11회, 그 다음 날 7회였습니다. 하루 1회 측정은 동전을 한 번 던져 놓고 "오늘은 앞면이 나오는 날"이라고 기록한 것과 같았습니다. 4개월 차부터 프롬프트당 하루 20회 반복, 로그아웃 상태 고정, 모델 버전 명시, 신뢰구간 병기로 설계를 바꾸자 측정 비용은 3.8배 늘었지만 주간 변동 폭은 ±17%p에서 ±6%p로 줄었습니다. 6개월간 브랜드 언급률은 31%에서 52%로 올랐고, 더 중요한 성과는 무엇이 효과가 있었는지를 처음으로 구분해 낼 수 있게 됐다는 점입니다. 다만 프롬프트 300개를 추적하는 커머스 클라이언트 B사에서는 같은 설계가 예산을 감당하지 못해, 핵심 30개만 20회로 재고 나머지 270개는 주 1회 5회 반복으로 낮췄습니다. 어디에 정밀도를 쓸지 고르는 것도 전략입니다.

정확도는 참값에 얼마나 가까운지를, 정밀도는 반복 측정이 서로 얼마나 모여 있는지를 뜻합니다. 과녁으로 치면 정확도는 정중앙에 꽂힌 화살이고 정밀도는 한곳에 모인 열 발입니다. 전통적인 순위 추적은 특정 시점·지역·기기에서 순위가 하나로 정해져 있었으니 정확도를 말할 수 있었습니다. AI 검색은 다릅니다. 확률적 샘플링, 실시간 검색 결과 변동, 개인화, 라우팅되는 모델 버전이 모두 답을 흔듭니다. "우리 브랜드의 진짜 노출률"이라는 단일한 참값은 존재하지 않고, 존재하는 것은 분포뿐입니다. 올바른 보고 형태도 "3위"가 아니라 "41% ±9%p, 20회 반복"에 가깝고, 도구 간 숫자 비교는 의미가 없습니다. 하나의 도구를 고르고 방법론을 고정한 뒤 같은 조건에서의 시계열 변화만 해석해야 합니다.

도구마다 숫자가 갈리는 이유는 수집 방식, 로그인 상태, 모델 모드, 샘플링 횟수, 언급의 정의가 전부 다르기 때문입니다. 소비자용 웹 인터페이스를 스크래핑하는 도구와 개발자 API를 호출하는 도구는 사실상 다른 제품을 재고 있습니다. Semrush가 2026년 6월에 내놓은 분석에 따르면 ChatGPT의 즉답 모드와 추론 모드가 인용한 도메인은 약 25%만 겹쳤고, 추론 모드는 쿼리 팬아웃을 4배 더 발생시켰으며 99개 도메인은 추론 모드에서만 등장했습니다. 프롬프트 형태도 결과를 바꿉니다. 5개 엔진의 응답 38,000건 분석에서 순위를 매겨 달라는 프롬프트가 개방형 질문보다 최대 20% 더 많은 브랜드를 노출시켰습니다. 여기에 로그인 여부, 메모리 사용, 요청 지역, 기기 유형이 더해지고, 마지막으로 브랜드명 노출을 언급으로 볼지 링크가 걸려야 인용으로 볼지에 따라 같은 응답도 다르게 집계됩니다.

반복 횟수는 신뢰구간으로 판단합니다. 참 등장률 50%를 가정한 95% 신뢰구간은 다음과 같습니다.

하루 1회 측정으로 "노출률 45%"라고 보고하는 리포트는 노이즈를 성과로 포장하고 있을 가능성이 큽니다. 실제 관측도 같은 방향인데요, 구매 의도 프롬프트 12개를 로그아웃 ChatGPT에 100회씩 던진 2026년 조사에서 프롬프트당 누적 44개 브랜드가 등장했지만 개별 응답에는 약 10개만 들어갔습니다. 80% 이상 꾸준히 등장한 브랜드는 전체의 11%에 불과했고, 언급된 브랜드의 72%는 다섯 번에 한 번도 나오지 않았습니다.

측정은 대시보드를 켜는 일이 아니라 실험 장비를 세팅하는 일입니다.

1단계 - 수집 경로, 로그인 상태, 메모리 온오프, 모델 버전과 모드, 지역과 기기, 반복 횟수를 문서로 못 박습니다. 이 문서가 없으면 3개월 뒤 숫자와 오늘 숫자를 비교할 근거가 사라집니다.

2단계 - 브랜드명 노출, 링크 인용, 추천 목록 포함을 분리해 집계합니다. 뭉뚱그리면 이름만 스쳐도 인용으로 잡혀 성과가 부풀려집니다.

3단계 - 의사결정에 직결되는 핵심 프롬프트에 정밀도를 몰아주고 나머지는 탐색용으로 낮게 가져갑니다.

4단계 - 원본 응답을 통째로 보관합니다. 지표만 저장하면 정의를 바꿔 재분석할 수 없습니다.

5단계 - 분기에 한 번은 동일한 프롬프트 세트를 재수집해 측정 도구 자체의 드리프트를 계측합니다.

6단계 - 가시성은 선행 지표이고 유입과 전환이 실제 지표입니다. 두 시계열이 합리적인 기간 안에서 같이 움직이지 않으면 그 가시성 지표는 비즈니스 의미가 없습니다.

2026년에 나온 분산 분해 연구는 이 문제를 수치로 보여 줍니다. 브랜드 20곳을 3개 모델과 8개 언어, 프롬프트 15종으로 교차해 12,933건을 모았더니 감성 극성 분산은 같은 프롬프트 내 재질의 34.8%, 질의 언어 31.6%, 고차 상호작용 22.3%, 브랜드와 언어의 상호작용 8.6%, 모델 정체성 1.7%, 브랜드 자체 0.7%로 구성됐습니다. 단일 응답에서 브랜드 정체성이 설명하는 분산은 1.5%였습니다. AI 답변 한 건을 놓고 "우리 브랜드가 이렇게 평가받는구나"라고 결론 내리는 건 98.5%의 노이즈를 신호로 착각하는 일입니다. 질의 언어가 만든 분산이 31.6%라는 점도 중요한데요, 해외 도구의 영어 기반 리포트만 보는 국내 브랜드는 자기 시장과 무관한 숫자를 보고 있을 수 있습니다.

이 연구는 여섯 번째 반복부터 상대 오차 분산이 0.0003밖에 줄지 않으니 반복보다 언어와 모델을 다양화하라고 권합니다. 반면 같은 해 다른 프로토콜 연구는 약 190,000건 관측과 270개 이상 브랜드를 재분석해 탐색 5~7회, 확인 10~12회, 엄밀한 검증 15~20회를 제시했습니다. 반복 5회에서 큰 효과를 잡아낼 검출력 중앙값은 0.44에 불과했고 80% 검출력에는 약 15회가 필요했습니다. 두 연구는 충돌하는 것처럼 보이지만 재는 대상이 다릅니다. 앞은 감성 극성이라는 연속형 지표의 분산을, 뒤는 브랜드 추천 여부라는 이분형 사건의 검출력을 다룹니다. 지오랭크의 경험으로는 "언급됐는가"를 세는 국내 GEO 실무에 후자의 기준이 더 맞습니다. 덧붙여 브랜드 전체를 하나의 점수로 압축하면 반복 횟수를 아무리 늘려도 그 숫자는 해석되지 않으므로, 주제별로 쪼개어 보는 편이 낫습니다.

원문 보기: https://georank.co.kr/report/ai-visibility-measurement-precision-not-accuracy