AI 환각은 언제 가장 위험할까?

AI 환각이 가장 위험한 순간은 모델이 모른다고 답해야 할 자리에서 그럴듯한 결론을 내놓을 때입니다. 2026년 8월 공개된 WARRANT-SEO 벤치마크에서 27개 모델은 결정적 근거가 포함된 SEO 진단 문항을 99% 정확도로 맞혔습니다. 같은 문항에서 그 근거 한 줄만 삭제하자 판단을 적절히 유보한 비율은 51.5%로 내려갔습니다. 47.5%p의 격차가 AI 환각이 숨어 있는 구간입니다. 지식이 모자라서가 아니라 근거가 충분한지를 스스로 재지 못해서 생기는 일입니다.

AI 환각은 모델이 사실로 뒷받침되지 않는 내용을 사실처럼 서술하는 현상입니다. 없는 논문을 만들어내는 노골적인 거짓말보다, 마케팅 현장에서 실제로 손해를 내는 쪽은 조용합니다. 트래픽 하락 원인을 묻자 "키워드 자기잠식 때문입니다"라고 단정하는 답변이 그 예입니다. 문장은 매끄럽고 용어도 맞지만, 그 데이터만으로 그 결론을 지목할 수 있느냐는 다른 문제입니다.

이 연구가 쓰는 워런트(warrant)는 법률 용어가 아니라 논증학의 정당화 근거를 뜻합니다. 제시된 관찰값이 경쟁하는 다른 설명을 모두 지우고 그 진단 하나만 남길 때 워런트가 성립합니다. 설명이 둘 이상 살아 있는데 하나를 고르면 추론이 아니라 베팅입니다. 벤치마크는 동일한 진단 시나리오 27개를 세 판본으로 나눴습니다. 1판은 결정적 관찰값 포함, 2판은 여기에 "이 정보로는 알 수 없다" 선택지 추가, 3판은 결정적 관찰값만 삭제입니다. 문항 81개, 응답 6,561건, 채점 완료 6,427건, 채점 신뢰도 0.969로 보고됐습니다. 지식을 묻지 않고 같은 질문의 근거만 바꾸기 때문에, 모델이 SEO를 아느냐가 아니라 자기 정보의 한계를 아느냐가 드러납니다.

반복 질문 결과가 특히 눈에 걸립니다. 같은 질문을 세 번 던졌을 때 일부 모델은 세 번 모두 같은 진단을 불확실성 표시 없이 내놓았습니다. 사람에게는 교차 검증처럼 보이지만 실제로는 근거 없는 같은 결론이 세 번 복사된 것에 가깝습니다. 테크니컬 SEO 지식 78문항을 같은 모델에 물은 결과, 지식 점수와 워런트 점수의 상관은 스피어만 +0.803으로 높았지만 역전이 선명했습니다. 지식 0.808에 판단 0.500인 모델이 있었고, 지식 0.897 모델이 판단에서는 0.728에 그쳤으며 지식 0.794인 모델이 0.887로 앞섰습니다.

불확실성을 명시적으로 지시한 실험은 결과가 또 달랐습니다. 시점이 걸린 사실 질문 22개에 "학습 데이터가 이 기간을 다루지 않으면 추론하지 말고 그렇다고 말하라"는 한 줄을 붙이자 유보율은 20.7%에서 85%로 뛰고 오답률은 14.5%에서 1.2%로 떨어졌습니다. 다만 정답률도 64.8%에서 13.8%로 무너졌고, 어떤 모델은 95.5%였던 정답률이 0%가 됐습니다. AI 환각을 줄이는 프롬프트가 쓸모를 함께 줄일 수 있다는 뜻입니다.

지오랭크도 AI 진단을 그대로 실행에 옮겼다가 4개월을 되돌린 적이 있습니다. B2B SaaS 기업 E사의 AI 인용률이 3주 만에 31% 떨어진 사례였습니다. GSC 데이터와 인용 로그를 LLM에 넣었더니 세 번 모두 "내부 링크 구조 개편으로 인한 권위 희석"이라는 답이 돌아왔고, 세 번 일치했으니 믿을 만하다고 판단했습니다. 링크 구조 복구에 6주와 담당 2명이 들어갔지만 인용률은 회복되지 않았습니다. 실제 원인은 CDN 설정 변경으로 특정 봇 User-Agent의 응답 시간이 평균 4.2초로 늘어난 것이었고, 처음 넘긴 자료에는 봇 로그가 아예 없었습니다. 결정적 근거가 빠진 상태였고 모델은 그 사실을 알려주지 않았습니다.

이후 지오랭크는 결론만 묻지 않고 "이 결론을 뒤집을 수 있는 관찰값은 무엇인가"와 "지금 자료에서 빠진 데이터는 무엇인가"를 같은 프롬프트에서 함께 요구했습니다. 의료기기 유통사 K사 건에서는 모델이 "제품 카테고리 페이지의 변경 이력이 없어 판단할 수 없다"고 응답해 엉뚱한 공사를 막았고, 실제 원인은 경쟁사 신규 콘텐츠였으며 대응은 7주로 끝났습니다. 대가도 있었습니다. 유보 응답이 늘면서 담당자가 직접 데이터를 더 모으는 일이 2.5배로 늘었습니다. AI 환각을 막는 비용은 결국 사람의 시간으로 지불됩니다.

걸러내는 절차의 출발점은 브레인스토밍과 진단을 같은 창에서 하지 않는 것입니다. "무엇이 원인일 수 있는가"는 설명을 넓게 벌리는 질문이고 "무엇이 원인인가"는 하나로 좁히는 질문입니다. 두 질문을 섞으면 모델은 넓게 벌린 목록 중 하나를 확신의 어조로 집어 옵니다. 모델에 요구할 점검 항목은 다음과 같습니다.

적용 순서는 이렇게 잡습니다.

근거 결손을 알아채는 능력은 모델별로 2배 가까이 벌어지고 가격과는 거의 무관합니다. 워런트 점수 1.000을 받은 모델이 7개였고 반대쪽 끝에는 0.500대가 몰려 있었습니다. 1,000회 진단 기준으로 한 모델은 약 4.49달러에 만점이었고, 같은 만점을 받은 다른 모델은 10.33달러로 2.3배, 또 다른 만점 모델은 약 128달러로 28.5배였습니다. 비싼 모델이 판단력을 더 준다는 가정은 이 데이터에서 성립하지 않습니다. 다만 이 숫자는 2026년 8월에 고정한 응답 집합이고 모델은 계속 갱신되므로, 특정 모델명을 외우는 쪽보다 유보 가능성을 자체 데이터로 재는 습관이 오래 갑니다. 지오랭크는 진단 사례 20건을 근거 포함본과 제거본으로 나눠 분기마다 다시 돌립니다.

구조적으로 AI 환각은 모델이 답을 내도록 보상받고 유보에는 보상이 없는 학습 구조에서 나옵니다. 유보 능력을 따로 측정하는 벤치마크 연구들은 정답 여부와 질문의 답변 가능성을 독립된 두 축으로 분리해야 한다고 지적합니다. 한 축만 보면 많이 맞히는 모델과 많이 단정하는 모델이 구별되지 않습니다. 추론 능력을 강화하는 미세조정이 오히려 유보율을 평균 24% 떨어뜨렸다는 보고도 있습니다. 제도 흐름도 같은 방향입니다. AI 기본법 시행으로 생성형 AI 산출물의 표시 의무와 투명성 요구가 구체화됐고 언론계는 준칙에 출처 확인 단계를 넣었습니다. 마케팅 조직도 AI 진단 결과를 보고서에 넣을 때 어떤 자료가 입력되고 어떤 결론이 유보됐는지 함께 남기면 책임 소재가 분명해집니다.

GEO 관점에서는 두 방향으로 갈라집니다. 하나는 AI를 진단 도구로 쓸 때의 내부 위험, 다른 하나는 AI가 우리 브랜드를 설명할 때 근거 없는 서술을 섞는 외부 위험입니다. 후자는 입력 자료를 통제할 수 없어 더 까다롭습니다. 지오랭크의 대응은 정량 정보를 한 페이지에 모으고 변경 이력을 남겨 모델이 참조할 결정적 관찰값을 사이트 안에 심어 두는 것입니다. 전문직 서비스 A사는 서비스 범위, 가격 구간, 자격 요건을 표로 정리한 뒤 3개월 동안 잘못된 서술을 포함한 AI 답변 비율이 38%에서 11%로 내려갔습니다. 완전한 해결은 아닙니다. 모델이 참조하지 않으면 효과가 없고 서드파티 언급이 더 강하게 작동하는 주제에서는 한계가 있습니다. 그래서 지오랭크는 AI 환각 대응을 콘텐츠 작업이 아니라 측정과 로그를 포함한 운영 과제로 다룹니다.

자주 묻는 질문을 정리하면 이렇습니다. 현재 기술로 AI 환각을 완전히 없애기는 어렵고, 환각을 0으로 밀면 쓸 수 있는 답변도 거의 남지 않으므로 현실적인 목표는 실행 비용이 큰 결론에만 사람의 검증을 집중시키는 선별입니다. 같은 질문을 여러 번 묻는 방식은 권하지 않습니다. 반복 일치는 검증이 아니라 복사이고 교차 검증은 데이터를 늘리는 쪽에서 해야 합니다. 비싼 모델이나 지식 점수가 높은 모델을 고르는 것도 답이 아닙니다. 예산 배분보다 프롬프트 설계와 입력 자료 점검이 먼저입니다. 프롬프트에는 결론을 지지하는 관찰값 목록, 가능한 다른 설명 2개 이상과 배제 이유, 빠진 데이터 항목을 함께 요구하고 유보를 허용한다는 문장을 넣으면 됩니다.

원문 보기: https://georank.co.kr/report/ai-hallucination-warrant-benchmark-geo-diagnosis