AI에게 '출처' 요구하고 안심하지 마세요

구독자님! 안녕하세요.

오늘은 지난 2025년 가을, 미국에서 실제로 있었던 일 하나를 먼저 전해드릴게요.

당시 미시시피주와 뉴저지주에서 일하는 판사 2명이 각각 확정한 판결문에, 실제로 존재하지 않는 판례들이 인용됐다가 뒤늦게 밝혀진 사건이 논란을 야기했는데요.

그들이 AI를 쓴 것 자체는 규정 위반이 아니에요. 하지만 신뢰가 생명인 판결문에 없는 판례가 버젓이 인용되고, 그것이 판결에도 영향을 미쳤다면? 사법기관의 정체성을 흔들 만큼 중대한 문제였죠.

이후 두 판사는 사과하면서도 비슷한 입장을 내놨습니다.

"AI로 자료를 만들어 자신들에게 제출한 어시스턴트들이 1차 원인"이라는 변명, 하지만 동시에 "최종 감독자인 나의 관리 실패였다"는 간접적인 인정이었습니다.

전문가도 속는데 우리는요?

이 사건의 시사점은 명백합니다. 법학을 전공하고 수십 년간 판결을 내려온 법 전문가들이 속았어요. AI가 만들어낸 판례가 그만큼 정교해졌다는 뜻입니다.

우리는 어떤가요? 학생이라면 숙제, 직장인이라면 보고서, 연구자라면 논문 자료까지. AI를 슬쩍 사용해 볼 일은 많지만 그 안에 그럴듯한 엉터리가 섞였다는 사실이 드러나는 순간, 그건 단순한 실수가 아니라 우리에 대한 신뢰 문제로 직결됩니다.

한마디로 AI에게 판단을 위임한 게 아니라 위험을 위임한 것이 되는 거예요.

저도 고백하자면, AI 전문기자 시절에 마감에 쫓기다 AI가 조사해온 외국어 자료들을 제대로 검증하지 않고 기사에 쓴 적이 있습니다.

물론 머릿속에선 "위험할 수도 있다"는 경종이 울렸지만, '제발 틀리지 마라!'를 속으로 외치며 그냥 넘어갔어요. 운 좋게 별일 없었습니다만, 그게 실력이 아니라 운이었다는 걸 지금은 압니다.

중요한 건 인간의 이런 귀차니즘 뿐만 아니라 신뢰에 보답해야 할 AI조차 '자신이 틀렸다는 사실을 모른다는 것'입니다. 아니, 틀릴 수 있어도 맞는 답을 내놓은 척 합니다.

실제로 AI는 모를 때도 일단 자신 있게 답하도록 설계돼 있어요. 늘 이야기하지만 AI가 만드는 모든 답은 현실과 자아 기반이 아닙니다. 그저 학습된 데이터를 조합할 때 확률상 '가장 그럴듯한 답'을 '가장 그럴듯한 말투로' 내놓는 구조거든요.

대신 말을 너무 잘 해서, 너무 그럴싸하게 생겨서 인간이 속는 거예요.

불과 3년 전인 챗GPT 등장 초기에야 "세종대왕이 맥북을 던지셨다" 같은 황당한 환각이 많았죠. 그 정도는 한국인이라면 누구나 엉터리임을 직감할 수 있어요. 그건 차라리 애교였죠. 그런데 지금은 다릅니다. 아주 정교하게, 오답이 정답 사이에 숨어 있는 경우가 비일비재해요.

그리고 우리는 이제 전문가도 그것을 쉽게 찾아내기 힘들게 됐죠.