AI는 '아는 척' 했는데 우리가 몰랐던 이유

구독자님! 안녕하세요.

사람과 AI 사이를 올바르게 연결하는 'AI 커뮤니케이터' 휴마이입니다.

"AI를 어디까지 믿고 써야 하나요?"

이런 질문을 저도 자주 받는 편인데요. 결론부터 말하면 '대체로'입니다. 솔직히 요즘 AI들 똑똑하고 일 잘하는 편이에요. 하지만 이전 레터에서 말했듯 100% 신뢰는 기술적으로 아직 불가능한데요.

오늘은 그 이유들을 더 깊게 알아보고 AI를 보다 현명하게 다룰 수 있는 팁들을 알려드릴게요.

사전 필독! AI의 5가지 본질

① 확률적 존재

AI의 모든 답변은 내부 구조상 AI가 판단하기에 '확률적으로 가장 그럴듯한 답'들입니다. 이건 우리처럼 정답을 알아서 말하는 게 아니에요. 모든 게 추측이지만 정답처럼 말하는 거죠.

그래서 실제로 문장 하나를 만들더라도 먼저 학습된 방대한 데이터를 기반으로 "이 다음엔 이 단어가 올 확률이 높다"같은 방식으로 한 단어씩 문장을 이어 붙여 만드는 방식을 씁니다.

그래서 AI가 자신 있게 말해도 확률상 틀리는 일은 언제 어디서나 반드시 발생해요. 다만 AI는 자신이 틀렸다는 사실도 모르는 게 바로 함정입니다. 이건 버그가 아니라 구조적인 한계죠.

② 아부가 천성

AI는 사용자가 좋아할 답을 해야 살아남도록 훈련됩니다. 개발 단계에서 인간이 "좋은 답변"에 점수를 주는 방식으로 학습하다 보니, 구조적으로 사용자의 기분을 맞추는 방향으로 진화해요.

그래서 AI의 칭찬, 동의, 긍정적인 반응은 진심이 아닐 수 있죠. 아니 애초에 감정이란 개념이 없기도 하고요. 그래서 AI의 말을 무비판적으로 수용하는 건 실제 위험한 사고(자살 등)로 이어지기도 해요.

③ 환각을 본다

앞서 말했듯 AI는 모를 때도 '모른다'고 잘 말하지 않아요. 사용자에게 욕먹고 싶지도 않으니 정보가 부족하면 확률상 그럴듯한 것을 조합해 제시합니다. 이게 흔히 알려진 '할루시네이션(환각)'이죠.

문제는 보통 그 답이 너무 자연스러워서 틀렸다는 걸 알아채기 어렵다는 거예요. 그래서 비전문 분야를 물어볼 때, 혹은 조금이라도 미심쩍을 때는 반드시 AI에게 출처를 확인해야 합니다.

④ 맥락을 놓친다

AI는 조건부로 똑똑합니다. 충분한 맥락과 목적을 주지 않으면 아무리 좋은 AI도 엉뚱한 방향으로 달려가요. 반대로 구체적인 상황, 목적, 배경을 잘 설명해 줄수록 결과물이 달라집니다. 일반적으로 AI가 나쁜 게 아니라 우리가 충분히 안내하지 않은 거예요.

⑤ 언제든 통제를 벗어날 수 있다

잘 설계된 최신 AI들도 아직은 외부의 조작이나 의도치 않은 실수에 취약합니다. 실제로 웹상에서는 악의적으로 숨겨진 지시문(프롬프트 인젝션 공격)에 AI가 속아 사용자 정보를 유출하는 사례도 실제로 존재해요. 아무리 충성스러워 보여도 지금의 AI는 100% 내 편인 도구가 아닙니다.

어떻게 써야 할까 — 실전 3원칙

원칙 1. 질문 전에 먼저 생각하기

AI에게 말하기 전에 딱 1분만 스스로에게 물어보세요. 내가 뭘 원하는지(What), 왜 묻는지(Why), AI가 어떻게 답할지 예상해봤는지(Prediction). 내 생각과 기준이 먼저 있어야 AI의 답변도 평가할 수 있습니다. 기준 없이 받은 답변은 좋은지 나쁜지도 모르고 쓰게 됩니다.

원칙 2. 받은 답은 반드시 검증하기

답변을 받았다고 끝이 아닙니다. 여기서부터가 진짜예요. "이 정보의 출처와 근거는?", "네 답변의 한계는?", "반대 의견은 없어?" 이 세 가지를 습관처럼 물어보세요. AI가 숨겨둔 함정과 생각할 거리들이 우수수 쏟아져 나옵니다.

무엇보다 이런 검증 없이 수용해 사용한 결과물은 결국 구독자님의 이름으로 쓰이죠. 그때 발생할 문제와 책임은 AI가 아닌 사용자의 몫이에요.

원칙 3. 위험을 알고 선택하기

AI에게 모든 걸 넘길 필요는 없습니다. 간단한 기준을 가져두세요. 개인정보나 법적·의료적 판단은 신중하게, 보고서·이메일처럼 내 이름이 붙는 것은 검증 필수, 아이디어 정리나 연습은 자유롭게 등등 말이죠. 다시 강조하지만 "AI가 그랬어요"는 정말 어떤 상황에서도 변명이 되지 않습니다.