AI의 거짓말, 책임은 누가 지죠? 실패하는 AI 프로젝트의 공통점

안녕하세요 구독자님, 텀타입니다.

요즘 기업에서 AI는 단순히 보조 도구를 넘어, 실제 의사결정에 직접 영향을 주는 단계까지 들어왔습니다. 챗봇이 고객을 응대하고, 광고 예산은 자동으로 배분되며, 데이터는 AI가 먼저 해석합니다.

그런데 여기서 한 가지 질문이 생깁니다.

🤔 “AI가 틀린 판단을 하면, 그 책임은 누구에게 있을까요?”

오늘 뉴스레터를 끝까지 읽으시면

✔︎ AI가 틀릴 수밖에 없는 구조적인 이유와

✔︎ 실제 기업이 법적 책임까지 지게 된 사례,

✔︎ 그리고 AI 프로젝트가 실패하는 진짜 원인과 해결 방향까지

실무 관점에서 명확하게 가져가실 수 있습니다.

🤖 AI는 틀리지 않는다, 대신 ‘데이터를 그대로 믿는다’

AI는 생각보다 단순합니다. 들어온 데이터를 그대로 ‘사실’로 받아들이고, 그 위에서 가장 그럴듯한 결론을 만들어냅니다.

문제는 이 과정에서 AI는 데이터를 의심하지 않는다는 점입니다.

이건 마치 내비게이션과 비슷합니다. 길 찾는 알고리즘은 완벽해도, 현재 위치가 잘못 입력되면 결과는 반드시 틀립니다.

AI도 똑같습니다. 모델이 아무리 정교해도, 입력 데이터가 어긋나 있으면 결과 역시 논리적으로 ‘틀리게 맞는 답’을 만들어냅니다.

그래서 AI 시대에는 성능보다 더 중요한 질문이 하나 생깁니다.

“AI가 내린 이 판단, 그 근거가 되는 데이터는 정말 믿을 수 있을까?”

⚖️ AI의 실수, 결국 기업이 책임진다

이 문제가 단순한 분석 오류로 끝나지 않는 이유는, 실제 비즈니스 리스크로 이어지기 때문입니다.

대표적인 사례가 에어캐나다 챗봇 사건입니다.

가족 장례식 참석을 위해 항공권을 알아보던 한 고객이 유족 할인을 문의했을 때, 챗봇은 “정가로 먼저 결제한 뒤, 90일 이내에 신청하면 차액을 환불받을 수 있다”고 안내했습니다.

하지만 실제 내부 규정은 정반대였습니다. 사후 환불은 불가능했죠.

이 안내를 믿고 항공권을 구매한 고객은 결국 소송을 제기했고, 에어캐나다는 “챗봇이 한 말이기 때문에 회사의 책임은 아니다”라고 주장했습니다.

하지만 이 주장은 받아들여지지 않았습니다.

재판부는 챗봇 역시 기업이 운영하는 시스템의 일부이며, 고객에게 전달된 정보라면 그 방식이 무엇이든 기업이 책임을 져야 한다고 판단했습니다. 고객 입장에서는 웹사이트에 적힌 정보든, 챗봇이 말한 내용이든 구분할 이유가 없기 때문입니다.

결국 에어캐나다는 운임 차액과 이자까지 모두 배상하게 됐습니다.

AI가 틀린 답을 내놓더라도 그 책임은 기업이 지게 된다는 걸 잘 보여주는 사례입니다.

그리고 이런 문제가 발생한 배경에는, AI 데이터 모델 자체의 문제가 아니라 내부 정책과 챗봇에 연결된 데이터가 서로 어긋나 있었던 상황이 있었습니다.

🧩 실패하는 AI 프로젝트의 공통점은 따로 있다

앞선 사례와 같은 데이터 정합성의 오류는 특정 기업만의 예외적인 문제가 아닙니다. 실제로 많은 AI 프로젝트가 같은 이유로 멈추고 있습니다. 많은 기업이 AI 프로젝트가 실패하는 이유를 ‘모델 성능’에서 찾지만, 실제 원인은 전혀 다른 곳에 있습니다.

가트너의 최신 리포트에 따르면 생성형 AI 프로젝트의 절반 이상이 중단되는데, 그 주요 원인은 다음과 같은 요소들입니다.

즉, AI 프로젝트는 기술의 문제가 아니라 데이터와 기준이 정리되지 않은 상태에서 시작됐기 때문에 실패하는 경우가 훨씬 많습니다.

Garbage In, Garbage Out이라는 말처럼 입력이 잘못되면 결과는 반드시 잘못될 수밖에 없습니다.

🧱 고연봉 데이터 전문가가 ‘엑셀 정리’만 하는 이유

이렇게 데이터가 맞지 않는 상태에서 AI를 도입하면, 문제는 자연스럽게 다음 단계로 이어집니다. 결국 누군가는 그 어긋난 데이터를 직접 맞춰야 하기 때문입니다.

실제로 많은 기업에서 데이터 전문가들은 ‘분석’보다 ‘정리’에 훨씬 더 많은 시간을 쓰고 있습니다. 조사에 따르면 업무 시간의 약 60%는 데이터 정리와 구조화에, 19%는 데이터 수집에 사용한다고 합니다. 즉, 전체 업무의 약 80%가 인사이트를 만드는 일이 아니라, 분석을 하기 위한 ‘준비 작업’에 쓰이고 있는 셈입니다.

왜 이런 일이 반복될까요?

가장 큰 이유는 데이터를 만드는 조직과 사용하는 조직 사이에 공통된 기준이 없기 때문입니다. 같은 ‘매출’이라는 지표를 두고도 영업팀은 ‘예약’을 기준으로 보고, 재무팀은 ‘회계 인식’을, 마케팅팀은 ‘결제 완료’를 기준으로 삼는 상황이 흔하게 발생합니다.

이렇게 되면 데이터는 계속 쌓이지만, 서로 다른 기준 위에서 만들어진 값들이 뒤섞이게 됩니다. 겉보기에는 숫자가 맞는 것처럼 보여도, 실제로는 서로 충돌하는 정보가 되는 것이죠.

이 상태에서는 AI도 판단을 내릴 수 없습니다. 결국 마지막에는 사람이 엑셀을 열고 데이터를 하나씩 맞추는 방식으로 문제를 해결하게 됩니다.

고연봉의 데이터 전문가들이 모델을 고도화하기보다, 숫자를 맞추는 데 시간을 쓰게 되는 이유가 바로 여기에 있습니다. 데이터가 만들어지는 구조 자체가 정리되어 있지 않기 때문에, 분석 이전 단계에서 계속 발목이 잡히는 것입니다.

🧪 사후 수정은 이미 늦다, ‘사전 합의’가 답이다

이 상태를 그대로 두면 결국 조직은 같은 문제를 반복하게 됩니다. 데이터는 계속 쌓이지만, 그때마다 사람이 직접 맞추고 수정하는 방식으로는 근본적인 해결이 불가능하기 때문입니다.

이 문제를 끊으려면 접근 방식부터 바꿔야 합니다. 데이터를 나중에 고치는 것이 아니라, 처음부터 틀리지 않게 만드는 방식으로요.

여기서 등장하는 개념이 ‘데이터 계약(Data Contracts)’입니다.

쉽게 말하면 데이터를 만드는 팀과 사용하는 팀이 “이 형식과 기준으로만 데이터를 주고받자”라고 미리 약속하는 구조입니다.

이 방식의 핵심은 데이터를 사용하는 단계가 아니라, 생성되는 단계에서부터 기준을 고정하는 데 있습니다. 예를 들어 개발팀이 데이터 구조를 변경할 때 그 영향이 분석 단계까지 어떻게 이어지는지 미리 공유하고, ‘매출’처럼 핵심 지표의 정의도 부서마다 다르게 해석되지 않도록 처음부터 맞춰두는 식입니다.

이렇게 사전에 기준이 정리되면, 이후에는 데이터를 다시 해석하거나 맞추는 과정 자체가 크게 줄어듭니다. 실제로 데이터 준비 과정에서 소모되던 시간의 상당 부분이 이런 기준 불일치에서 발생하는데, 이를 미리 차단하면 수동 정제 작업을 60% 이상 줄일 수 있다는 분석도 있습니다.

비용 측면에서도 차이는 훨씬 큽니다. 데이터 오류는 발생한 뒤에 수정하려고 하면, 처음부터 예방할 때보다 최소 10배 이상의 리소스가 듭니다. 지금까지 많은 조직이 이미 쌓인 데이터를 뒤늦게 정리하는 데 비용을 써왔다면, 데이터 계약은 이 흐름을 뒤집어 애초에 오류가 발생하지 않도록 막는 방식에 가깝습니다.

결국 데이터 계약은 단순히 데이터를 정리하는 기술이 아니라, 조직 전체의 기준을 맞추고 불필요한 반복 작업을 줄이며, AI가 신뢰할 수 있는 데이터를 기반으로 작동하도록 만드는 ‘운영 방식의 변화’에 가깝습니다.

🔗 결국 문제는 ‘데이터 흐름’이다

정리해보면, AI 프로젝트가 실패하는 이유는 단순합니다.

모델이 나빠서가 아니라, 그 모델이 보고 있는 데이터가 일관되지 않기 때문입니다.

데이터가 생성되는 순간부터 정의, 구조, 흐름이 모두 맞춰져 있어야 그 위에 올라가는 AI도 제대로 작동합니다.

이건 건물을 짓는 것과 같습니다. 기초 공사가 틀어진 상태에서 아무리 좋은 자재를 써도 건물은 결국 무너집니다.

AI도 마찬가지입니다. 데이터라는 기초가 흔들리면, 결과 역시 신뢰할 수 없습니다.

🎯 전략가는 이제 ‘정리’가 아니라 ‘해석’에 시간을 써야 한다

결국 데이터의 목적은 단순히 쌓는 것이 아니라, 더 빠르고 정확한 의사결정을 가능하게 만드는 데 있습니다. 하지만 현실에서는 여전히 많은 조직이 데이터를 해석하기보다 정리하는 데 더 많은 시간을 쓰고 있습니다.

이 구조가 바뀌지 않으면 문제는 반복됩니다. AI는 계속 어긋난 데이터를 기반으로 판단을 내리게 되고, 실무자는 그 결과를 쉽게 신뢰하지 못한 채 다시 데이터를 확인하게 됩니다. 그렇게 의사결정은 점점 느려지고, 결국 중요한 타이밍을 놓치게 됩니다.

반대로 데이터가 만들어지는 단계부터 기준이 정리되어 있다면 상황은 완전히 달라집니다. 불필요한 정제 과정 없이 바로 분석에 들어갈 수 있고, 의사결정 기준도 자연스럽게 일관성을 갖게 됩니다. 그때서야 AI는 단순한 자동화 도구를 넘어, 실제로 전략을 뒷받침하는 도구로 작동하기 시작합니다.

그래서 이제 중요한 질문은 하나로 정리됩니다.

“어떤 AI를 쓸 것인가?”가 아니라

“우리는 AI가 믿을 수 있는 데이터를 만들고 있는가?”

👉🏻 우리 조직 데이터 구조를 어떻게 바꿔야 하는지 궁금하다면?: ["AI의 거짓말, 책임은 누가 지죠?" 실패하는 AI 프로젝트의 공통점]

👩‍💻 무료 강의로 부담 없이 시작해 보세요!

처음부터 유료 강의를 듣기 망설여진다면, 텀타 아카데미의 무료 강의로 가볍게 시작해 보세요. 실무에 필요한 SQL 문법만 쏙쏙 골라 담았습니다.

📚 GA4, GTM에 대해 더 깊이 배우고 싶다면?

GTM과 GA4를 활용한 실전 분석법을 더 자세히 알고 싶다면 14년차 데이터 분석 전문가 헨리님의 그로스핏 아카데미의 강의도 추천해 드립니다.

📚 보다 자세하게 SQL로 고객 행동을 분석하고 싶다면? 

비즈니스 성장에 필요한 데이터 전문 아카데미! GA4, GTM, 데이터 시각화부터 SQL까지 현업에 바로 적용하는 실습형 강의를 제공합니다. 데이터 기반 의사결정을 위한 역량을 갖춰 보세요.