RAG is Dead?

RAG is Dead? 단순 RAG는 진짜 쓰레기입니다

아직도 RAG 쓰고 계신가요?

요즘 AI 개발자들 사이에서 "RAG is Dead"라는 말이 돌고 있습니다. 맞기도 하고 틀리기도 합니다.

AI를 업무에 적용해보신 분들이라면 이미 느끼셨을 겁니다. "분명히 우리 내부 문서에 있는 내용인데, AI가 왜 모른다고 하지?"

오늘은 그 이유와, 그래서 어떻게 해야 하는지까지 말씀드리겠습니다.

RAG가 뭔지부터 짚고 가겠습니다

RAG를 모르시는 분들을 위해 간단히 설명드리겠습니다.

RAG는 AI한테 "이 문서들 참고해서 대답해"라고 하는 방식입니다. ChatGPT 같은 AI는 학습한 것만 압니다. 작년 뉴스도 모르고, 우리 회사 내부 문서는 당연히 모릅니다.

그래서 나온 게 RAG입니다. 관련 문서를 찾아서 AI한테 같이 넘겨주는 겁니다. "이 계약서랑 내규 참고해서 이 질문에 답해줘." 이런 식입니다.

이론상으로는 완벽해 보입니다. 근데 실제로 해보면 이야기가 달라집니다.

단순 RAG가 왜 안 되는가

RAG의 동작 방식은 이렇습니다.

먼저 문서를 잘게 자릅니다. 보통 몇백 단어 단위로 자릅니다. 그걸 AI가 이해하는 숫자 형태(임베딩)로 변환해서 데이터베이스에 저장합니다. 질문이 들어오면, 질문도 숫자로 변환해서 가장 비슷한 조각을 찾아냅니다.

문제는 문서를 자르는 그 순간부터 생깁니다.

예를 들어보겠습니다. 어떤 조각에 "마케팅 비용이 전분기 대비 15% 증가했다"고 써 있습니다. 근데 어느 회사인지, 몇 분기인지, 뭘 기준으로 15%인지 알 수가 없습니다.

책 한 페이지를 달랑 찢어서 주는 것과 같습니다. 앞뒤 문맥이 없으면 그 문장만으로는 아무 의미가 없습니다. 문서를 자르는 순간 맥락이 사라지는 겁니다.

그래서 실제로 써보면, 분명히 문서에 있는 내용인데 AI가 엉뚱한 답을 내뱉는 일이 태반입니다.

RAG를 아예 거부한 제품이 있습니다

흥미로운 케이스가 하나 있습니다.

Claude Code라는 AI 코딩 도구가 있습니다. 이 제품은 다른 AI 코딩 도구들과 크게 다른 점이 하나 있습니다. RAG를 안 씁니다.

대신 사람이 문서를 찾을 때 하는 방식 그대로 합니다. 검색 명령어로 파일을 뒤지고, 필요한 부분을 찾습니다. 이걸 AI가 직접 합니다.

코드 파일이 1만 줄짜리라고 해보겠습니다. RAG 방식이었으면 이걸 어떻게 잘라서 저장할지 고민해야 합니다. Claude Code는 그냥 처음 몇 줄만 읽습니다. 구조가 파악되면 끝입니다. 더 필요하면 더 읽습니다. 사람이 낯선 문서를 처음 볼 때 하는 방식과 같습니다.

여기서 핵심적인 차이가 있습니다.

RAG의 실패는 숨겨진 실패입니다. 문서를 어떻게 자를지, 어떤 검색 방식을 쓸지, 이 결정 하나하나가 전부 숨겨진 리스크입니다. 잘못 선택하면 왜 틀렸는지도 모릅니다.

AI가 직접 탐색하는 방식은 실패가 눈에 보입니다. "이 파일에서 못 찾겠습니다"라고 하면 바로 알 수 있습니다.

AI가 똑똑해질수록 같이 좋아지는 구조

더 중요한 게 있습니다.

AI가 직접 탐색하는 방식은, AI 모델이 똑똑해질수록 자동으로 같이 좋아지는 구조입니다. RAG 파이프라인을 아무리 정교하게 만들어도 그건 고정된 시스템입니다. 근데 AI 직접 탐색은 모델이 업그레이드되면 탐색 능력도 같이 올라갑니다.

누군가 이런 비유를 했습니다.

"이건 자율주행의 카메라 vs 라이다 논쟁과 같다."

테슬라는 카메라만 씁니다. 구글 웨이모는 라이다를 답니다. 라이다가 더 정밀하고 카메라가 불안정하다는 건 누구나 압니다. 근데 테슬라는 카메라만으로도 엄청난 주행 데이터로 학습해서 점점 따라잡고 있습니다.

RAG가 라이다입니다. 정확한 것 같지만 복잡하고, 확장하기 어렵고, 부품 하나에 문제가 생기면 전체가 흔들립니다.

AI 직접 탐색이 카메라입니다. 단순하고, AI가 발전할수록 자동으로 좋아집니다.

제대로 하려면 얼마나 어려운가

그러면 RAG를 제대로 하려면 어떻게 해야 하는가.

일단 검색을 두 가지 방법으로 동시에 해야 합니다.

하나는 의미 기반 검색입니다. "매출 증가"라고 물어봐도 "수익 상승"이 담긴 문서를 찾는 방식입니다. 하나는 키워드 기반 검색입니다. "삼성전자"라고 물어보면 그 단어가 있는 문서를 찾습니다. 둘 다 써야 제대로 된 검색이 됩니다. 이걸 hybrid search라고 합니다.

여기에 한 단계를 더 추가합니다. 검색 결과를 다시 한번 전문 AI가 검토해서 진짜 관련 있는 것만 골라내는 과정입니다. 이걸 reranking이라고 합니다.

여기서 끝이 아닙니다. 아예 문서들 사이의 관계를 지도처럼 만들어두는 방법도 있습니다. "A 문서가 B 문서를 인용하고 있고, C 문서와 관련있다"는 관계를 미리 다 정리해두는 겁니다. 이걸 GraphRAG라고 합니다.

성능은 좋습니다. 근데 구축 비용이 많이 들고, 문서가 추가되거나 수정될 때마다 관계도를 다시 그려야 합니다.

솔직히 여쭤보겠습니다. 여러분 회사에 이걸 다 구축하고 유지보수할 인력이 있으신가요? 스타트업이나 중소기업이라면 사실상 불가능합니다.

통째로 넣는 게 현실적 대안이 됩니다

요즘 주목받는 방식이 있습니다.

AI가 한 번에 처리할 수 있는 정보의 양을 컨텍스트 윈도우라고 합니다. 쉽게 말하면 AI의 "작업 책상 크기"입니다. 이게 3년 사이에 250배 커졌습니다.

이게 RAG와 무슨 상관이냐.

문서가 길지 않으면 자르지 말고 그냥 통째로 다 집어넣는 게 차라리 낫습니다. 복잡한 시스템 없이, 자르는 문제 없이, 맥락 끊김 없이. 문서 전체를 그대로 보니까 훨씬 정확한 답이 나옵니다.

당연히 한계가 있습니다.

첫째, 비용입니다. 책 수십 권 분량을 AI한테 보낼 때마다 요금이 나갑니다. 연구 결과에 따르면 통째로 넣는 방식이 RAG보다 최대 82배 비쌀 수 있습니다.

둘째, 기업 데이터는 훨씬 방대합니다. 책 수십 권이면 많은 것 같지만, 대기업 내부 문서, 고객 상담 이력, 계약서들을 합치면 수십만 건입니다. 다 집어넣을 수가 없습니다.

셋째, AI도 긴 글을 읽으면 중간 부분을 흘려봅니다. 스탠포드 연구팀이 밝혀낸 건데, AI도 사람처럼 긴 내용을 처리하면 처음과 마지막은 잘 기억하는데 중간 부분은 흘려버리는 경향이 있습니다. 성능이 30% 이상 떨어진다고 합니다.

Anthropic이 제안한 방법

Anthropic이 흥미로운 방법을 하나 발표했습니다.

아이디어는 단순합니다. 문서를 자르기 전에, 그 조각이 전체 문서에서 어떤 위치인지 설명을 붙여주는 겁니다.

예를 들어 "마케팅 비용이 15% 증가했다"는 조각이 있으면, 거기에 "이 내용은 A기업 2024년 3분기 실적 보고서에서 마케팅 지출 변화를 다루는 섹션의 일부입니다"라는 설명을 앞에 붙입니다. 그리고 나서 저장합니다.

이렇게 하면 조각을 잘라도 원래 맥락이 같이 따라다닙니다. 책 페이지를 찢더라도, 페이지 위에 "이 책 3장, 마케팅 비용 분석 파트"라고 써놓는 것과 같은 원리입니다.

실제로 Anthropic 실험에서 검색 실패율이 67% 줄었다고 발표했습니다.

한 걸음 더 나아가는 방법

여기서 제가 직접 사용해서 효과적이었던 방법을 하나 더 말씀드리겠습니다.

PDF 문서를 단락 단위로 나눈다고 해보겠습니다. 보통은 이 단락 내용을 그대로 데이터베이스에 저장합니다.

근데 이걸 뒤집습니다.

AI로 각 단락을 먼저 요약합니다. 그 요약문과 소제목을 묶어서 검색용으로 저장합니다. 검색할 때는 이 가볍고 핵심만 담긴 요약본으로 찾습니다. 찾고 나서 AI에게 전달할 때는 요약이 아니라 원본 단락 전체를 줍니다.

검색은 요약본으로 빠르고 정확하게. 읽기는 원문으로 깊고 정확하게.

도서관 목록 카드로 책을 찾고, 실제로는 책 본문을 읽는 것과 같은 원리입니다.

결국 뭐가 정답인가

정리하겠습니다.

단순히 문서를 잘라서 저장하는 RAG는 성능이 안 나옵니다. 지금 쓰고 계시다면 반쯤은 포기하고 쓰시는 겁니다. 제대로 된 RAG를 구축하려면 인력이 너무 많이 필요합니다.

그 중간 어딘가에 실용적인 해법이 있습니다.

RAG is Dead가 아닙니다. 단순 RAG가 퇴물이 되고 있는 겁니다. 제대로 하려면 훨씬 더 정교해져야 한다는 게 지금 업계 현실입니다.

여러분은 지금 어떤 방식을 쓰고 계신가요? 내부 문서를 AI에 연결해보셨던 분들, 어떤 어려움을 겪으셨는지 알려주시면 감사하겠습니다.