경제학자가 5배 빨라졌다. 하지만 퀄리티는?

들어가며

구독자님, 최근 경제학계에 흥미로운 풍경이 펼쳐지고 있어요. 다트머스 대학의 Paul Novosad 교수는 AI 덕분에 실제 연구 질문을 고민하는 데 쓸 수 있는 시간이 5배로 늘었다고 말해요. ETH 취리히의 Elliott Ash 교수는 생산성 향상이 너무 신나서 오히려 더 일하고 싶어졌다고 하고요.

한편 경제학 소셜 미디어에서는 AI로 생성한 저품질 콘텐츠 — 이른바 'AI 슬롭(slop)' — 에 대해 "제발 그만하라"는 경고가 나오고 있어요. FT 칼럼니스트 팀 하포드(Tim Harford)는 이 양면을 정면으로 다뤘는데요. 저는 그의 분석에서 한 발짝 더 나가, 이 현상이 경제학만의 문제가 아니라 지식 생산 전반의 구조적 전환이라는 점을 짚어보려고 해요.

AI가 바꾸고 있는 세 가지: 생산성, 범위, 검증

팀 하포드는 AI가 경제학을 바꿀 수 있는 경로를 세 가지로 정리했어요. 하나씩 살펴볼게요.

1. 생산성 — "잡무에서 해방된 경제학자"

데이터 정제, 연구비 신청서 작성, 표 서식 정리 같은 작업은 경제학자의 시간을 갉아먹는 대표적인 잡무예요. AI는 이런 작업을 상당 부분 자동화해줘요. Novosad 교수가 말한 '5배'라는 수치는 연구 자체가 5배 빠르다는 뜻이 아니라, 사고할 수 있는 시간이 5배로 늘었다는 의미예요.

그런데 흥미로운 건, 이 생산성 향상이 아직 눈에 보이는 결과로 이어지지 않고 있다는 거예요. American Economic Review의 에르초 루트머(Erzo Luttmer) 편집장에 따르면, 투고 논문의 약 25%가 AI 사용을 공시하고 있지만 — 대부분 편집이나 프로그래밍 보조 — 투고 품질이 눈에 띄게 달라지지는 않았다고 해요.

하포드는 직접 AI 에이전트를 활용해 NBER^[1]​ 워킹페이퍼의 초록을 분석했어요. ChatGPT 출시 이후 평균 문장 길이는 줄었지만 이전 추세의 연장선이었고, 오히려 단어 복잡도는 상승했어요. 엘리트 저널들의 투고 건수도 기존 추세 대비 뚜렷한 변화를 잡아내기 어려웠고요. 더 빨라졌는데 더 나아지지는 않은 것이에요.

2. 범위 — "측정할 수 없던 것을 측정하다"

생산성보다 더 흥미로운 변화는 연구 범위의 확장이에요. 정성적 정보(qualitative data)는 수집 비용이 높고 체계적 분석이 어려웠어요. 하지만 이제 경제학자들은 AI를 통해 용도지역 규제의 효과를 측정하고, 어려운 채용 면접이 미치는 영향을 분석하고, 기업 실적 발표를 대규모로 탐색해 관세 대응 패턴을 찾아내고 있어요.

예측 분야의 진전도 주목할 만해요. 국제결제은행(BIS)은 올해 3월 BISTRO라는 거시경제 시계열 예측 범용 모델을 공개했어요. 트랜스포머 아키텍처^[2]​ 기반인 이 모델은, 기존 계량모델과 달리 특정 과제에 맞춰 설계할 필요가 없어요. BIS는 이 모델이 2021~2022년 인플레이션의 지속성을 정확히 예측했을 것이라고 밝혔어요 — 당시 대부분의 전통적 모델은 "평균으로 회귀할 것"이라고 기계적으로 예측해 크게 빗나갔거든요.

3. 검증 — "오류를 잡는 AI, 오류를 만드는 인간"

세 번째 가능성이 가장 미묘하고, 가장 중요해요. AI가 연구의 오류를 걸러내는 데 도움을 줄 수 있을까요?

노스웨스턴 대학의 벤 골럽(Ben Golub) 교수가 공동 창업한 Refine.ink이라는 도구가 있어요. AI 기반의 논문 리뷰 시스템인데, 수학적 오류, 실증 전략의 허점, 논리적 일관성 문제를 체계적으로 검출해요. 골럽 교수에 따르면, 상위 저널의 심사를 통과한 논문에서도 최소 3분의 1 이상에서 문제를 발견하고 있다고 해요. 시카고 대학의 존 코크레인(John Cochrane) 교수는 자신의 인플레이션 연구서를 Refine에 넣어보고, "40년 학자 생활에서 받아본 최고 수준의 코멘트"라고 평가했어요.

경제학 5대 저널 중 여러 곳이 이미 Refine을 실험적으로 도입하고 있어요. 특히 조건부 게재 승인 직전, 최종 점검 단계에서의 활용이 가장 자연스럽다고 해요 — 저자가 출판 후 부끄러울 수 있는 실수를 미리 잡아주는 거죠. (유사한 서비스는 많아요. 그중에서 제가 써본 것은 한국인이 만든 https://jenni.ai/ 라는 서비스를 추천해요.)

진짜 질문: 속도의 군비경쟁

여기까지 보면 AI는 경제학에 꽤 좋은 소식인 것 같아요. 하지만 하포드가 던지는 핵심 질문이 있어요:

"AI가 오류를 찾는 속도가, 인간이 오류를 찾기를 포기하는 속도보다 빠를 수 있을까?"

이건 단순한 수사적 질문이 아니에요. ICLR 2025(국제 머신러닝 학회)에 제출된 리뷰 7만 건을 분석한 결과, 약 21%가 처음부터 끝까지 AI로 작성된 것으로 추정됐어요. 편집을 도운 게 아니라, 통째로 LLM이 쓴 심사 보고서가 다섯 편 중 한 편이었다는 뜻이에요. 경제학 저널에서도 벌써 "부끄러울 정도로 대충 만든 AI 심사 보고서"가 제출되고 있다는 이야기가 돌고 있어요.

문제의 구조를 정리하면 이래요:

이건 경제학에서 말하는 전형적인 도덕적 해이(moral hazard)^[3]​ 구조예요. 안전장치가 생기면 사람들이 더 위험하게 행동하는 거죠 — 에어백이 달리면 과속하는 것처럼요.

오스왈드의 시선

생산성 도구가 결과물의 품질로 직결되는 경우는 생각보다 드물었어요. 엑셀이 등장했을 때 더 좋은 분석이 나올 거라 기대했지만, 실제로 늘어난 건 '더 많은 스프레드시트'였거든요. 파워포인트가 발표의 질을 올렸다고 말하기 어려운 것처럼요.

AI도 같은 패턴을 밟고 있다고 느껴요. 생산성 도구는 기존에 잘하던 사람을 더 잘하게 만들어주지만, 기존에 대충하던 사람도 더 많이 대충하게 해줘요. 벤 골럽 교수 본인도 인정한 부분이에요 — 자기 논문에서조차 "AI가 쓴 섹션이 진짜 작업처럼 보이게 끼어드는" 경험을 했다고요.

제가 주목하는 건, Refine 같은 도구가 단순히 "오류 검출기"를 넘어 학술 품질의 새로운 기준선(baseline)을 만들 수 있느냐예요. 모든 논문이 제출 전에 AI 리뷰를 거치는 세상이 되면, 인간 심사자는 AI가 잡지 못하는 — 독창성, 이론적 기여, 맥락적 판단 — 에 집중할 수 있어요. 이건 위협이 아니라 분업의 재설계가 될 수 있어요.

다만, 그 전환기에 "슬롭의 홍수"를 버텨내야 한다는 게 문제예요. 지금은 그 한복판이에요. 말 그대로 쏟아지는 AI 콘텐츠의 홍수에서 살아남기를... 해야하는 거죠. 그게 숏츠건, 블로그 글이건, 논문이건 말이죠.

마치며

AI는 경제학자의 잡무를 줄이고, 연구 범위를 넓히고, 오류를 잡는 데 기여하고 있어요. 하지만 아직 "더 많은 연구"가 "더 나은 연구"로 이어졌다는 증거는 약해요. 그리고 오류를 잡아주는 AI와, 오류를 더 빠르게 양산하는 AI가 같은 기술이라는 아이러니가 있어요.

이건 경제학만의 문제가 아니에요. 코드 리뷰, 법률 문서 검토, 의료 진단 보조 — AI가 검증 역할을 맡는 모든 분야에서 같은 질문이 반복될 거예요: 안전망이 생기면, 사람은 더 주의 깊어질까, 아니면 더 부주의해질까?

이 주제가 더 궁금하시다면, BIS의 BISTRO 모델 논문과 Refine.ink와 같은 서비스를 직접 살펴보시길 추천해요. 특히 Refine은 무료 체험판이 있어서, 자신의 글이나 보고서를 넣어보는 것만으로도 AI 검증의 수준을 체감할 수 있어요.

참고자료 & 더 읽기

핵심 출처

배경 지식

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 KBMA와 기술경영전문대 석사과정을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.