2026년도 이제 중반을 넘었습니다. 지난 7월을 돌아보면 새 모델이 쏟아졌습니다. 7월 9일 GPT-5.6(Sol·Terra·Luna), 16일 Kimi K3, 24일 Claude Opus 5. 6월에 나온 Fable 5까지 더하면 프론티어 라인업이 한 분기 만에 통째로 갈아엎어진 셈입니다. 글로벌 리더보드는 지금도 엎치락뒤치락하고 있습니다.
그런데 저는 이 표를 보면서 예전 같은 흥분이 들지 않았습니다. 점수는 분명히 올랐는데 손끝에 닿는 감각이 따라오지 않습니다. GPT-5.5가 5.6이 되고 Opus 4.8이 5가 될 때 우리가 체감하는 지능의 상승분은, 솔직히 말해 이제 거의 와닿지 않습니다.
흥미로운 건 이번 발표들 자체가 이미 그 신호를 보내고 있다는 점입니다. Opus 5는 "가장 똑똑한 모델"로 소개되지 않았습니다. Anthropic의 최상위는 여전히 Fable 5이고, Opus 5는 그에 근접한 성능을 절반 가격($5/$25 vs $10/$50)에 낸다는 포지션으로 나왔습니다. 발표문에서 가장 많이 인용된 표현도 벤치마크 절대값이 아니라 '태스크당 비용'이었습니다.
업계의 흐름이 최고 성능 경쟁에서 가성비 경쟁으로 바뀌는 것 같다는 느낌을 받습니다. 그리고 우리는 이 패턴을 자동차 산업에서 먼저 한번 본 적이 있습니다.
최강의 엔진은 아무도 기억하지 않습니다
현존하는 가장 강력한 엔진은 107,390마력을 냅니다. 이름을 아는 분은 거의 없으실 겁니다. 그럴 만합니다. 이 엔진은 애초에 자동차에 들어가지 않습니다. 핀란드 Wärtsilä가 만든 선박용 디젤 엔진으로, 높이 13.5m에 무게 2,300톤, 피스톤 하나가 5.5톤입니다. 컨테이너선을 미는 물건이죠.
우리가 이 엔진의 이름을 모르는 것은 너무나도 당연합니다. 우리의 일상 생활과는 아무런 연관이 없기 때문입니다. 그렇다면 자동차의 경우에는 어떨까요? 현존하는 가장 강력한 자동차 엔진의 이름은 알고 계신가요? 이번에도 아마 마찬가지일 것입니다. 굳이 답을 드리자면 BYD 양왕 U9 Xtreme으로, 약 2,977마력에 최고속도 496km/h로 부가티의 기존 기록을 넘어섰습니다. 그리고 30대만 만들어졌습니다.
우리가 이렇게 "엔진"에 무관심한 것은 우리가 자동차를 구매하는 근본적인 이유인 "이동"에 엔진의 이름이 기여하는 바가 거의 없기 때문입니다. 우리가 자동차에 실제로 요구하는 것은 매일 아침 시동이 걸리는 것, 목적지까지 데려다주는 것, 그리고 브레이크가 매번 작동하는 것입니다. 최고 출력은 이 목록의 한참 아래에 있거나, 아예 목록에 없습니다. 엔진의 성능 경쟁은 이제 "그들만의 리그"로 넘어갔고, 절대 다수는 자신이 운행하는 차가 몇마력인지도 관심이 없습니다.
가장 널리 쓰이는 엔진은 도요타가 만든다.
한편, 전세계에서 가장 많이 사용되는 엔진을 만드는 회사는 따로 있습니다. 바로 도요타입니다. 코롤라 한 차종만 놓고 보면 1966년 출시 이후 5,000만 대가 팔렸습니다. 2위인 포드 F-시리즈(약 3,970만 대)와 1,000만 대 넘게 벌어져 있는, 인류가 만든 가장 많이 팔린 자동차입니다.
코롤라에는 M20A-FKS이라는 이름의 169마력짜리 엔진이 들어갑니다. "최강의 엔진"과는 아주 거리가 먼 엔진이죠. 그러나 사람들이 원하는 것은 바로 이 엔진이었습니다. 매일 아침 시동이 걸리고, 20만 km를 넘겨도 버티고, 기름값이 덜 드는 엔진. 다른 말로는 내구도와 연비가 높은 엔진으로 도요타는 인류가 만든 가장 많이 팔린 자동차를 만들었습니다.
AI 에이전트라고 다를까요?
물론 자동차 시장에서 벌어진 일이 AI 에이전트 시장에서 동일하게 반복될 것인지는 단언할 수 없습니다. 여전히 F1 경주에서는 1,000마력짜리 엔진이 사용되고 아주 미세한 차이로 순위가 결정됩니다. 미세한 차이가 곧 결과인 세계는 분명히 존재하고, 그런 자리에서는 최고를 써야 합니다.
AI 에이전트 역시 금융이나 의료, 국방과 같이 실수가 용납되지 않고 치열한 경쟁이 일어나는 분야라면 최고 성능의 모델이 여전히 필요할 것입니다. AI 에이전트계의 F1 같은 영역이죠. 다만 여기서 한 가지는 짚고 넘어가야 합니다. 2026년 기준으로 F1 레이스에 참가하는 차는 전 세계에 스물두 대입니다. 판매량을 기준으로 본다면 매년 9천만 대 가까이 팔리는 자동차 시장에서 F1 머신들이 차지하는 비중은 0에 가깝습니다.
그러니 우리는 스스로 질문을 해볼 필요가 있습니다. "내가 하는 일이 F1인가?"입니다. 사실 대부분의 업무는 F1이 아닙니다. 같은 금융회사 안에서도 알파를 만드는 모델은 F1이지만, 내부 문서를 요약하는 파이프라인은 코롤라입니다. 혹시 우리는 언제나 최고의 모델이 필요할 것이라는 생각으로 최고의 모델이 필요하지 않은 업무에도 F1급 모델을 사용하고 있는 것이 아닐까요?
에이전트 시장이 이제 성숙한 시장으로 넘어가는 지금 이제 더이상 세상은 AI 에이전트의 신기한 기능에만 환호하지 않습니다. 이 에이전트가 실제로 수익을 창출하느냐, 시장은 이제 이런 질문을 던지기 시작했습니다. 더 이상 최고 마력의 엔진이 아닌, 내구도와 연비가 높은 엔진이 선호되기 시작하는 '도요타 모멘트'가 AI 업계에서도 시작되고 있다고 저는 개인적으로 판단하고 있습니다.
당신의 AI 에이전트는 수익을 발생시키나요?
한때 Cursor와 함께 코딩 에이전트 시장에서 떠오르는 강자였던 Windsurf는 무너지기 직전 연 매출 8,200만 달러에 JP모건과 델을 포함한 기업 고객 350곳, 개발자 100만 명을 확보한 시장 점유율 2위 업체였습니다. 매출만 보면 이미 성공한 회사였습니다. 문제는 매출총이익률이 "매우 마이너스"였다는 것이죠. 제품을 돌리는 비용이 고객으로부터 받을 수 있는 요금보다 너무 컸습니다. 그리고 그 큰 비용의 주 원인은 LLM 사용 비용이었습니다.
어쩔 수 없는 부분도 있었을 것입니다. OpenAI, Anthropic 같은 프론티어 모델회사에서 최신 모델을 내놓으면 사용자들도 곧바로 그 모델을 사용해보길 원하기 때문에, 그 모델이 비싸더라도 사용하도록 길을 열어주는 수밖에 없었을 테죠. 모델 제작사들이 최신 모델을 내놓을 때마다, 기업은 출혈경쟁에 응할 수밖에 없었을 것입니다.
그리고 경쟁은 금방 마무리되었습니다. 경쟁이 격화되던 와중에 Windsurf를 OpenAI가 30억 달러에 인수하려다 결렬됐고, 그 직후 구글이 24억 달러에 창업자와 핵심 인력 40여 명, 그리고 기술 라이선스만 가져가는 것으로 Windsurf의 도전은 마무리되었습니다.
최근 업계에서는 많은 기업들이 직원들의 AI 에이전트 사용을 허용해주고 있는데, 이로 인해 막대한 비용의 지출이 예상되는 가운데 기대했던 생산성은 과연 따라올 것인가에 대한 의문이 더해지고 있습니다. 일각에서는 AI가 약속했던 생산성 향상은 거품이 아니었느냐는 지적까지 나오고 있습니다.
그럼 누가 수익을 발생시키고 있나요?
물론 저는 AI를 통한 생산성 향상이 절대 거품이 아니라고 확신하고 있습니다. 실제로 큰 수익을 일으키는 기업들이 실제로 존재하고요, Palantir, Cursor, Harvey, Lovable 등이 그들입니다.
Cursor는 2026년 5월 ARR 40억 달러를 넘겼습니다. 유료 고객 100만 명, 포춘 500대 기업의 64%가 씁니다. Harvey는 같은 달 ARR 3억 달러에 도달했는데, 60개국 1,500개 고객사에서 14만 명 이상의 변호사가 쓰고 미국 매출 상위 100대 로펌의 절반이 고객입니다. Lovable은 출시 8개월 만에 ARR 1억 달러를 찍었고, 4개월 뒤 2억 달러로 두 배가 됐습니다.
Cursor는 매출만 좋은 것이 아니라 실제로 이익을 내기 시작했습니다. 2026년 4월, Cursor는 흑자로 전환했습니다. 그리고 그 비결은 자체 모델 Composer 활용과, 값싼 모델로의 라우팅이었습니다. 최신 모델을 무조건 붙이는 대신 자신들만의 모델을 만들고 태스크에 맞는 엔진을 골라 끼운 겁니다.
Harvey는 법률이라는 좁은 도메인 안으로 들어갔습니다. 범용 챗봇이 아니라 리서치, 초안 작성, 실사라는 구체적인 변호사의 업무에 특화된 서비스를 출시했습니다. 고객이 변호사인만큼 사용량이 늘어도 비용이 매출을 앞지르지 않도록 과금이 가능했습니다.
Lovable은 아예 다른 방향입니다. 가장 강력한 코딩 도구를 만들려 하지 않고, 코딩을 모르는 사람도 앱을 만들 수 있게 했습니다. 개발자만 쓰던 시장을 그 바깥으로 넓힌 겁니다. 그리고 요금 구조를 처음부터 크레딧 기반으로 설계했습니다. 서비스가 많이 사용되면 될수록 모델 비용은 소비자가 부담하게 됩니다. 사용자들이 많이 쓸수록 손해가 커지는 함정에 애초에 빠지지 않습니다.
정리하면 이렇습니다. AI는 분명히 수익을 만들어내고 있습니다. 그리고 수익을 만들고 있는 곳들은 최강의 모델을 사용하는 회사가 아니라, 언제든 모델을 갈아 끼울 수 있게 하네스를 만든 회사들입니다. 도메인 지식을 워크플로에 담고, 태스크별로 모델을 배치하고, 비용이 어디서 발생하는지 항상 모니터링하는 회사들이죠.
이런 흐름은 올해 6월에 있었던 Arize Observe 2026에서도 확인되었습니다. 한국의 LG유플러스도 참여한 올해 행사에서 Uber, Stripe 등 여러 엔터프라이즈들은 데이터 거버넌스 및 비용 최적화 차원에서 더 이상 프론티어 모델에만 의존하지 않고 자체 모델을 구축하고 있다고 이야기해주었습니다.
모델을 갈아 끼울 수 있는 조직
이 글의 서두에서 언급한 것과 같이 모델의 성능들은 이제 점점 상향평준화되고 있습니다. 그동안은 당대 최강의 모델과 나머지 모델들의 격차가 많이 났기 때문에 모두가 당대 최강의 모델만을 사용해왔습니다. 하지만 이제는 오픈소스 모델을 사용해도 약점을 보완할 수 있는 방법들이 많이 나왔기 때문에, 동급 또는 그 이상의 성능을 뽑아내는 경우들이 많이 포착되고 있습니다.
Arize Observe 2026에서 나온 LG유플러스의 사례는 국내에서 이것을 달성한 사례라 특별히 의미심장합니다. LG유플러스는 가입자 3,000만 명의 국내 3대 통신사로, 전국 17개 콜센터에서 상담사 4,500명, 하루 15만 콜을 처리합니다. AI 콘택트센터를 도입해 연간 800만 건을 셀프서비스로 해결하고 상담 시간을 16% 줄였습니다.
현업에 사용되는 에이전트를 만드는 과정에서 팀은 허깅페이스 리더보드 점수가 상담센터라는 특정 도메인에서의 성능을 뜻하지 않는다는 것을 깨달았습니다. 가령 상담사들은 "걱정 없는 데이터"라는 요금제라는 용어를 들으면 이것이 무엇인지 즉시 이해합니다. 하지만 어떤 공개 모델도 이 말을 본 적이 없기 때문에, 모델이 벤치마크상 점수가 아무리 높아도 이 단어를 올바른 요금제 문서로 연결하지 못합니다.
그래서 LG유플러스는 자체 임베딩 모델과 리랭커를 만들었습니다. 실제 검색 실패 사례를 모아 도메인 전문가에게 "정답이 무엇이었어야 하는가"를 물어 정답셋을 만들고, 비슷해 보이지만 뜻이 다른 문서를 하드 네거티브로 학습시켰습니다. 그리고 이렇게 개선해낸 에이전트는 자사 도메인에 한정해서 모든 프론티어 모델을 앞섰습니다.
이미 근거는 엔비디아의 "Small Language Models are the Future of Agentic AI" 논문에서 찾을 수 있었습니다. 에이전트 루프에서 대부분의 단계는 라우팅, 분류, 정보 추출, 도구 선택처럼 좁고 반복적인 작업이고, 여기에 프론티어 모델은 필요 없다는 겁니다. 그래서 트래픽이 많은 작업을 골라 6억에서 40억 파라미터 사이의 작은 모델로 옮기고 각 작업에 맞게 파인튜닝했습니다.
그 결과 더 작은 모델로 더 좋은 성능의 에이전트를 만들어낼 수 있었습니다. 토큰 비용도 당연히 더 절감할 수 있었습니다. 최강의 모델이 아닌, 최적의 모델을 만들고 평가하고 지속적으로 개선해나가는 것, 그것이 AI로 실제로 수익을 내는 조직이 갖춰야할 역량이 되어가고 있습니다.
결국 모델에도 TPO가 있습니다
여기까지 읽고 "결국 싼 모델로 갈아타라는 얘기군"이라고 정리하셨다면, 그건 제 뜻이 아닙니다. 어디에 가치가 있는지 아직 모르는 탐색 단계라면 최고를 쓰는 게 맞습니다. 오픈 모델을 직접 운영하는 데 드는 학습 비용과 파인튜닝 전문성, 가드레일 구축까지 더하면 오히려 클로즈드 모델이 쌀 수도 있고요.
TPO라는 말이 있습니다. Time, Place, Occasion. 여기서 핵심은 "정답이 하나가 아니다"가 아니라 "상황을 읽지 못하는 것이 실패다"입니다. 결혼식에 트레이닝복을 입는 것도 실패지만, 동네 편의점에 턱시도를 입고 가는 것도 똑같이 실패니까요.
단순 워크플로우에는 오픈웨이트를, 핵심 판단이 걸린 지점에는 프론티어를, 특수 도메인에는 직접 다듬은 모델을 붙이는 것. Cursor가 흑자로 돌아선 방법도, LG유플러스가 자사의 도메인에서 프론티어 모델을 앞선 방법도 결국 그것이었습니다. 모델간의 성능이 어느정도 상향평준화된 이제부터는 최고가 필요한 자리와 그렇지 않은 자리가 구분되기 시작한 것이죠. 이것이 바로 제가 생각하는 "도요타 모멘트"입니다.
마무리하며
ChatGPT가 세상에 나온지 이제 3년이 지났습니다. 신비함이 사그라지도 이제 AI가 일상속으로 상당히 깊숙하게 침투한 세상, 이제 세상은 다시 묻고 있습니다.
당신의 AI 에이전트는 수익을 발생시키나요?
이 질문은 AI 시장의 판도를 다시 한번 뒤바꿀 것이라고 생각합니다. 이 과정은 마치 거품이 터지는 것처럼 보일 수도 있으리라 생각합니다. 하지만 본질적인 변화는 다양한 시나리오별 최적의 모델을 찾아가는 과정이라고 생각됩니다. 그리고 그 과정 속에서 마치 도요타의 코롤라처럼 다수의 선택을 받는 AI 에이전트가 등장하겠지요.
그때 사람들은 그 에이전트 내부에 어떤 모델이 돌아가고 있는지 기억하지 못할 것입니다. 마치 코롤라 안의 엔진이 무엇인지, 마력은 얼마인지 알지 못하더라도 우리는 매일 그 차를 타고 출근을 하고, 장을 보고, 아이들을 픽업할테니까요.
이제 주인공은 모델이 아니라 에이전트가 될 것입니다. 모델은 언제든 필요에 따라 적합한 것을 쓰는 패턴이 정착될 것입니다. 그것은 Claude Code일수도 Copilot일수도, 아니면 전혀 들어보지 못한 무언가일 수도 있겠지요. 이대로 몇년만 지나면 우리는 당대 최강의 모델 이름을 기억하지 못할지도 모릅니다. 107,390마력짜리 엔진의 이름을 아무도 기억하지 않는 것처럼요.
이 새로운 시대에는 모델을 바꿔도 에이전트 하네스의 품질을 꾸준히 유지하고 개선할 수 있는 자동화된 파이프라인이 필수가 될 것입니다. 그리고 그것을 위해 필요한 것이 바로 도메인별, 기업별 독자적 벤치마크 데이터셋입니다. LG유플러스가 "우리 도메인에서는 프론티어 모델을 앞섰다"고 말할 수 있었던 근거도 결국 거기에 있었습니다. 모델은 계속 바뀌지만, 우리 업무를 무엇으로 평가할 것인가는 우리만 정할 수 있습니다.
데이터셋을 만들고 관리하는 것은 전통적으로 매우 시간이 오래 걸리는 작업이었습니다. 다만 이 작업에도 AI가 적극적으로 활용되면서 각 기업마다 자체적인 벤치마크 데이터셋을 만들어가고 있고, 제가 몸담고 있는 Arize에서 하는 일도 정확히 이 과정을 수월하게 만드는 것입니다. 다음 편에서는 이 이야기를 자세히 다뤄보려 합니다. 무엇을 정답으로 삼을 것인지, 실패 사례를 어떻게 모을 것인지, 그리고 한번 만든 데이터셋을 어떻게 살아 있게 유지할 것인지까지요.
긴글 읽어주셔서 감사합니다!
의견을 남겨주세요