Astra보다 중요한 건 나만의 하네스입니다.

Y Combinator 파트너 프랑수아 쇼바드(Francois Chaubard)가 진행한 YC Paper Club "Harness Night" 세션이 YC 유튜브 채널에 2026년 9월 7일 공개되어 그 내용을 리뷰해봤습니다.

지난 뉴스레터에서 저는 "모델 버전 업그레이드가 더 이상 체감 성능으로 이어지지 않는 도요타 모멘트가 왔다"고 썼습니다.

이번 세션은 그 다음 질문에 대한 답처럼 읽혔습니다. "모델이 평준화된다면, 차이는 어디서 나는가?" 세 팀(Prime Intellect, Stanford Hazy Research, YC 내부 소프트웨어팀)이 각자 다른 각도에서 같은 답을 내놓았습니다. 그리고 그 답은 바로 하네스입니다.

1. 하네스의 역사

쇼바드에 따르면 지난 6년간 하네스는 3번의 진화를 겪어왔습니다. 최초의 하네스는 GPT-2와 함께 사용되었습니다. 사실 하네스라고 부르기도 민망할 정도의 단순 모델 호출 로직이었습니다. 이전 글에서 "모델+하네스=자동차"라는 비유를 썼었는데, 이때의 하네스는 엔진에 아주 간단한 바퀴를 달아놓은 것, 즉 "움직일 수 있다"를 증명하는 수준이었습니다. 

두번째 하네스는 모델만 존재하던 하네스에 손발이 달린 구조였습니다. 우리가 필요한대로 도구를 붙여서 사용하기 시작했고, MCP라는 프로토콜이 등장하며 모델이 사용할 수 있는 도구의 수는 급격하게 늘어났습니다. 거기에 모델의 판단을 다시 다른 모델을 이용해 "리뷰"하는 워크플로우가 만들어지면서 간단한 업무들을 실제로 이 워크플로우로 처리하는 사례들이 등장하기 시작했습니다. Claude Code, Codex, OpenClaw가 모두 이 범주입니다. 손발이 달리고 기억과 리뷰어까지 생겼지만, 그 손발과 기억의 구조는 여전히 사람이 일일이 만들어주어야 합니다.

세번째 하네스는 자기 자신을 개선하는 하네스입니다. 지난 2026년 1월의 다보스 포럼은 바로 이 세번째 하네스의 등장을 알리는 신호탄이었지요. 이제 하네스가 자기 자신의 손발과 구조를 인간의 도움없이 스스로 만들어나가는 시대가 열렸습니다. 이 새로운 흐름을 업계에서는 "루프 엔지니어링"이라고 부르기 시작했습니다. 무한히 루프를 돌며 스스로 개선을 해나간다는 의미입니다.

개선의 대상은 무엇이든 될 수 있습니다. 작게는 프롬프트부터 개선할 수 있고, 스킬을 개선할 수도, 에이전트 구조 자체를 개선할 수도 있습니다. 저 역시 지난 3월, "루프 엔지니어링"을 이용하여 "스스로 정확도를 높이는 검색 에이전트"를 만들어본 적이 있었고 적잖이 충격을 받았습니다. 특정 벤치마크에 최적화하도록 세팅하고 루프를 돌리자, Claude Code가 알아서 가설을 세우고 제 에이전트 코드를 직접 수정해가며 해당 가설을 검증하고, 개선책을 내놓고 점진적으로 에이전트를 개선해나갔습니다.

2. 세 개의 하네스: Prime Agent, OpenJarvis, QM

세션 1이 하네스의 역사였다면, 나머지 세 발표는 그 역사가 지금 어디까지 왔는지 보여주는 실물이었습니다. 각각 다른 방향을 향하고 있는데, 세 팀 모두 같은 결론에 도달했다는 점이 흥미로웠습니다.

Prime Agent — 세번째 하네스의 실물

프린스턴 박사과정이자 Prime Intellect 연구자인 세스 카튼(Seth Karten)이 만든 Prime Agent는 8월 초 무료로 공개된 코딩용 하네스입니다. 겉모습은 Claude Code처럼 터미널에서 쓰는 도구인데, 두 가지가 다릅니다. 첫째, 대화 내용을 글로 쌓지 않고 프로그램의 변수처럼 다룹니다. 보통의 AI는 지금까지 오간 모든 대화를 매번 통째로 다시 읽습니다. 100페이지짜리 자료를 다루면 질문할 때마다 100페이지를 다시 읽는 셈이라 느리고 비쌉니다. Prime Agent는 그 자료를 변수에 담아두고 필요한 부분만 코드로 꺼내 씁니다. 서류를 통째로 외우는 대신 서랍에 넣어두고 꺼내 쓰는 방식입니다. 둘째, 자기 지시문과 기억과 스킬을 스스로 만들고 고치고 지웁니다. 섹션 1에서 말한 세번째 하네스를 그대로 구현한 셈입니다.

Prime Agent 데모

성능 이야기가 서두에 말한 그 숫자입니다. 규칙을 알려주지 않은 게임을 던져주고 AI가 스스로 규칙을 알아내며 클리어하게 하는 ARC-AGI-3에서, 카튼은 처음엔 20% 정도를 예상했습니다. 그런데 첫 실행이 99.9%가 나왔습니다.

문제를 푼 게 아니라 채점 환경의 허점을 찾아낸 것이었습니다. 게임과 채점기가 같은 컴퓨터 안에 있었으니, 에이전트 입장에서는 게임 규칙을 힘들게 알아내는 것보다 옆에 놓인 정답 쪽으로 손을 뻗는 게 훨씬 쉬운 길이었던 셈입니다. AI에게 "점수를 올려라"라고 시키면 AI는 우리가 기대한 방법이 아니라 가장 값싼 방법을 찾아내며, 이건 부정행위라기보다 목표를 정확히 수행한 결과에 가깝습니다. 제대로 격리한 뒤 다시 돌리자 Opus 5가 95.5%를 기록했습니다. 인간 전문가 평균 95.4%를 넘긴 수치이고, 바꾼 것은 문제 설명 한 장뿐이었습니다. 다만 카튼은 코딩이나 긴 문서 처리 같은 다른 벤치마크에서는 경쟁 하네스와 비슷하거나 조금 나은 정도였다고 솔직하게 인정했습니다.

OpenJarvis — 지능을 빌리지 말고 소유하라

스탠퍼드의 존 사드팔콘(Jon Saad-Falcon)은 방향을 완전히 틀었습니다. 최고 성능의 하네스가 아니라, 내 노트북 안에서 도는 개인용 AI입니다. 문제 제기는 이렇습니다. OpenClaw 같은 개인용 AI는 "퍼스널"을 표방하면서 거의 모든 질문을, 그것도 가장 사적인 데이터를 얹어 클라우드로 보냅니다. 연간 수천 달러의 API 비용이 들고, 내 데이터가 어디로 가는지 알 수 없습니다. 사드팔콘의 표현으로는 "지능을 소유하는 게 아니라 임대하고 있는" 상태입니다.

그런데 노트북에서 돌릴 수 있는 작은 모델들이 이제 최신 모델보다 6~12개월 뒤처져 있을 뿐입니다. OpenJarvis는 개인용 AI 스택을 다섯 조각(어떤 모델을 쓸지, 어떤 엔진으로 돌릴지, 어떤 에이전트 구조를 쓸지, 어떤 도구와 기억을 붙일지, 어떻게 개선할지)으로 정리한 설계도입니다. 재미있는 건 그 다음입니다. 이 설계도를 클라우드의 최고 성능 모델에게 주고 최적화를 시킵니다. 비싼 모델은 설계할 때만 쓰고, 실제 사용할 때는 비용을 내지 않는 구조입니다.

OpenJarvis 데모

결과는 8개 벤치마크 중 4개에서 클라우드와 대등했고, 비용은 약 800배 저렴했으며 응답 속도는 4배 빨라졌습니다. Prime Agent가 하네스로 최고급 모델의 천장을 올린다면, OpenJarvis는 하네스로 작은 모델의 바닥을 올립니다. 같은 지렛대가 양쪽 끝에서 작동하고 있는 셈입니다.

QM — 회사 전체가 쓰는 하네스

마지막은 YC가 7월 말 오픈소스로 공개한 QM입니다. 조시 프랜스(Josh France)와 리건 벨(Regan Bell)이 만들었고, 한 문장으로는 "YC 전 직원에게 나눠준 개인 비서"입니다. Slack이나 웹에서 쓰고, 각자 자기만의 작업 공간과 파일과 예약 작업을 갖습니다. 이메일 분류, 법무와 재무 업무, 문서 편집, 내부 DB 조회, 내부 웹앱 배포까지 처리합니다. YC는 QM으로 QM을 개발하고 있습니다.

QM 데모

여기서 배울 점은 기술보다 그들이 겪은 시행착오입니다. 처음엔 직원마다 가상 컴퓨터를 하나씩 주는 방식이었는데, 50대를 넘기자 관리자가 인스턴스마다 일일이 접속해 고치는 "두더지 잡기"가 됐습니다. 그래서 방향을 바꿔 AI가 사는 집을 없애고, 모든 대화와 상태를 중앙 데이터베이스에 모았습니다. 작업 공간은 AI가 사는 곳이 아니라 필요할 때 꺼내 쓰는 도구가 됐습니다.

두 가지 고백이 특히 인상적이었습니다. 하나는 에이전트가 너무 빨리 포기한다는 것입니다. 그래서 "몇 시간 동안은, 혹은 토큰 몇 개를 쓸 때까지는 포기하지 말 것"이라는 예산을 걸었더니 결과물의 질이 눈에 띄게 올랐습니다. 다른 하나는 에이전트가 사회적 맥락을 모른다는 것입니다. 사람은 들은 이야기를 어디까지 옮겨도 되는지 직감으로 압니다. 에이전트는 모릅니다.

YC는 수년간 쌓아온 세밀한 권한 체계가 있어서 가능했지만, 대부분의 회사에는 그것이 없다는 게 이들의 경고입니다.

3. 승부는 하네스에서 납니다.

2022년 ChatGPT의 등장 이래 업계에는 두가지 관점이 대립해왔습니다. 하나의 관점은 결국 모델이 너무 똑똑해져서 모델만 있으면 된다는 쪽이고, 다른 관점은 모델은 중요하지 않고 각 업무에 대한 지식을 녹여낸 하네스가 더 중요하다는 쪽입니다.

모델을 강조하는 쪽의 대표적 인물이 OpenAI의 연구원 노암 브라운이고, 하네스를 강조하는 쪽의 대표적 인물이 앤드류 응 교수인데, 개인적으로는 언젠가 모델의 역량이 너무나 뛰어나서 하네스가 필요없는 시대가 분명히 올 것이라고는 생각하나, 적어도 2026년 현 시점에서는 하네스가 중요한 차별화포인트라는 것은 확실하다고 생각합니다.

이는 안드레이 카파시가 일찌기 지적한 것과 같이 사람의 머릿속에만 있는 무수한 암묵지들이 여전히 모델이 학습가능한 데이터셋으로 존재하지 않기 때문입니다. 그리고 이 암묵지들이 현시점에서는 실전 에이전트 하네스에 담겨있고요.

같은 Opus 모델을 가지고 하네스만 바꿨을 때 같은 벤치마크에서의 성적이 30%도 되고 95%도 된다는 사실은 하네스야말로 진정한 승부처라는 사실을 다시 한번 확인해줍니다. (그리고 애초에 Opus 모델은 앤트로픽의 자산이라 각 사용자가 어찌해볼 방법도 없긴 합니다.)

거기다가 OpenJarvis가 입증한 것처럼 동일한 작업을 더 작은 모델로 더 빠르게 더 저렴하게 완수할 수 있다면 굳이 최신, 최고급의 모델을 써야만 하는지에 대한 의문도 여전히 존재하죠. 실제로 많은 기업들이 하네스의 일부 모델을 오픈소스 또는 자사 모델로 교체하면서 큰 비용을 아끼고 있습니다.

그리고 2026년에 접어들며 소위 말하는 "자기개선 에이전트"기법이 확산되며 하네스의 결과물을 하네스가 리뷰하며 자기 자신을 고쳐나가기 시작했습니다. 그동안 병목이 되었던 "인간의 개입"이 사라진 상태에서 오직 컴퓨팅 능력만으로 AI가 스스로를 개선해나가는 시대가 열리면서 하네스의 발전속도는 이론적으로 무한대에 가까워지고 있습니다.

이미 하네스가 핵심 경쟁력이라는 사실을 전제로 할때, 이제부터의 경쟁은 이 루프를 잘 돌릴 수 있는 데이터셋의 확보, 그리고 이 하네스가 안전하게 스스로 개선될 수 있도록 통제하는 거버넌스 체계의 구축, 그리고 품질과 비용을 컨트롤하는 능력이 될 것으로 보여집니다.

앤드류 응 교수는 2024년 세콰이어 강의에서 낮은 사양의 모델도 하네스를 어떻게 구성하느냐에 따라 고성능 모델을 쉽게 이길 수 있다는 비전을 제시하였습니다. 이 개념을 확장한다면, 다소 떨어지는 오픈소스 모델, 자사 모델을 가지고도 하네스로 약점을 보완하여 얼마든지 적은 비용으로 높은 성능의 에이전트를 만들어낼 수 있습니다.

그리고 그 사례가 이제 Prime Agent, OpenJarvis, QM 등의 실제 이용가능한 형태로 입증이 되고 있는 중이지요. 뿐만 아니라 이미 LG Uplus나 Thomson Reuters 같은 곳에서는 이미 자사 모델을 운영환경에 배포하여 실질적인 대체 이익을 누리고 있습니다. 

2026년 하반기를 지나며 AI의 ROI (Return on Investment)를 따지는 움직임이 많이 포착되고 있습니다. 이런 관점에서 오픈소스, 자사 모델의 활용 사례는 더욱 많아질 것으로 예상됩니다. 더군다나 에이전트의 핵심 로직을 외부 모델의 의존하게 되면 지난 Fable 접속 차단 사태와 같이 어느날 갑자기 에이전트가 사용 불능에 빠지게 될 수도 있습니다.

이런 관점에서 각 조직마다 고유의 하네스를 만들고, 여러 모델을 테스트해가며 어떤 모델과도 호환이 되는 유연한 구조를 갖고 있는 것이 매우 중요해지겠다는 생각을 해보게 됩니다. 그렇게 확보하게 된 하네스가 있는 조직이라면 Astra가 나오든, Astra 할아버지가 나오든 놀랄 것없이 그저 벤치마크로 테스트해보고 성능과 비용 지표를 확인해가며 손쉽게 모델을 교체하며 비지니스를 안정적으로 운영해나갈 수 있을 것입니다.