모델은 그대로인데, 점수는 30%에서 95%로 뛰었습니다

YC Paper Club 무대에 오른 세 팀이 말하는, 모델보다 '감싸는 방식'이 이기는 이유

| 조회 83 |
0
|

8개의 H200 노드, 위에서 돌아간 633개의 에이전트, 일주일 동안 쏟아낸 2,300만 개의 토큰. 게임 하나의 기술 트리를 끝까지 밀어붙이는 데 쓰인 숫자입니다. 모델은 바뀌지 않았어요. 바뀐 건 그 모델을 감싸고 있던 방식이었습니다.

이 실험이 공개된 곳은 YC(Y Combinator)가 연 'YC Paper Club' 밤이었어요. 프린스턴 박사과정이자 Prime Intellect 리서처인 세스 카튼(Seth Karten), 스탠퍼드 Hazy Research의 존 사드팔콘(Jon Saad-Falcon), 그리고 얼마 전 YC Labs 총괄로 승진한 조시 프랜스(Josh France)와 리건 벨(Regan Bell)까지 세 팀이 한 무대에 올라 각자의 '하니스(harness, 모델을 감싸 도구·기억·루프를 붙이는 layer)'를 풀어놨습니다.

무대에 오르기 전 이미 결론은 나와 있었어요. 똑같은 모델 가중치로 ARC-AGI 점수가 30%에서 95%로, 어떤 팀은 100%까지 뛴 이유는 모델이 아니라 하니스였습니다.

YC Paper Club '하니스 나이트' 오프닝 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator
YC Paper Club '하니스 나이트' 오프닝 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator

왜 하니스인가

학회가 무시한 '그냥 랩퍼'

한 달 전 올라온 레딧 글이 이 밤을 여는 인용구였어요. "이런 종류의 프롬프트 엔지니어링이 최상위 머신러닝 학회에 낄 자격이 있는지 모르겠다." 또 다른 댓글은 더 단호했습니다. "컨텍스트 엔지니어링은 연구 문제가 아니다." 하니스는 오랫동안 그냥 뼈대, 그냥 스캐폴딩, 그냥 프롬프트 엔지니어링으로 취급받아 왔다는 거예요.

그런데 세스는 숫자로 반박합니다. 하니스 1과 하니스 2 사이의 차이가 18%p였고, 이 18%p가 ARC-AGI를 풀리게도 만들고 못 풀리게도 만듭니다. 에이전트가 얼마나 오래 안 끊기고 일할 수 있는지를 시간순으로 그린 그래프를 보면, 그 발전의 상당 부분이 모델이 아니라 하니스 때문이었다는 게 드러나요. 세스는 이걸 두 시대로 나눕니다. 하니스 스스로는 개선되지 않는 '정적 하니스 시대', 그리고 최근 6개월 사이 몰아친 '자기개선형 하니스 시대'.

우연히 하니스를 만든 사람

지난 3월, 안드레이 카파시(Andrej Karpathy)가 오토리서처 프로젝트를 공개했을 때 세스는 그걸 포크해서 상태를 들여다보는 작은 UI 하나만 만들려고 했어요. 만들다 보니 하니스 하나를 통째로 완성해 버렸습니다.

지금 이 시스템에 하는 일은 간단해요. "목적"을 하나 던집니다. 예를 들면 "디퓨전 LM은 AR LM을 이기지 못하는데, 여러 개로 샤딩해서 앙상블하면 결과가 나을 수도 있다" 같은 가설이요. 여기에 시드 아이디어와 검증 지표를 붙이면, 스코핑 에이전트가 관련 논문과 깃허브 저장소를 찾고, 그 결과를 리서치 에이전트에게 넘기고, 리서치 에이전트가 실험을 돌리다 막히면 사람(세스)에게 피드백을 구하고, 준비가 되면 저자 에이전트가 어블레이션을 쓰고 논문을 완성합니다. 지금은 여덞 개의 아이디어를 여덟 대의 H100 노드(노드당 H100 여덟 장)에 던져놓고 기다리기만 해요. 3~4월엔 나온 논문 품질이 별로였는데, 5월을 지나면서 실제로 읽을 만해졌다고 합니다. 바뀐 건 모델이 아니라, 그 위에 얹은 스캐폴딩이었어요.

프라임 에이전트: 맥락을 캐시처럼 쌓다

하니스는 모델과 세상 사이의 층

세스가 첫 원칙으로 돌아가자고 말합니다. 순수한 LLM은 고정된 가중치와 눈에 보이는 컨텍스트를 가지고 토큰을 받아 토큰을 뱉는, 그냥 순차 처리기예요. 하니스는 여기에 지속되는 상태와 도구, 컴퓨트를 붙여 LLM과 세상 사이를 잇는 층입니다. 프라임 에이전트를 열면 진행 중인 모든 세션을 요약해서 보여주는 개요 화면이 있고, 그중 하나로 들어가면 그 세션을 지휘하는 루트 세션이 하위 에이전트를 필요할 때마다 알아서 소환합니다. 전부 하나의 IPython 셸(파이썬 코드를 그 자리에서 실행하는 대화형 환경) 위에서 재귀적 언어 모델(RLM) 방식으로 돌아가요. 그리고 각 에이전트는 컴퓨터에 상시 켜진 데몬(백그라운드 프로세스)으로 떠 있어서, 노트북을 덮어도 세션은 계속 일합니다.

맥락을 L1·L2·L3 캐시처럼 나눠 설명하는 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator
맥락을 L1·L2·L3 캐시처럼 나눠 설명하는 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator

기억을 캐시처럼 나눈다

세스는 이걸 컴퓨터 캐시 구조에 비유해요. 가장 빠르게 꺼내 쓸 수 있는 정보는 모델 가중치, 그러니까 L1입니다. 다음은 지금 눈앞에 활성화된 입력 컨텍스트인데, 여기엔 한계가 있어서 컨텍스트가 꽉 차면 압축(compaction, 지금까지의 대화 기록을 스스로 요약해 여유 공간을 만드는 가장 오래된 형태의 하니스)부터 해야 해요. 그 아래 L2는 리플(ripple), 즉 파이썬 변수를 램에 그대로 들고 있는 주피터 노트북 같은 작업 공간이나 하위 에이전트예요. 컨텍스트에 다 적어 넣는 대신 프로그램적으로 처리해서 토큰을 아낍니다. L3는 파일시스템, 즉 디스크에 읽고 쓰는 진짜 메인 메모리고요. 리플에 쌓인 변수와 하위 에이전트를 정리하는 걸 '에이전트형 가비지 컬렉션'이라 부르고, 디스크에 쌓인 스킬·메모리·프롬프트를 정리하는 걸 '리파인먼트'라 부릅니다. 램과 디스크가 둘 다 안 터지게 관리하는 일이죠.

튜링 머신에서 폰노이만 컴퓨터로

이걸 좀 더 비유적으로 보면, 순수한 LLM은 테이프가 들어가고 나오는 튜링 머신에 가깝습니다. 하니스를 씌우면 외부 메모리를 읽고 쓸 수 있는 폰노이만 컴퓨터가 돼요. 튜링 머신 혼자로는 못 푸는 종류의 문제를, 하니스가 붙은 순간 풀 수 있게 되는 겁니다. 좋은 하니스의 기준은 '최대한 표현력 있게' 만드는 거예요. 압축을 스스로 부를 수 있는지, 파이썬 리플을 쓸 수 있는지, 하위 에이전트를 프로그램적으로 만들 수 있는지, 상태에 접근하고 피드백을 받을 수 있는지. 이 중 하나라도 빼면 모델이 원래 할 수 있었던 능력 하나를 그냥 없애버리는 셈이라고 세스는 말합니다.

가족처럼 메시지를 주고받는 에이전트들

프라임 에이전트에서 세스가 제일 먼저 넣은 기능은 부모·자식·형제 관계의 에이전트끼리 서로 메시지를 주고받게 만드는 거였어요. 하루에도 다섯 방향으로 흩어지는 에이전트들을 자기가 직접 관리하다 보니 필요해진 기능이었는데, 소프트웨어 엔지니어링과 장시간 작업 모두에 의외로 잘 맞았다고 합니다. 하위 에이전트는 일을 마치면 대기 상태로 램에 남아 있다가, 부모가 다시 메시지를 보내면 쌓아뒀던 맥락 그대로 이어서 일합니다.

같은 모델로 30%였던 점수가 95%가 됐다

ARC-AGI(추상적 추론 능력을 측정하는 비공개 홀드아웃 벤치마크) 이야기로 가면 숫자가 나옵니다. 처음 이 비공개 테스트를 통과한 건 Claude Opus였고 점수는 30%였어요. 여기에 세스가 커뮤니티 리더보드에서 가져온 시스템 프롬프트를 얹고 샌드박싱을 제대로 손본 다음 프라임 에이전트 하니스를 씌우자 같은 모델로 95.5%가 나왔습니다. 같은 시기 엔비디아의 AVO라는 하니스는 100%를 찍었고요. 반대 사례도 있었어요. 인기 있는 다른 하니스 하나에 똑같은 문제를 시켰다가 별다른 성능 개선 없이 5천 달러를 태우고 멈춘 적도 있다고 세스는 인정합니다. 하니스가 좋다고 다 좋은 게 아니라, 비용 대비 성능까지 같이 봐야 한다는 뜻이에요.

같은 재료, 같은 셰프인데도 어떤 식당은 그냥 백반집이 되고 어떤 식당은 오마카세가 되죠. 다른 건 재료가 아니라 그 재료를 다루는 시스템입니다.

일주일간 633개의 에이전트가 멈추지 않았다

가장 인상적인 실험은 장시간 성능 테스트였어요. 8개의 H200 노드에 일주일을 통째로 맡겼습니다. 총 633개의 에이전트가 2,300만 개의 토큰을 뱉어내며 공장 건설 게임의 기술 트리를 끝까지 밀어붙였고, 일주일이 끝나갈 무렵에도 진행이 멈추지 않았습니다. 하위 에이전트들이 자원 채집과 연구, 건설로 역할을 나눠 맡고, 과거에 뭘 시도했는지 리파인먼트로 계속 반영하면서 막히지 않고 나아간 거예요. 세스는 이걸 "제미나이가 포켓몬을 플레이한다"의 다음 버전이라고 부릅니다.

오픈자비스: 클라우드 없이도 되는 개인 AI

로컬 모델이 프론티어보다 딱 6~12개월 늦다

존 사드팔콘은 질문을 하나 던집니다. 개인용 AI는 사실 거의 다 클라우드에 묶여 있어요. 오픈클로(OpenClaw)나 허미스(Hermes) 같은 에이전트도 대부분의 판단을 클라우드 LLM에 맡깁니다. 이건 1년치로 계산하면 API 비용이 수천 달러로 쌓이고, 가장 사적인 데이터가 어디로 흘러가는지 알기 어렵고, 지능을 소유하는 게 아니라 계속 빌려 쓰는 구조가 된다는 뜻이에요. 그런데 지금 로컬에서 돌리는 모델은 프론티어 모델보다 딱 6~12개월 뒤처져 있을 뿐입니다. Qwen3의 8B·27B 모델이 대략 작년 8월 시점 Claude Opus 수준까지 따라왔고, 애플이 이번 주 새 맥 미니를 내놓은 것처럼 개인용 가속기가 계속 좋아지면서 그 격차는 더 좁혀지고 있다고 봅니다.

다섯 가지 재료로 개인 AI 스택을 짠다

이런 배경에서 스탠퍼드 팀이 만든 게 오픈자비스예요. 모델 추론부터 에이전트 실행, 기억, 학습까지 지금은 클라우드가 도맡은 부분을 통째로 기기 안에서 돌리면서도 클라우드 스택과 경쟁할 수 있는지를 실험합니다. 이걸 다섯 가지 재료로 단순화했어요. ① 사용자 인터페이스, ② 조합 가능한 추론과 도구 사용을 관장하는 에이전트 로직, ③ 실제로 쓰는 지능(Qwen, GPT-OSS, Gemma 3N 같은 모델), ④ 그걸 돌리는 추론 엔진과 하드웨어(Ollama·llama.cpp·vLLM·SGLang, 애플 실리콘이나 엔비디아 칩), ⑤ MCP(모델이 도구·기억에 접근하는 표준 프로토콜)로 연결하는 도구·기억, 그리고 프롬프트 기반(DSPy 같은) 또는 가중치 기반(GRPO·SFT·LoRA) 학습 방법.

클라우드 모델이 로컬 스택을 손봐준다

재밌는 발견은 이거예요. 추론 자체는 로컬에서 돌리되, 그 로컬 스택을 어떻게 짜야 하는지는 클라우드 모델에게 진단시킵니다. 클라우드 모델을 매번 쓰는 게 아니라, 설정을 최적화할 때 한 번 불러 쓰는 거예요. Opus나 GPT 계열이 가장 잘 최적화해줬지만, 제미나이나 Kimi, GLM 같은 다른 계열로도 비슷한 효과를 봤다고 합니다. 결과는 같은 워크로드 기준 비용 800배 절감, 지연 시간 대폭 감소, 품질까지 함께 올라가는 조합이었어요. 로컬 모델이 못 하는 걸 클라우드로 메우는 게 아니라, 로컬 모델을 잘 쓰게 세팅하는 것까지만 클라우드에 맡긴다는 접근이죠. 존은 머지않아 사람들의 일상 추론 호출 대부분이 클라우드가 아니라 개인 기기나 온프레미스로 옮겨갈 거라고 내다봤습니다.

큐엠: YC가 전 직원에게 나눠준 하니스

일반 에이전트에서 오픈클로까지

조시 프랜스와 리건 벨이 소개한 큐엠(QM)은 YC가 만든 오픈소스 업무용 에이전트 하니스예요. YC의 모든 직원이 슬랙이나 웹 UI로 쓸 수 있는, 오픈클로 같은 개인 비서를 하나씩 갖게 된 셈입니다. 이메일 분류 같은 자동화, 법무·재무 워크플로, 문서 편집, 내부 데이터베이스 조회, 내부용 웹앱 즉석 제작, 행사 기획까지 씁니다.

지금 모습이 되기까지 네 번의 시행착오가 있었어요. 2025년 1월엔 시스템 프롬프트에 도구를 붙이고 루프를 돌리는 '제너럴 에이전트' 하나로 시작했습니다. 그해 6월엔 엔지니어들이 슬랙에서 태그만 하면 클로드 코드·코덱스가 가상머신에서 돌며 코드 수정 하나를 끝내주는 구조로 넘어갔고, CI 파이프라인과 개발 환경 세팅까지 맡겼습니다. 실패 사례를 관찰해서 agents.md를 계속 고쳐 쓰는 작은 피드백 루프도 이때 붙었어요. 올해 1월엔 늘 회의와 메일에 쫓기는 파트너들이 오픈클로를 개인 비서처럼 쓰기 시작했고, 4월엔 전 직원에게 맥 미니를 사주는 대신 50여 개의 허미스 에이전트를 가상머신 함대로 띄웠습니다. 다만 이 함대는 설정이 번거롭고, SSH로 인스턴스 하나하나 들어가 고쳐야 하는 '두더지 잡기' 상태였어요. 큐엠은 그 함대의 단점을 줄이면서 개인화라는 장점은 지키자는 목표로 만들어졌습니다.

샌드박스를 '집'이 아니라 '자원'으로 다시 정의하는 구조를 설명하는 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator
샌드박스를 '집'이 아니라 '자원'으로 다시 정의하는 구조를 설명하는 장면 · 출처: Youtube 'Why The Harness Matters More Than The Model | YC Paper Club', by Y Combinator

뇌를 샌드박스 밖으로 꺼냈다

큐엠에서 가장 큰 결정은 에이전트의 '뇌'를 샌드박스 밖으로 꺼낸 거예요. 오픈클로나 허미스는 에이전트가 자기 컴퓨터를 갖는 대신 그 컴퓨터 안에 갇혀요. 세션도, 대화 기록도 그 컴퓨터 안에만 있어서 관리가 금방 감당하기 어려워집니다. 큐엠은 모든 대화를 포스트그레스(Postgres) DB 하나로 중앙화하고, 에이전트가 시스템 전체에 걸친 맥락을 조회할 수 있게 열어뒀어요. 샌드박스는 에이전트가 '사는 집'이 아니라 필요할 때 빌려 쓰는 자원이 됩니다. 무거운 개발 작업이면 더 큰 머신을 골라 쓰고, 가벼운 일이면 작은 샌드박스를 고르는 판단도 하니스가 아니라 에이전트 자신이 내려요. 모델을 고르는 것도 마찬가지라, 어떤 모델이 거절 응답을 반복하면 에이전트가 스스로 다른 모델로 넘어갑니다.

이렇게 쌓인 대화 기록 전체는 잠재적으로 큰 평가 데이터셋이 돼요. 여기서 자동으로 개선 루프를 돌려볼 수도 있었는데, 결과는 반반이었습니다. LLM을 심사자로 세워 놓고 버그를 알아서 고치게 하면, 에이전트가 자기 눈에 보이는 조각만 보고 고치는 '주인공 병'에 걸리곤 했어요. 그래서 사람이 루프 안에 계속 남아 있는 게 여전히 중요하다고 두 사람은 말합니다. 데이터베이스 쓰기 권한도 기본은 읽기 전용이고, 수정할 땐 에이전트가 계획을 세워 사람이 한 번 훑어본 뒤 실행하는 구조예요. 다만 최근엔 이 승인을 그냥 도장 찍듯 넘기는 경향이 생기고 있다고 솔직하게 인정했습니다. 초기 클로드 코드를 한 줄 한 줄 검토하다가 점점 신뢰가 쌓이면서 검토가 느슨해지는 것과 같은 패턴이라, 앞으로 몇 달간 지켜봐야 할 지점이라고 해요.

포기하지 못하게 '그라인드 툴'을 달았다

큐엠을 쓰면서 마주친 문제 중 하나는 에이전트가 이 좋은 환경을 줘도 너무 빨리 포기한다는 거였어요. 그래서 최근 한 달 정도 '그라인드 툴'이라는 걸 붙였습니다. 목표에 예산을 걸어서, 일정 시간이나 토큰을 다 쓰기 전에는 에이전트가 작업을 포기하지 못하게 막는 거예요. 이걸 붙이고 나서 리서치 결과물이나 보고서 품질이 눈에 띄게 좋아졌고, 최근 오픈AI와 앤트로픽이 수학 난제를 푼 방식과도 비슷한 결이라고 리건은 짚었습니다. 사무 업무에도 똑같이 잘 통했다고요.

에이전트는 아직 사회적 맥락을 모른다

마지막으로 남은 문제는 사회적 맥락이에요. 사람에게 정보를 하나 알려주면 그 정보를 누구에게 말해도 되는지 직관적으로 압니다. 에이전트는 그렇지 않아요. 시스템 프롬프트에 상황을 명확히 적어줘도 슬랙 같은 멀티플레이어 환경에서 자기가 지금 어떤 대화방에 있는지조차 헷갈려하고, 민감한 정보가 엉뚱한 곳으로 새기 쉽습니다. 결국 '뇌'에 얼마나 많은 정보를 태울 수 있는지는 권한 시스템이 얼마나 정교한지에 달려 있다는 거예요. YC는 수년간 다져온 세밀한 권한 체계가 있어서 가능했지만, 대부분의 조직은 그런 체계가 없어서 이 지점부터 다시 손봐야 한다고 두 사람은 말합니다.

가치는 모델이 아니라 감싸는 방식에 있다

다시 처음 숫자로 돌아가 볼게요. 8개의 H200 노드, 633개의 에이전트, 2,300만 개의 토큰, 일주일. 이 모든 걸 가능하게 한 모델은 새로 나온 게 아니었습니다. 바뀐 건 그 모델에게 기억을 캐시처럼 나눠주고, 샌드박스를 집이 아니라 자원으로 바꿔주고, 포기하지 못하게 예산을 걸어준 방식이었어요.

세 팀의 결론은 결국 하나로 모입니다. 모델 성능은 이제 누구에게나 거의 똑같이 주어져요. 그 위에 어떤 캐시 구조를, 어떤 권한 체계를, 어떤 그라인드 툴을 얹느냐가 30%와 95%를 가릅니다. 다음에 에이전트를 붙일 워크플로가 있다면, 모델을 바꾸기 전에 먼저 물어보면 좋겠어요. 이 에이전트는 뭘 기억하고 있고, 언제 포기해도 되고, 누구에게 뭘 말해도 되는지.

오늘 다룬 세 팀의 자료와 원본 영상은 아래 링크에서 더 깊게 볼 수 있어요.

YC Paper Club, "Why The Harness Matters More Than The Model" (Y Combinator, 유튜브)

핫비즈니스테크는 이렇게 매주 해외 컨퍼런스·강연·인터뷰 하나를 골라 한국어로 풀어드립니다. 주변에 AI·비즈니스 이야기를 좋아하는 분이 있다면 이 레터를 공유해주세요. 다음 화도 곧 준비할게요.

다가올 뉴스레터가 궁금하신가요?

지금 구독해서 새로운 레터를 받아보세요

✉️

이번 뉴스레터 어떠셨나요?

핫비즈니스테크 님에게 ☕️ 커피와 ✉️ 쪽지를 보내보세요!

댓글

의견을 남겨주세요

확인
의견이 있으신가요? 제일 먼저 댓글을 달아보세요 !

다른 뉴스레터

이웃 뉴스레터 Beta

비슷한 이야기를 하는 다른 뉴스레터의 글이에요.

© 2026 핫비즈니스테크

현재 핫하고 섹시한 비즈니스와 테크 이야기를 보내드립니다

메일리 로고

도움말 오류 및 기능 관련 제보

서비스 이용 문의admin@team.maily.so 채팅으로 문의하기

메일리 사업자 정보

메일리 (대표자: 이한결) | 대표번호: 070-8027-1409 | 사업자번호: 717-47-00705 | 서울특별시 송파구 위례광장로 199, 5층 501-2-31호

이용약관 | 개인정보처리방침 | 정기결제 이용약관 | 라이선스