GPT-6 Astra가 보여준 것: 이제 모델이 아니라 하네스가 제품이다

새로운 AI 모델이 나오면 우리는 보통 벤치마크부터 봅니다.

얼마나 더 똑똑해졌는지, 코딩 점수가 얼마나 올랐는지, 컨텍스트 윈도우는 얼마나 커졌는지 비교합니다.

그런데 GPT-6 Astra의 ARC-AGI-3 결과를 보면 조금 다른 질문을 해야 할 것 같습니다.

“어떤 모델을 쓰는가?”보다 “그 모델을 어떤 시스템 안에서 작동시키는가?”가 더 중요해지고 있기 때문입니다.

Few-Shot Academy의 글 「GPT-6 Astra: the harness is the product」가 주목한 것도 바로 이 부분입니다.

같은 모델인데 54.8%와 99.9%

이번 결과에서 가장 흥미로운 숫자는 99.9% 자체가 아닙니다.

ARC Prize의 ARC-AGI-3 평가에서 GPT-6 Astra는 provider-neutral한 Standard Harness를 사용했을 때, High reasoning 기준 **54.8%**를 기록했습니다.

그런데 OpenAI의 Provider Adapter Harness를 사용하자 같은 High reasoning에서 **99.9%**까지 올라갔습니다.

모델은 동일했습니다.

달라진 것은 모델을 둘러싼 실행 환경이었습니다.

OpenAI Provider Adapter는 요청 사이에서 reasoning state를 유지하고, 긴 대화를 처리하기 위해 compaction을 사용합니다.

즉 모델의 파라미터를 바꾸지 않고도 상태를 어떻게 보존하고, 컨텍스트를 어떻게 관리하며, 이전 작업을 어떻게 다음 작업으로 연결하느냐에 따라 결과가 45%p 이상 달라진 것입니다.

이 결과를 단순히

“Astra가 ARC-AGI-3에서 99.9%를 기록했다”

라고만 읽으면 중요한 부분을 놓치게 됩니다.

99.9%는 모델 단독의 성능이라기보다,

Model + Context + Memory + Tools + Control Loop

전체 시스템이 만들어낸 성능에 더 가깝습니다.

하네스는 모델 주변의 배관이 아니다

에이전트에서 하네스(Harness)는 모델 주변에서 실제 작업을 가능하게 만드는 실행 시스템입니다.

예를 들면 이런 것들입니다.

예전에는 이런 부분을 모델을 연결하기 위한 인프라나 오케스트레이션 정도로 생각하기 쉬웠습니다.

하지만 에이전트가 한두 번 응답하는 시스템을 넘어 수십 분 또는 수 시간 동안 작업하는 시스템으로 바뀌면 이야기가 달라집니다.

모델이 아무리 좋아도 이전 요구사항을 잊거나, 잘못된 Tool을 호출하거나, 실패했던 방법을 반복하거나, 중요한 제약조건을 compaction 과정에서 잃어버린다면 실제 업무에서는 신뢰하기 어렵습니다.

그래서 이제 하네스는 모델을 감싸는 코드가 아니라 AI 제품의 핵심 실행 계층이 되어가고 있습니다.

Context Window가 커지는 것만으로는 부족하다

Astra에서 특히 봐야 할 변화 중 하나도 Context 관리입니다.

Few-Shot Academy가 지적하듯 컨텍스트 윈도우가 아무리 커져도 장기 실행 에이전트에서는 결국 한계에 도달합니다.

코드베이스, 로그, 테스트 결과, Tool output, 실패한 접근 방법까지 계속 쌓이기 때문입니다.

그래서 기존에는 오래된 내용을 압축하는 Compaction이 중요했습니다.

문제는 압축입니다.

지금은 중요하지 않아 보였던 요구사항이 30분 뒤에는 결정적인 정보가 될 수도 있습니다.

요약에서 빠져버리면 다시 찾기 어렵습니다.

Astra와 함께 공개된 Codex의 접근 방식에서는 이전 context window에 대한 기록을 남기고 필요하면 과거 정보를 다시 검색할 수 있도록 하는 방향이 추가됐습니다.

이것은 단순히

“더 긴 Context Window”

에서

“필요한 Context를 다시 찾을 수 있는 시스템”

으로의 변화입니다.

장기 실행 에이전트에서는 이 차이가 상당히 큽니다.

에이전트는 요청-응답에서 ‘실행 중인 프로세스’로 바뀐다

Astra에서 함께 등장한 기능들도 같은 방향을 가리킵니다.

대표적인 것이 Async Tool Calling과 Mid-turn Steering입니다.

Async Tool Calling에서는 에이전트가 오래 걸리는 Tool을 실행시켜 놓고 다른 작업을 계속할 수 있습니다.

예를 들어 의존성 스캔을 실행한 뒤 결과가 나올 때까지 설정 파일을 분석할 수 있습니다.

Mid-turn Steering은 더 흥미롭습니다.

에이전트가 작업하는 중간에 사용자가 새로운 조건을 추가할 수 있습니다.

기존 작업을 모두 버리고 처음부터 다시 요청하는 것이 아니라,

“이 마이그레이션은 한 명이 일주일 안에 끝낼 수 있는 범위로 제한해줘”

같은 조건을 작업 중간에 전달할 수 있습니다.

에이전트의 인터페이스가

Prompt → Response

에서

Start → Execute → Observe → Steer → Continue

로 바뀌고 있는 것입니다.

이 순간부터 AI는 챗봇보다 운영되고 있는 하나의 프로세스에 가까워집니다.

그리고 여기서부터 진짜 엔지니어링이 시작된다

에이전트가 오래 일할 수 있게 된다고 해서 문제가 사라지는 것은 아닙니다.

오히려 새로운 문제가 생깁니다.

비동기로 실행된 두 Tool이 같은 리소스를 동시에 수정하면 어떻게 할 것인가.

이미 실행된 작업을 사용자의 새로운 지시가 되돌릴 수 없다면 어떻게 할 것인가.

잘못된 판단을 한 에이전트가 30분 동안 계속 작업하면 피해 범위는 얼마나 커질 것인가.

그래서 에이전트 시스템에는 기존 소프트웨어 엔지니어링에서 익숙했던 개념들이 다시 중요해집니다.

IdempotencyIsolationPermissionApproval BoundaryObservabilityAudit LogRollback

모델이 강력해질수록 이런 엔지니어링이 필요 없어지는 것이 아닙니다.

오히려 모델이 더 많은 일을 할 수 있기 때문에 통제 시스템은 더 중요해집니다.

그렇다면 모델 평가는 어떻게 해야 할까

Few-Shot Academy가 제안하는 방법은 꽤 현실적입니다.

평가를 두 번 하는 것입니다.

첫 번째는 중립적인 Harness입니다.

동일한 Prompt, Tool, Retry 정책, 평가 기준으로 여러 모델을 비교합니다.

여기서는 순수하게

“어떤 모델이 더 잘하는가?”

를 봅니다.

두 번째는 각 Provider가 제공하는 Native Harness입니다.

Memory, reasoning state persistence, compaction, context retrieval, async tools 같은 기능까지 포함합니다.

여기서는

“실제 제품으로 배포했을 때 어떤 시스템이 더 잘하는가?”

를 봅니다.

이 두 평가를 섞으면 안 됩니다.

Model Benchmark와 System Benchmark는 서로 다른 질문이기 때문입니다.

앞으로 경쟁하는 것은 모델이 아니라 시스템일지도 모른다

Astra 결과가 흥미로운 이유는 AGI 논쟁 때문만은 아닙니다.

ARC Prize 역시 ARC-AGI-3의 높은 성능이 AGI를 증명하는 것은 아니라고 명확히 이야기합니다. ARC-AGI-3는 규칙이 정해진 제한된 환경이며 현실 세계의 복잡성을 그대로 반영하지 않습니다.

오히려 실무에서 더 중요한 신호는 따로 있습니다.

지난 몇 년 동안 AI 경쟁의 중심은 모델이었습니다.

ParameterTraining dataReasoningBenchmarkContext window

하지만 Agent 시대의 경쟁 요소는 점점 달라지고 있습니다.

Context ManagementMemoryTool RuntimePermissionsObservabilityEvaluationRecoveryHuman-in-the-loop

결국 기업이 사용하는 AI의 품질은 Foundation Model 하나로 결정되지 않을 가능성이 큽니다.

좋은 모델을 선택한 뒤,

그 모델이 조직의 Context를 얼마나 잘 이해하고필요한 Tool을 얼마나 안전하게 사용하며실패에서 얼마나 잘 복구하고얼마나 오랫동안 일관된 상태를 유지할 수 있는가

가 실제 경쟁력이 됩니다.

그래서 이번 글의 제목,

“The Harness Is the Product”

는 꽤 정확한 표현처럼 보입니다.

이제 모델은 제품 전체가 아니라 제품 안에 들어가는 가장 강력한 엔진 중 하나가 되고 있습니다.

그리고 그 엔진을 실제 업무 시스템으로 만드는 것은 결국 Harness Engineering입니다.

원문: GPT-6 Astra: the harness is the product — Few-Shot Academy