그동안 모든 소프트웨어 조직은 인간 엔지니어가 키보드를 두드리는 '제한된 처리 능력'을 기준으로 돌아갔습니다. 코드를 짜고, 검증하고, 배포하는 모든 과정이 너무나 비쌌기 때문에 코드를 철저히 보호해야 했죠. 하지만 GPT-5 시리즈와 코덱스(Codex)가 등장한 지금, 코드는 언제든 원하는 만큼 병렬로 찍어낼 수 있는 '가장 저렴한 자원'이 되었습니다.
오늘 뉴스레터는 OpenAI 프론티어 팀의 라이언 레오폴로와의 인터뷰를 바탕으로, AI 시대에 PM, 디자이너, 엔지니어가 일하는 방식을 완전히 재정의하는 '하네스 엔지니어링(Harness Engineering)'을 이야기해보겠습니다.
The OpenAI Setup That Lets PMs Ship Production Code
🎙️ OpenAI 라이언 레오폴로가 말하는 'AI 엔지니어링'의 미래
Q. "하루에 10억 토큰을 쓰지 않으면 태만하다"라는 도발적인 발언을 하셨습니다. 이게 어떤 의미인가요?
"간단합니다. 추론 모델의 본질과 같아요. AI 모델에 더 많은 생과 각연산 과정을 맡길수록 결과물의 퀄리티는 기하급수적으로 올라갑니다. 엔지니어당 하루에 10억 토큰을 쓰려면 AI에게 작업을 완전히 위임하고 병렬로 실행해야 합니다.
실제로 얼마 전, 제가 직접 코덱스(Codex)를 활용해 제 커리어에서 가장 어려웠던 대규모 리팩토링 작업을 진행했습니다. 인간이 짜면 최소 3주는 걸릴 분량이었죠. 하지만 저는 노트북을 차 뒷좌석에 실어두고 출퇴근하는 내내 스마트폰 테더링으로 AI를 계속 구동시켰습니다. 결과요? 단 3~4일 만에, 총 3억 5,000만 토큰을 태우며 완벽한 프로덕션급 코드를 뽑아냈습니다. 제가 직접 입력한 프롬프트는 시작할 때를 포함해 단 3개뿐이었습니다. AI가 스스로 긴 호흡을 가지고 독립적으로 작업하게 만든 덕분입니다."
Q. 인간이 손대지 않고 AI 에이전트가 혼자서 3억 토큰이 넘는 작업을 수행하게 만든 비결이 무엇인가요?
"바로 '하네스' 시스템 덕분입니다. AI 에이전트가 소프트웨어 개발 생명주기(SDLC) 전반에서 길을 잃지 않도록 올바른 '맥락(Context)'을 주입하는 스캐폴딩(Scaffolding) 아키텍처죠. 하네스는 크게 세 단계로 작동합니다.
- 준비 단계 (Getting Ready): 리포지토리 루트에 agents.md라는 파일을 강제로 주입합니다. 여기엔 에이전트의 운영 모델과 마일스톤, 실행 계획(Exec Plan)이 적혀있죠. 또한 디자인 시스템, React 작성법 등이 담긴 '문서 트리'를 구축해 AI가 스스로 팀의 누적된 지식을 학습하게 합니다.
- 구현 중간 단계 (Messy Middle): AI는 코드를 짜면서 지속적으로 도구 호출과 테스트를 수행합니다. 예를 들어 저희 디자인 팀이 좋아하는 '스마트 curly 따옴표'를 안 쓰면 빌드가 실패하도록 테스트 코드를 짜두는 식입니다. AI는 테스트를 통과하도록 고도로 훈련되어 있기 때문에, 테스트 실패 메시지(에러 로그) 자체가 AI에게는 가장 훌륭한 프롬프트(맥락 주입)가 됩니다.
- 마무리 단계 (Back Half): 프론트엔드, 신뢰성 공학 등 페르소나별 '리뷰 에이전트'가 피드백을 주면, 구현 에이전트가 이를 받아 self-correct(자가 수정)합니다.
인간 리더의 역할은 AI를 붙잡고 받아쓰기를 시키는 게 아닙니다. AI가 에러를 내면 '왜 실패했는지' 진단하고, 에이전트가 다음부터 같은 실수를 안 하도록 시스템(하네스)을 보완하는 것입니다. 그렇게 슬롭(Slop, 불량 코드)이 쌓이지 않는 깨끗한 레포를 만들면, 비개발자도 안전하게 코드를 배포할 수 있는 환경이 열립니다.
Q. 스크립트를 보니 PM이 엔지니어 없이 마크다운 문서(PRD)만으로 기능을 출시하고, 디자이너는 '페인트 도어(Painted Door)' 기법으로 검증을 했다던데요?
"맞아요. 저희 제품 매니저(PM)가 마크다운으로 요구사항 명세서(PRD)를 작성해 주초 미팅에서 공유했는데, 주말 데모 데이에 엔지니어링 팀의 개입 없이 완벽히 구동되는 기능 시연이 끝났고 그 다음 주에 고객에게 곧바로 출시되었습니다. 이게 가능했던 이유는 백엔드와 프론트엔드를 철저히 분리하고, 모든 의존성을 인터페이스와 가짜 객체로 숨겨놓는 모듈식 패키지 계층 구조를 짰기 때문입니다.
디자이너의 경우, 과거에는 코드가 꼬여서 소위 '진흙탕(Ball of mud)' 구조를 만들까 봐 코드베이스 접근을 막았죠. 하지만 이제는 폴더 경로별로 변경 권한을 엄격히 제한할 수 있습니다. 디자이너가 새로운 UI 실험을 하고 싶다면 백엔드는 아무것도 하지 않는 더미 함수로 스텁(Stub) 처리해 두고, UI 기능만 세련되게 구현하는 '페인트 도어(Painted Door)'를 만듭니다.
사용자가 그 버튼을 얼마나 누르는지 제품 계측(Instrumentation) 신호만 수집하는 거죠. 비용을 들여 진짜 백엔드 기능을 다 개발하기 전에 '이 기능이 정말 우선순위가 높은가?'를 완벽히 시도할 수 있게 됩니다."
Q. AI 코딩 툴로 OpenAI 스택(GPT-5 시리즈, Codex)을 선택해야 하는 명확한 이유가 있을까요? Anthropic의 툴과 어떤 점이 다른가요?
"OpenAI의 모델들은 '전체 에이전트적 행동(Full Agentic Behavior)'에 최적화되어 있습니다. 자잘하게 프롬프트를 쪼개서 칠 필요 없이, 선형 티켓을 상태별로 넘겨주는 단순한 오케스트레이터(Symphony)만 얹어주면 에이전트가 알아서 PR(Pull Request)까지 뽑아냅니다.
특히 최신 GPT-5.5 시리즈는 컴퓨터 유즈(Computer Use)와 멀티모달 기능이 내장되어 있습니다. 이전에는 AI에게 화면을 보여주려고 Docker 컨테이너에 가상 X 서버를 띄우고 ffmpeg를 엮는 등 엄청난 고생을 해야 했습니다. 하지만 이제는 모델이 네이티브하게 로컬 브라우저 셸을 켜고, Chrome Dev Tools를 보며 버튼을 누르고 와이어프레임을 확인합니다. 프론트엔드 에이전트, 백엔드 에이전트를 따로 둘 필요가 없습니다. 여러 에이전트 간의 lossy(정보 손실이 있는)한 소통보다, '단 하나의 강력한 에이전트'가 디자인, 백엔드, 프론트엔드 전체 맥락을 쥐고 요리하는 것이 훨씬 더 압도적인 품질의 결과물을 냅니다."
의견을 남겨주세요