🍪 [하네스 엔지니어링 이론편] 손발 생긴 AI가 사고를 친다면? '고삐'를 채우세요

안녕하세요, 열두시쿠키 구독자님! 놀기 위해 매일 새로운 AI 꼼수를 발굴하는 데이터 개발자 라라(Lara)입니다. 👩‍🔧

지난 레터에서 뇌만 둥둥 떠다니던 AI에게 내 노션과 드라이브를 만질 수 있는 '손발(MCP)'을 달아주는 법을 알려드렸죠? 그런데 손발을 달아줬더니, 이 녀석이 갑자기 사고를 치기 시작합니다. 시키지도 않은 엉뚱한 문서를 지우거나, 지 멋대로 환각(거짓말)을 섞어서 보고서를 써오는 거죠.

"아, 프롬프트(명령어)를 더 디테일하게 써야 하나?" 아니요. 이제 예쁘게 말 거는 시대는 지났습니다. 천방지축 AI를 완벽한 에이스로 길들이는 최신 기술, '하네스 엔지니어링(Harness Engineering)'을 소개합니다.

🧬 AI를 다루는 기술의 3단계 진화

개발자들 사이에서 AI를 통제하는 방법은 크게 3단계를 거쳐 진화해 왔습니다. 이 흐름만 이해하셔도 AI 트렌드의 절반은 마스터하신 겁니다.

1단계: 프롬프트 엔지니어링 (말 걸기의 시대) 초기 챗GPT 시절입니다. AI에게 "너는 10년 차 마케터야. 다정하고 트렌디하게 글을 써줘"라고 역할극을 시키고, 꼼꼼하게 잔소리(지시)를 하는 기술이죠. 하지만 한계가 명확합니다. 업무가 조금만 복잡해지거나 길어지면, AI는 앞에 했던 잔소리를 새카맣게 까먹고 엉뚱한 답을 뱉어냅니다.

2단계: 컨텍스트 엔지니어링 (맥락과 도구의 시대) 우리가 지난번에 다뤘던 MCP(만능 멀티탭) 같은 기술입니다. "말만 하지 말고, 우리 회사 지난 1년 치 기획안 폴더(맥락) 다 열어줄 테니까 이거 보고 써!"라고 권한과 도구를 쥐여주는 단계입니다. 신입사원에게 회사 공유 드라이브 접근 권한을 준 셈이죠. 하지만 이 역시 맹점이 있습니다. 권한을 줬더니 신입(AI)이 드라이브 안에서 길을 잃거나, 데이터를 잘못 해석해서 이상한 결과물을 만들어내기 시작한 겁니다.

3단계: 하네스 엔지니어링 (시스템과 환경의 시대) 그래서 등장한 것이 바로 하네스입니다. 하네스(Harness)는 본래 말의 몸통에 채우는 '마구(고삐)'를 뜻합니다. AI라는 엄청난 힘을 가진 야생마에게 프롬프트로 "제발 똑바로 달려줘"라고 부탁하는 게 아니라, 아예 궤도를 이탈하지 못하도록 튼튼한 트랙과 고삐(시스템) 자체를 채워버리는 기술입니다.

⚙️ 그렇다면 '하네스'는 도대체 어떻게 생겨먹은 걸까?

하네스 엔지니어링은 AI 모델 자체를 똑똑하게 개조하는 게 아닙니다. 평범한 AI 신입사원이 '절대 실수할 수 없게 만드는 완벽한 작업장'을 차려주는 겁니다.

하네스의 구조는 대략 이렇습니다.

🏢 오픈AI: "코드는 단 한 줄도 직접 짜지 않았습니다"

이 하네스 엔지니어링의 위력을 증명한 것이 바로 챗GPT를 만든 오픈AI입니다. 최근 오픈AI의 엔지니어 딱 3명이, 5개월 동안 100만 줄이 넘는 거대한 소프트웨어 서비스를 런칭했습니다.

놀라운 건, 이 세 명의 인간은 코드를 단 한 줄도 직접 짜지 않았다는 겁니다. 이들은 오로지 AI가 알아서 코드를 짜고, 검수 봇이 그걸 검사하고, 오류가 나면 AI가 다시 수정하게 만드는 저 '하네스 시스템(작업장)'을 설계하는 데만 모든 에너지를 쏟았습니다. 결과는 어땠을까요? 인간이 밤새워 짠 코드보다 버그 발생률이 40%나 적었고, 완벽에 가까운 결과물이 나왔습니다.

💡 라라의 한마디

자, 이론은 완벽하게 이해하셨죠? 하지만 "나는 개발자도 아닌데 저런 검수 봇이나 시스템을 어떻게 만들어?"라고 걱정하실 필요 없습니다. 다음 주 2탄에서는 비개발자인 우리가 내 책상 위에서 당장 써먹을 수 있는 'AI 사수 역할 쪼개기(실전편)' 기술을 들고 오겠습니다!

성장 파트너의 수다