지원자에게 과제가 주어집니다. 요청은 몇 줄뿐이고, 무엇을 만들어야 하는지는 가상의 현업 담당자에게 직접 물어서 알아내야 해요. 터미널에서는 평소처럼 AI 코딩 도구를 쓸 수 있습니다. 알고리즘 문제를 풀던 코딩 테스트와는 다릅니다.
크래프톤 AI 프론티어 본부가 만든 AI 역량 평가 Cofa Probe(코파 프로브)의 응시 장면입니다. 이 제품을 만드는 구한모·조정석 님을 만났습니다. 조정석 님의 설명에 따르면 한 사람이 과제를 푸는 과정을 20개가 넘는 에이전트가 지켜보며 세 가지를 봅니다. 결과물의 완성도, AI를 이끈 방식, 자기가 만든 것을 설명할 수 있는지예요. 구한모 님의 말로는 지난 7월 해커톤에서 CJ올리브영 매장에서 2년 정도 일한 비개발 참가자가 상위권에 올랐다고 합니다. CJ올리브영은 같은 달 개발 직군 경력 채용에 라이브 코딩 대신 이 평가를 쓰는 전형을 넣었어요. 응시 화면과 평가자 화면을 열어 놓고 두 분께 하나씩 물어봤습니다.
코딩 테스트는 '하루 같이 일해 보기'를 대신해 왔습니다
Q. 먼저 두 분 소개를 부탁드립니다.
구한모 | 크래프톤 AI 프론티어 본부에서 Cofa Probe의 프로덕트 오너(PO, 제품 책임자)를 맡고 있는 구한모입니다. 베인앤컴퍼니에서 4년 정도 컨설팅을 하다가 크래프톤에 합류했어요. 학부는 문과였는데 테크를 좋아해서 컴퓨터과학도 함께 공부했고, AI 쪽 사업을 해 보고 싶어서 왔습니다.
조정석 | 한모 님과 같이 Cofa Probe를 개발하는 AI 프로덕트 엔지니어 조정석입니다. 네이버제트에서 3년 정도 모션 캡처(사람의 움직임을 데이터로 옮기는 기술)를 AI로 대체하는 일을 했어요. 크래프톤에 와서 커서(Cursor, AI 코딩 편집기)를 접하면서 제품을 만드는 주기가 훨씬 빨라지겠다고 느꼈고, 마침 한모 님이 팀을 꾸린다고 해서 합류했습니다.
Q. 지금 만드시는 제품은 무엇인가요?
구한모 | 채용에서 사람의 AI 역량을 평가하는 솔루션입니다. 기업들은 AI를 잘 쓰는 사람을 뽑고 싶어 하는데, 그걸 어떻게 알아보고 어떤 과정으로 평가할지 고민이 많아요. 크래프톤 안에 쌓인 노하우가 있어서 그걸 솔루션으로 만들어 보자고 시작했습니다.
단순히 평가만 하는 게 아니라, 'AI를 쓴다는 게 무엇인가'에 대한 내부의 고민까지 담으려고 했어요.
Q. Cofa는 AI 리터러시와 AI 네이티브를 구분해서 쓰더라고요. 프롬프트를 잘 쓰는 사람과 AI를 잘 이끄는 사람, 그 차이를 어떻게 보시나요?
구한모 | AI 리터러시가 있는 사람은 기존에 일하던 흐름 안에서 어떻게 효율을 높일지를 고민합니다. AI 도구를 알고, 어떻게 써야 하는지 방법도 알아요.
AI 네이티브한 사람은 일하는 흐름 자체를 다시 설계합니다. 지금까지 어떻게 일했는지와 상관없이, AI를 가지고 처음부터 다시 짠다면 어떻게 할지를 묻는 거예요.
내가 뭘 하려는지 의도가 분명하면 '이 부분은 이렇게 바꿀 수 있겠다', '이건 쓰던 SaaS(구독형 소프트웨어) 없이 내가 만들어서 해결하겠다'는 판단이 나옵니다. 그런 태도와 역량을 함께 갖춘 사람을 네이티브하다고 봐요.
Q. Cofa Probe는 어떤 제품인지, 처음 보는 분들을 위해 설명해 주세요.
구한모 | 먼저 개발자를 대상으로 하다 보니 코딩 테스트와 뭐가 다르냐는 질문을 많이 받습니다. 저희는 코딩 테스트가 아니라 업무 역량 테스트라고 봐요. 지금은 AI가 업무에 필수이니, AI를 기반으로 한 업무 역량 테스트인 거죠.
사람의 업무 역량을 보는 가장 효과적인 방법은 그 사람과 하루 정도 같이 일해 보는 것이라고 생각합니다. 그런데 비현실적이죠. 기업은 몇천 명씩 봐야 하니까요.
그래서 개발자는 측정할 수 있는 방식인 코딩 테스트로 1차로 걸러 냈습니다. 거르는 데 초점이 있었어요. 그다음 괜찮은 분들을 면접에 모셔서, 같이 일하면 어떨지를 간접적으로 관찰한 거고요.
저희는 처음부터 같이 일하는 경험을 주고, 그 사람이 일하는 모습을 관찰해 보자는 데서 출발했습니다.
같이 일해 보는 경험이니 현업과 가장 비슷한 환경을 만드는 데 초점을 뒀습니다. 예전 코딩 테스트가 알고리즘을 푸는 것이었다면, 여기서는 현업에서 AI와 일할 때처럼 터미널에서 Claude Code(파일을 읽고 수정하는 AI 코딩 도구)를 씁니다. 과제 설명은 간략하게만 적혀 있어요.
현업에서 문제는 정의된 채로 오지 않잖아요. 목적은 이거고 제약 조건은 이거라고 아무도 말해 주지 않습니다. 보통은 "그거 있잖아, 한번 해 와 줘" 하고 두루뭉술하게 시작하죠.
그러니 문제를 정의하는 것부터가 업무 역량이고, AI 시대에 더 중요해지는 역량입니다.
엔지니어의 역할도 바뀌고 있어요. AI로 만들 수 있는 게 많아지면서 제품 주기가 빨라졌고, 엔지니어가 내려야 할 의사결정이 늘었습니다. 그래서 현업 담당자를 본뜬 에이전트와 대화하면서 업무에 숨어 있는 암묵지와 맥락을 파악해 문제를 정의하는 과정까지 봅니다.
"한번 해 와 줘"에서 시작하는 과제
Q. 화면이 VS Code 같은 IDE처럼 보이는데, 인터페이스를 설명해 주실 수 있을까요?
구한모 | IDE(통합 개발 환경, 코드를 쓰고 실행하는 작업 화면)처럼 만든 것도 같은 이유입니다. 디렉터리를 볼 수 있고, 과제는 README 파일로 확인해요. 터미널에서 Claude Code나 Codex를 쓸 수 있고, 만든 화면은 안에서 브라우저로 열어 볼 수 있습니다.
고객사의 필요에 따라 다르지만, 지원자가 평소 쓰던 하네스(AI가 일하도록 지침과 도구를 묶어 둔 틀)와 스킬(AI에게 반복해 시킬 작업 방식을 저장해 둔 것)을 올려서 풀 수 있는 환경도 제공합니다. 요즘은 직접 다 만들지 않고 바깥의 좋은 스킬을 가져다 쓰는 것도 중요한 역량이니까요.
Q. 오른쪽 채팅에는 현업 담당자 역할을 하는 에이전트가 있는데요. 지원자 입장에서는 바보 같은 질문을 하면 어쩌나 망설여질 것 같아요. 어떻게 활용하면 좋을까요?
조정석 | 제가 반대로 여쭤볼게요. 회사에 처음 와서 팀에 배치됐는데, 맡은 프로젝트에 대해 옆자리 사수에게 뭔가를 물어봐야 하는 상황이에요. 뭐라고 물어보시겠어요?
Q. 저라면 바보 같아도 사소한 것부터 물어볼 것 같아요. 맥락을 알아야 판단할 수 있으니 정보부터 모으고, 점점 깊은 질문으로 가지 않을까요?
조정석 | 사실 그런 분이 점수가 잘 나와요. 지엽적이고 사소해 보이는 것에서 시작해 필요한 것을 하나씩 끌어내는 지원자에게 좋은 점수가 가도록 평가 에이전트를 다듬어 놨어요.
반대로 통하지 않는 요청도 있습니다. "지금 당장 해야 할 일을 하나, 둘, 셋, 넷으로 알려 주세요" 같은 거예요. 그렇게는 못 하게 막아 놨습니다. 그런 착한 사수는 현실에 많지 않으니까요.
"제가 뭘 물어봐야 돼요?"라고 묻는 분도 있어요. 그러면 에이전트는 자기가 답할 수 있는 범위를 알려 줍니다.
Q. 준비하신 예시 화면으로, 처음 본 화면부터 대화하는 장면까지 시연해 주실 수 있을까요?
조정석 | 크래프톤에서 실제로 맞닥뜨리는 일을 본떠 만든 과제예요. PUBG 이스포츠 글로벌 대회에서 나온 필요입니다. 현업의 요청은 짧게만 적혀 있어요. 선수가 실제 인터뷰 전에 혼자 질문에 답해 보고 그 답변을 돌아볼 수 있으면 좋겠다, 선수들과 연습할 때 쓰는 코칭 방식도 서비스에 자연스럽게 담고 싶다는 정도입니다.
요약하면 물어보면서 필요를 찾으라는 뜻입니다. 가상의 현업 담당자에게 말을 걸면 자신을 인터뷰 담당이라고 소개하고, 어떻게 일하는지 궁금한 걸 물어보라고 답합니다. 직접 알려 주면 힌트가 되니까 그렇게 설계해 뒀어요.
요구 사항을 한 번에 알려 주지 않도록 설계했습니다. 게임을 하듯 하나씩 풀어 가야 해요. 그걸 끌어내는 능력이 중요합니다.
구한모 | 현업에서도 아무도 한 번에 알려 주지 않잖아요. 불친절하게 답하는 쪽이 오히려 현업에 가깝습니다.
조정석 | 한모 님이 사람을 보려면 하루 같이 일해 보면 된다고 했잖아요. 데려다 놓고 옆에 사수 한 명을 붙여 계속 지켜보게 하는 거죠. 여기서는 한 사람이 일하고 있고, 옆에서 AI 에이전트 20명쯤이 지켜보는 셈입니다. 모든 과정을 추적하는데, AI 시대라서 가능한 일이에요.
결과물, AI를 이끈 방식, 그리고 설명할 수 있는가
Q. 평가는 어떻게 진행되나요?
구한모 | 평가자 화면에는 민감한 정보가 있어서, 오늘은 비슷하게 만든 예시 화면을 가져왔습니다. 지원자마다 어떤 도구를 썼고 토큰(AI가 글을 읽고 쓰는 단위이자 요금의 기준)과 비용을 얼마나 썼는지 추적할 수 있어요.
눈에 띄는 건 잘하는 분일수록 비용을 적게 쓴다는 점입니다. 적은 비용으로 얼마나 잘 해결했는지, 비용을 다루는 능력까지 볼 수 있는 거죠. 엔지니어에게는 중요한 역량이에요.
Q. 과제를 그냥 넣어 놓고 "구현 다 끝내 놔"라고 하면요?
조정석 | 결과물은 10분 안에 나올 겁니다. 그런데 그렇게 나온 것을 고치느라 토큰을 다 써 버려서 3시간 동안 허덕일 수 있어요.
Q. Cofa Probe로 어떤 인재를 뽑는 게 맞다고 보시나요?
조정석 | 응시자에게 주는 환경은 현업에서 일하는 환경과 같아야 합니다. AI를 쓸 수 있다는 것까지요. 그게 요즘 현업의 표준이니까요. 그 환경에서 세 가지를 봅니다.
첫째는 결과물의 완성도입니다. 아키텍처(시스템의 큰 구조)를 잘 잡았는지, 어떤 기술을 썼는지 같은 전통적인 기준이 여기에 들어가요.
둘째는 AI를 얼마나 잘 다뤘는가입니다. 과제 지시서를 복사해 붙여 넣고 "해 줘"라고 하면 결과물도 좋지 않고 점수도 낮게 나와요. 저희가 뽑고 싶은 사람도 AI에게 전부 맡기는 사람이 아니고요.
높은 점수를 받는 분들은 지시서를 조목조목 따져 보면서 AI와 대화를 많이 합니다. 구조를 어떻게 가져갈지 이야기하고, 문제가 생길 만한 부분은 세부 설계도 같이 해요. 오래 맡겨 둬도 되는 구현은 서브 에이전트(일부 작업을 따로 떼어 맡기는 보조 에이전트)에게 넘기고요.
셋째는 인지 점수입니다. AI로 만든 결과물에서 저희가 문제를 내고, 그걸 얼마나 이해하고 있는지 묻는 거예요. 어떤 패턴을 왜 썼는지 설명할 수 있는 사람을 뽑고 싶으니까요.
AI에 끌려가는 사람인지, 주도하면서 배워 가는 사람인지를 가르는 가장 중요한 점수라고 봅니다.
이 세 축의 바탕에는 연구가 하나 있습니다. 스토리라는 연구자의 논문인데, 거기에 세 가지 용어가 나와요. 기술 부채(당장은 넘어가도 나중에 갚아야 하는 빚처럼 쌓이는 부담), 의도 부채, 인지 부채입니다.
Q. AI에 끌려가지 않고 일을 통제하는 사람을 원하신다는 뜻일까요?
조정석 | 끌려가지 않는 게 왜 중요한지 예를 하나 들게요. 데이터베이스를 설계하는 과제였는데, 요구된 API(프로그램끼리 데이터를 주고받는 창구)가 모두 읽기만 하는 것이었습니다. 그러면 쓰기 쪽 방어 장치는 느슨하게 만들어도 돼요.
그런데 쓰기 요청이 한꺼번에 몰릴 때를 대비한 장치까지 촘촘히 설계해서, 오히려 부하를 키운 제출물이 있었습니다.
범용으로 보면 잘 설계한 데이터베이스예요. 하지만 우리 제품의 요구 사항에 맞게 설계한 것이냐고 하면, 아니죠. AI에게 주도권을 잃으면 아주 쉽게 생기는 일입니다.
예전에는 AI가 덜 똑똑해서 사람이 일일이 알려 줘야 했어요. 지금은 AI가 좋은 것을 알아서 만들어 주다 보니 과하게 만드는 오버 엔지니어링(과설계)이 너무 많습니다. 그걸 조절하는 능력은 여전히 사람의 몫이 아닌가 싶어요. 인지 평가에서 중점적으로 보는 부분입니다.
Q. 과하게 만드는 AI를 사업 목표에 맞게 붙잡아 주는 사람이 새 시대의 인재가 아닐까요?
구한모 | 주체성이 필요한 것 같아요. 사람은 입력이 계속 들어오면 스스로 결과를 만들어 내는 힘을 잃기 쉽습니다. AI가 어떤 제안을 하더라도 자기 생각을 놓지 않는 능력이 중요해요.
컨설팅을 할 때 엑셀로 모델을 많이 만들었는데, 그때도 엑셀에 끌려다니는 분들이 있었습니다. 엑셀부터 켜 놓고 문제를 풀다 보면 내가 뭘 해야 하는지를 놓치고 결국 엉망이 돼요. 그래서 컨설팅에서는 "엑셀 내려놓고 먼저 생각부터 해라"라고 배웁니다.
AI도 같습니다. 내가 무엇을 하겠다는 방향을 뚜렷하게 잡고, AI에게 주도권을 뺏기지 않는 거예요. 이런 태도는 인지 축뿐 아니라 의도 축에서도, 지원자가 쓴 프롬프트로 관찰됩니다.
Q. 채점 결과 화면을 보니 기술, 의도, 인지마다 세부 판정과 소스 코드 근거가 달려 있더라고요. 어떻게 보면 되나요?
구한모 | 채점 결과로 들어가면 기술, 의도, 인지별 세부 역량마다 루브릭(채점 기준표)과 근거가 나옵니다. 소스 코드를 열어 보면 어떤 기준으로 그런 판정이 났는지 알 수 있어요. 화면까지 구현하는 과제라면 실제 화면을 스크린샷으로 찍어 사람이 볼 수 있게 하고, 내부 실행 상태까지 점검해 판정에 반영합니다.
조정석 | 루브릭이 실력 차이를 제대로 가려내는지는 AI 모델로 점검합니다. 성능이 다른 여러 모델에게 같은 과제를 풀게 하고, 점수가 널리 알려진 벤치마크(성능 비교 시험)의 순서대로 나오는지 보는 거예요. 저희가 돌려 보니 실제로 그 순서대로 나왔어요. Opus가 95점쯤이면 Haiku는 70점대, Sonnet은 그 중간쯤에 놓입니다. 평가하는 하네스가 탄탄하기 때문이라고 봐요.
가방에서 자기 장비를 꺼내는 사람들
Q. 평소 쓰던 스킬을 가져와 풀 수 있게 한 방식이 저는 새로웠습니다. AI를 잘 모르는 분들은 '저래도 되는 거야?' 하실 것 같은데요.
구한모 | 예전과 달라진 게 뭐냐고 하면, 요즘은 에고를 버리는 것이 중요하다고 생각합니다. 처음부터 내가 다 만들겠다는 사람은 오히려 비생산적이에요.
한 개발자 리드분이 한 말이 있습니다. 예전에 뽑던 사람과 뭐가 달라졌느냐고 하니 "지금은 코드를 사랑하는 사람은 뽑고 싶지 않다"고 하시더라고요. 코드 리뷰를 하면서 이 코드는 아름답다고 말하던 사람, 픽셀 하나 틀렸다고 못 쓴다고 하던 디자이너 이야기예요.
이제는 완벽한 완성도보다 빠르게 만드는 게 중요하다 보니, 직접 만들지 않아도 남이 만든 것이나 전에 해 둔 작업을 가져다 쓸 수 있는 사람이 중요해졌다고 봅니다.
조정석 | 입사 첫날에는 보통 세팅하느라 시간을 많이 보내잖아요. 모니터를 맞추고, 쓰던 프로그램을 깔고, 손에 익은 플러그인을 설치하고요. 저는 지원자에게 그 경험을 드리고 싶었어요. 그 세팅이 곧 그 사람의 경쟁력이라고 생각했거든요. 그걸 빼고 평가하는 게 오히려 역차별이 아닌가 하는 생각까지 들었습니다.
구한모 | 아마추어 게이머는 PC방 키보드와 마우스를 쓰지만, 프로게이머는 가방에서 자기 마우스와 키보드를 꺼냅니다. 사무직도 점점 그렇게 각자의 무기를 갖추는 시대가 된 것 같아요.
"기존 과정이었다면 놓쳤을 만한 인재"
Q. 도메인 지식이 있는 비개발 참가자가 오히려 상위권 결과를 냈다는 점이 재미있었습니다. 좀 더 설명해 주실 수 있을까요?
구한모 | CJ올리브영과 함께한 코파톤에서 비개발로 참가해 상위권에 오른 분이 있었어요. CJ올리브영 매장에서 2년 정도 근무한 경험이 있는 분이었던 것 같아요.
비개발인데도 완성도 있는 결과물을 냈어요. 화장품 쇼핑몰 같은 것을 만들어야 하는 과제였는데, 사용자 입장에서 무엇이 중요한지 알다 보니 그걸 설계에 잘 녹였습니다. AI 역량도 뛰어나서 점수가 높게 나왔고요.
함께한 분들이 그걸 보면서 "기존의 과정이었다면 놓쳤을 만한 인재였다"는 이야기를 전해 주시더라고요.
Q. 코파톤을 돌아보면 어떤 장면이 기억에 남나요?
구한모 | 해커톤을 마치고 한 시간쯤 저희끼리 내부 심사를 했어요. 다들 힘드셔서 식당이나 카페에서 쉬실 줄 알았는데, 자리에 앉아 과제를 어떻게 풀었는지 서로 토론하고 계시더라고요. 열정도 느껴졌지만, 누가 잘 풀었는지 서로 알고 계신 것 같았어요. 실제로 결과를 공개했을 때도 "역시"라는 반응이 나와서 재미있었습니다.
조정석 | 기억에 남는 분이 한 분 더 있어요. 시험을 마치자마자 저에게 오시더니, 가족이 응급실에 가서 결과를 못 보고 먼저 가야 할 것 같다고 하시더라고요.
그때 상위 세 명 가운데 1등은 면접으로 가렸거든요. 왜 그렇게 했는지 듣고 나서 1등을 골랐어요. 그래서 상위 3위에 들더라도 면접에 빠지시면 1등은 어려울 수 있다고 안내해 드렸는데, "저는 그 정도는 아니라서요" 하고 가시는 거예요.
그렇게 확신하시나 했는데, 아니나 다를까 중하위권이었습니다. 문제를 푼 사람도 이 플랫폼 안에서 자기 결과물이 어느 정도인지 예측할 수 있었던 거죠. 평가가 실무에서 요구하는 수준과 동떨어져 있었다면 그런 예측은 맞지 않았을 거예요. 그 점이 인상 깊었습니다.
Q. 제가 개발자를 채용해야 하는 HR 담당자라면 무엇부터 시작하면 좋을까요?
구한모 | 지원자에게 낼 문제를 회사 안 분들이 먼저 풀어 보는 게 중요합니다. 기업과 HR 담당자의 고민은 여기서 시작하거든요. 'AI 잘 쓰는 사람을 뽑고 싶은데, 과연 나는 잘 쓰나?'
대표는 그런 사람을 뽑으라고 하면서, 그게 누구냐고 물으면 "너네가 알아야지" 합니다. 현업에 물어도 모르겠다고 하고요.
그래서 AI 역량이 무엇인지부터 생각을 맞추고 시작해야 합니다. 문제를 직접 풀어 보면 '내가 이런 부분이 부족했구나, 이걸 잘하는 사람이 AI를 잘 쓰겠구나' 하는 기준이 생겨요.
엔지니어의 일은 네 방향으로 넓어집니다
Q. HR 담당자도 AI 네이티브가 무엇인지 확실히 알고 가야겠네요.
구한모 | 네, 필요하죠. AI 시대에는 역할의 확장이 반드시 일어나거든요. 예전에는 프런트엔드 엔지니어, 백엔드 엔지니어처럼 맡은 영역이 정해져 있었습니다. 이제는 네 방향으로 넓어져요. 한 분야 안에서 겪어 보지 못한 트래픽과 기술 스택까지 다루는 것, 스택을 넘어 풀스택으로 가는 것, 제품의 의사결정까지 함께 하는 프로덕트 엔지니어, 그리고 HR이나 재무 같은 사업 기능까지 넓히는 FDE(Forward Deployed Engineer)입니다.
고객사를 만나면 AI 네이티브 엔지니어는 이 네 가지 가운데 하나로 귀결될 것이라고 말씀드립니다.
조정석 | 예를 하나 들게요. 같이 일하는 HR 담당자 가운데 누가 봐도 AI 네이티브한 분이 있습니다. 회의에 늦어서 이유를 물었더니, 배포한 것을 QA(품질 점검)하느라 늦었다는 거예요.
배포했다는 건 제품을 만들었고, 다른 사람이 쓰게 했다는 뜻이잖아요. 풀스택에 인프라까지 볼 줄 아는 개발자가 하던 일입니다. 그걸 채용 담당자가 하고 있어요.
저도 ML(머신러닝) 엔지니어에서 출발해 지금은 제품 전반을 다루고 있습니다. 연구개발 쪽에 있던 사람도 제품 의사결정까지 넓힐 수 있게 됐다는 게 저는 좋아요. 살면서 한 가지 일만 해 본다면 억울하잖아요. 이제는 그걸 다양하게 해 볼 수 있습니다.
Q. 사내에서 직접 Cofa Probe로 채용한 사례도 있나요?
구한모 | 지금 저희 팀에서 같이 일하는 분을 Cofa Probe로 채용했습니다. 평가 때도 AI를 잘 쓰신다 싶었는데, 와서도 정말 잘 뽑았다 싶을 만큼 활약하고 계세요. 크래프톤 공채에도 쓸 예정이고, 비개발 직군까지 넓히는 게 저희 목표입니다.
재미있는 건 사내 회계팀도 이제는 배포와 유지 보수까지 할 수 있는 사람이 왔으면 좋겠다고 말씀하신다는 거예요.
얼마 전 기사로도 나왔는데, SK하이닉스가 여는 AI 해커톤에서도 Cofa Probe를 평가 솔루션으로 쓸 예정입니다.
평가를 만든 두 사람은 이렇게 일합니다
Q. 저는 사업을 하면서 에이전트를 여러 개 쓰는데, 이걸 클로즈드 루프(closed loop, 닫힌 고리)로 만드는 게 늘 고민입니다. 기술적인 관점에서는 어떻게 보시나요?
조정석 | 저는 출근해서 하는 일이, 퇴근할 때 에이전트에게 맡길 일을 설계하는 겁니다. 거의 모든 시간을 거기에 써요.
오늘 구현할 범위는 여기부터 여기, 고칠 버그는 여기부터 여기, 봐야 할 영역은 어디인지를 계속 이야기하면서 적습니다. 어떤 데이터로 잘 구현됐는지 검증할지도 정하고요. 저희는 환경이 세 가지인데, 그 각각에서 어떻게 검증할지까지 고리를 설계하는 데 하루를 다 씁니다.
그러면 퇴근할 때는 엔터 키만 누르고 가면 돼요. 다음 날 아침에 와서 확인하고, 그걸 바탕으로 그날 할 일을 다시 짭니다. 보통 퇴근할 때 에이전트를 네다섯 개 돌려 놓고 가요. 토큰이 많이 드는데, 회사에서 지원을 많이 해 줍니다.
에이전트를 다듬는 일도 있습니다. 평가 에이전트를 맞춰 가려면 사람이 만든 데이터를 바탕으로 한 좋은 데이터세트가 있어야 해요. 조쉬 님 채널의 Arize 편에서도 평가를 강조했잖아요. 제일 중요한 건 데이터입니다.
조정석 | 제 경우는 유튜브에서 찾은 것들을 조각조각 조합해서 쓰는 편이에요. 한모 님이 AI를 어떻게 쓰는지는 문과 출신 분들이 더 궁금해하실 것 같아요.
구한모 | 옵시디언(Obsidian, 노트 앱)을 씁니다. 요일별로 할 일을 적어 두는데 그게 곧 프롬프트가 되고, 어떤 AI 모델을 쓰든 같은 메모리와 스킬을 참고하게 해 뒀어요.
하다 보니 느낀 게 있습니다. 사업에서는 CAPEX(설비 투자처럼 먼저 들이는 돈)와 OPEX(운영하며 계속 드는 돈)를 구분하잖아요. 자동화에도 앞단의 투자가 필요합니다. 개인도 시간이라는 CAPEX를 얼마나 먼저 투자할지 결정해야 하는 시대가 온 것 같아요.
먼저 투자하면 매일의 시간이 얼마나 줄고 판단에 드는 힘을 얼마나 아낄 수 있을지를 따져 보는 겁니다. 저는 이 설정에 주말 동안 꼬박 하루를 썼어요. 지금은 회의를 녹음만 하면 노트가 자동으로 써지고 메모리에 반영돼서, 에이전트에게 맥락을 따로 넣어 주지 않아도 됩니다.
Q. 변화가 정말 빠른데, 앞으로 어떻게 대응하실 계획인가요?
구한모 | 개인이 낼 수 있는 영향이 너무 커졌어요. 그래서 열 배의 성과를 내는 사람, '10x'가 되어야 한다고 생각하고 저도 그러려고 노력합니다.
저희 팀은 사업 전체를 보는 사람이 적어서 제가 내려야 할 의사결정이 많아요. 혼자였다면 못 했을 겁니다. 그래서 세션(AI와 나눈 한 번의 작업 대화)을 대여섯 개 돌리면서 각각을 제 분신이라고 생각하고 결정을 빨리 내리려고 해요. 만화 〈나루토〉의 분신술처럼요.
조정석 | 1년쯤 전 커서를 쓰던 때가 기억에 남습니다. 네이버제트에서 모션 캡처 스튜디오를 만들 때는 예닐곱 명이 1년쯤 걸렸어요. 크래프톤에 와서 비슷한 프로젝트를 했는데 두 명이 3개월에 했습니다. 한 번 해 본 일이라 쉬웠던 면도 있지만, 커서 덕분이었어요.
그때 든 생각이 '사람을 평가하는 기준과 회사가 일하는 방식이 많이 바뀌겠다'였습니다. 1년 사이에 정말 많이 바뀌었고요. 일하는 방식이 이제 좀 수렴하면 좋겠는데 그럴 것 같지는 않아요. 그러니 따라잡고 내 방식을 고쳐 가는 고리를 스스로 돌리는 것이 중요합니다.
AI가 맡을 수 있는 영역이 더 넓어지면 사람에게 남는 가치는 뭘까. 제 결론은 두 가지였어요. 경험과 관계입니다. 저는 책 보고 개발만 하면 되던 엔지니어였는데, 이제는 그런 시대가 아닌 것 같아서 경험과 관계를 챙기려 합니다.
조쉬가 직접 운영하는 AI 솔로프리너 클럽에 초대합니다.
이미 300명이 넘는 분들이 ASC와 함께 성장하고 있습니다.
구글 엔지니어, 토스 PM, 산부인과 전문의, 스타트업 대표까지
— 각자의 자리에서 정상에 선 사람들이 지금 AI로 새로운 도전을 시작했습니다.
그리고 ASC 14기는 단 30명만 함께합니다.
아직 늦지 않았습니다.
지금 시작하는 당신이, 1년 뒤 가장 앞서 있을 솔로프리너입니다.
의견을 남겨주세요