AI 시대의 진정한 경쟁력은 "취향"입니다

2026년도 이제 절반이 지났습니다. 연초 다보스 포럼에서 "AI가 AI를 만드는 시대"라는 선언이 등장한 이후 실제로 업계는 숨가쁘게 이 트렌드에 올라탔습니다. 그리고 이내 새로운 용어가 다시 등장했죠. 바로 "루프 엔지니어링"입니다. 프롬프트 엔지니어링, 컨텍스트 엔지니어링에 이어 하네스 엔지니어링, 뭐가 많기도 하다 싶은데 또 등장한 루프 엔지니어링이라는 말은 "이건 또 뭔가" 싶지만, 사실 그 개념은 매우 간단합니다. 바로 "하네스 엔지니어링"을 더 이상 사람이 아닌 AI가 루프를 돌며 "최적화"해준다는 것입니다.

실제로 저는 지난 4월, Arize Skills로 '스스로 정확도를 높이는 RAG'를 만들며 이 루프를 직접 돌려본 적이 있습니다. 사람이 파라미터를 조정하고, 재인덱싱하고, 다시 평가하던 그 지긋지긋한 사이클을 에이전트가 스스로 33번 반복하게 했더니, Recall@5가 아무런 인간의 개입없이 39%에서 75%까지 올라갔습니다.

과정은 간단합니다. 먼저 평가를 수행하여 현재 시스템의 점수를 측정합니다. 제가 만든 RAG 에이전트의 경우엔 그 점수가 39점이었습니다. 그럼 이 점수를 가지고 AI가 가설을 세웁니다. "이렇게 하면 더 나아질 수 있을 것 같아요." 그럼 AI는 곧바로 자신의 생각대로 코드를 수정합니다. 코드가 수정된 다음엔 다시 평가를 수행합니다. 뭔가가 달라졌으니 두번째 실험의 점수는 다르게 측정되겠죠. 이 과정을 반복하면서 AI 모델은 자신이 사전학습을 통해 알고 있는 개선 방법들을 하나씩 실험해봅니다.

혹시 아이디어가 바닥난다면, arxiv.org에서 관련 논문들을 다운받아 클로드 코드에 던져줍니다. 클로드는 다시 여기서 얻은 아이디어로 새로운 가설들을 세우고 검증합니다. 토큰비용을 감당할 수만 있다면 이론상 이 루프는 무한하게 돌릴 수 있습니다. 그 과정에서 우리 인간들이 미처 테스트해보지 못했던 가설을 테스트하게 되고 생각지못한 돌파구들이 발견됩니다.

플랫폼 37

올여름, 영국 런던에서는 구글과 구글 딥마인드 팀들이 새 오피스 ‘플랫폼 37’으로 입주를 시작합니다. 그런데 여기서 37은 번지수가 아닙니다. 2016년 이세돌 9단과 알파고의 두 번째 대국에서 알파고가 둔 제37수를 가리킵니다. "인간이라면 두지 않았을 수, 하지만 승부를 결정지은 묘수"였죠. 구글이 새 오피스에 37을 새긴 이유는 분명합니다. 10년 전 딱 한 번 목격했던 그 창의적 묘수를, 2026년부터는 무궁무진하게 쏟아지게 하겠다는 선언입니다.

딥마인드의 새로운 런던 오피스, 플랫폼 37 상상도

인간이라면 어릴 때부터 배워온 "좋은 수"라는 선입견 때문에 쉽게 지나쳤을 가능성을 알파고는 편견없이 검토하고 실행했습니다. 인간에게는 "수명"이 있기 때문에 모든 길을 직접 걸어볼 수 없습니다. 대신 "저 길은 아닐 것 같다"는 직감과 선입견을 활용하죠. 그래서 우리는 경험적으로 그럴듯한 길을 고르고, 나머지는 포기합니다. 반면 AI는 다릅니다. 비용만 허락된다면, AI는 우리가 지나쳤던 길까지 끝없이 가볼 수 있습니다. 이상한 길, 비효율적으로 보이는 길, 인간이라면 애초에 후보에 넣지 않았을 길까지 말이죠.

이것이 루프 엔지니어링의 본질입니다. AI가 가설을 세우고, 실행하고, 평가하고, 다시 고치는 과정을 반복합니다. 사람은 처음부터 정답에 가까운 길을 찍으려 하지만, AI는 수많은 길을 실제로 걸어본 뒤 점수로 판단합니다. 그래서 때로는 사람이 생각하지 못한 돌파구가 나옵니다. 그래서 클로드 코드를 만든 앤트로픽의 보리스 처니는 이제 개발자의 일은 코드를 한 줄씩 직접 쓰는 것이 아니라 AI가 스스로 실험하고 개선할 수 있는 루프를 설계하는 일에 가까워지고 있다고 말합니다. 

루프의 핵심재료, 데이터셋

이렇게 막강한 루프는 그러나 무한정 돌릴 수는 없습니다. 자동차를 움직이려면 전기나 휘발유가 필요하듯이, 루프를 돌리려면 어떤 결과가 좋은 결과인지, 나쁜 결과인지 판단할 수 있는 "데이터셋"이 필수입니다. 제 실험에서도 허깅페이스에 오픈소스로 공유된 골든 데이터셋이 활용되었습니다.

데이터셋이라는 것 쉽게 말해 무엇이 좋은지, 나쁜지에 대한 기록입니다. 이 답변은 정답에 가깝다. 이 답변은 틀렸다. 이 문서는 관련 있다. 이 문서는 관련 없다. 이 디자인은 우리가 원하는 방향에 맞다. 이 디자인은 그럴듯하지만 우리 브랜드와는 다르다. 이런 판단들이 쌓이면 데이터셋이 됩니다. 데이터셋은 에이전트가 길을 찾는데 기준점이 됩니다.

에이전트는 주어진 데이터셋을 마치 모의고사처럼 한문제씩 풀고, 에이전트의 답변들은 기준이 되는 골든 데이터셋을 이용해 채점합니다. 그럼 채점 결과에 따라 클로드 코드와 같은 코딩 에이전트는 에이전트의 코드 자체를 수정하죠. 그렇게 새 버전의 에이전트가 만들어지면 이 에이전트로 다시 모의고사를 풉니다. 이 과정을 반복함으로써 우리는 프롬프트, 스킬 그리고 에이전트 그 자체를 최적화하는 것이 가능합니다.

이처럼 데이터셋이 루프를 만드는 핵심재료가 되기 때문에 데이터셋의 품질이 그 어느때보다 중요하다고 할 수 있습니다. 운동을 생각해보면 쉽습니다. 잘못된 자세를 좋은 자세라고 알려주는 코치를 만나면, 선수는 열심히 훈련할수록 더 나빠집니다. 성실함이 문제가 아닙니다. 반복이 부족한 것도 아닙니다. 문제는 기준입니다. 무엇이 좋은 자세이고, 무엇이 부상으로 이어지는 나쁜 자세인지 판정하는 눈이 틀려 있으면, 훈련 루프는 성장의 도구가 아니라 망가지는 속도를 높이는 장치가 됩니다. 루프 엔지니어링도 똑같습니다. 잘못된 데이터셋이 기준이 되면, 에이전트는 나쁜 방향으로 최적화됩니다.

취향이 새로운 핵심 역량

이제 업계의 리더들은 한 목소리로 "취향이 새로운 핵심 역량"이라고 말합니다.

이유는 간단합니다. 앞서 데이터셋이라는 것 쉽게 말해 무엇이 좋은지, 나쁜지에 대한 기록이라고 말씀드렸는데, 무엇이 좋은지, 나쁜지에 대한 판단 그 자체는 좋은 취향을 가진 해당 분야의 전문가만이 내릴 수 있기 때문입니다. 가령 저처럼 커피에 대한 취향이 확고하지 않은 사람은 커피 최적화에 사용할 좋은 데이터셋을 만들기 어렵습니다. 다양한 커피를 마셔보고 오랫동안 자신만의 취향을 만들어온 사람만이 많은 사람들이 좋아할만한 커피를 만들 수 있습니다.

그런 의미에서 취향과 데이터셋은 금광석과 금괴의 관계에 가깝습니다. 취향은 금광석입니다. 그 안에는 분명 가치가 들어 있지만, 아직 정제되지 않은 상태입니다. 머릿속에 있는 감각, 말로 설명하기 어려운 판단, “이건 좋은데 저건 아니다”라는 직관은 모두 원석에 가깝습니다. 하지만 그 판단을 하나씩 꺼내어 기록하고, 좋은 예시와 나쁜 예시를 나누고, 왜 좋은지와 왜 나쁜지를 언어화하는 순간 취향은 데이터셋이 됩니다. 다시 말해 금광석이 정제되어 금괴가 되는 것입니다.

그래서 이미 일부 기업들은 "금광석"을 확보하려고 하고 있습니다. OpenAI의 Agent Post-Training 관련 채용공고를 보면, 이 팀의 역할은 모델의 행동을 개선하기 위해 데이터, 환경, 채점기, 훈련 방법, 피드백 루프를 만드는 것이라고 설명되어 있습니다. 특히 흥미로운 대목은 사람의 정성적 판단, 즉 취향을 평가셋, 훈련 데이터, 보상 신호, 모델 개선으로 번역하는 일을 요구한다는 점입니다.

여러분의 취향은 무엇인가요?

좋은 취향은 오직 긴 시간과 많은 시행착오를 통해서만 얻어집니다. 커피의 일가를 이룬 사람들은 맛있는 커피만 맛보지는 않았을 것입니다. 어쩌면 훨씬 많은 경우 맛없는 커피를 맛보아야 했겠죠. 그 숱한 시행착오를 토대로 자신의 취향을 확고하게 쌓아올렸을 것입니다. 그리고 또 한 가지, 좋은 취향을 갖기 위해서는 "열정"이 필요합니다. 오랜 시간 한 분야에서 그 많은 시행착오를 견딘다는 것은, 열정이 있지 않고서는 하기 어려운 일이니까요.

그래서 AI 시대는 여러분에게 묻고 있습니다. 여러분이 열정을 갖고 있는 분야가 무엇인지, 무엇을 할 때 누가 시키지 않아도 자발적으로 시간을 내서 오랜 시간 시행착오를 하는지. 바로 그 자리에, 남들이 쉽게 복제할 수 없는 여러분만의 금광석이 묻혀 있습니다.

산업화 시대에는 돈 때문에 하기 싫은 일을 해야 하는 경우가 많았습니다. 하지만 AI 시대에는, 정말 하고 싶은 일을 해야만 큰 보상이 돌아오는 경우가 많을 것 같습니다. 남들과 똑같아서는, 이미 AI가 공짜로 찍어내는 평균값과 경쟁하는 것에 지나지 않으니까요. AI가 30초에 뽑아내는 그 무난한 100개 안에, 여러분의 자리는 없습니다. 실행이 공짜가 된 시대에 값이 매겨지는 것은 오직 '남들과 다른 것' — 여러분이 오래 사랑해서 남들보다 깊이 파고든, 그 좁고 유별난 골짜기뿐입니다.

부디 여러분만의 금광석을 찾아내시길 바랍니다. 감사합니다.