"프롬프트 잘 쓰는 사람이 따로 있나요? 어차피 다 같은 모델 쓰는 거잖아요."
요즘 자주 듣는 말이죠. 실제로 그렇게 보이기도 합니다. LLM이 나온 뒤로 CSS를 못 쓰던 사람도 그럭저럭 쓰게 됐고, 안 해본 언어로도 어찌어찌 굴러가는 코드가 나오니까요. 누구나 제너럴리스트가 된 마당에 프롬프트 기술이라는 게 따로 있겠냐는 생각이 드는 것도 무리는 아닙니다.
그런데 GitHub에서 일하는 Sean Goedecke가 이 통념을 정면으로 반박하는 글을 지난달 말에 올렸습니다. Hacker News를 거쳐 국내 긱뉴스까지 넘어왔죠. 그가 근거로 든 건 테렌스 타오의 ChatGPT 대화록입니다. 필즈상 수상자이자 현존 최고 수학자로 꼽히는 그 사람이요. 야코비안 추측 반례를 두고 타오가 ChatGPT와 주고받은 대화록이 공개됐는데, Goedecke는 그걸 읽고 이렇게 적었습니다.
"이건 제가 쓰는 그 ChatGPT가 아닌데요."
같은 모델입니다. 계정이 특별할 것도 없고요. 그런데 토큰을 아무리 써도 자기는 타오가 도달한 자리까지 못 간다는 겁니다.
타오는 무엇을 다르게 했나
대화록에서 눈에 띄는 건 크게 두 가지입니다. 하나는 타오가 쓰는 메시지가 아주 짧다는 것. 모델이 여러 항목을 늘어놓아도 하나하나 받아치지 않고 요지에만 대응합니다. 그러니 모델 답변도 덩달아 짧아지죠. 전문성이 드러나는 순간 모델이 아마추어에게 설명하는 투를 버리고 동료에게 말하듯 바뀌는 것 같다고, Goedecke는 조심스럽게 덧붙입니다.
다른 하나는 밀어붙이는 방식입니다. 답이 틀려 보여도 타오는 그건 틀렸다고 선언하지 않습니다. 기대했던 것보다 복잡해 보인다는 식으로 슬쩍 되돌려놓고, 모델이 스스로 재검토하게 만들죠. 그러면서 모델이 제안한 다음 단계는 거의 따르지 않습니다. 방향 전환과 대안은 자기가 만들어 던집니다.
여기까지만 보면 따라 할 수 있을 것 같죠. 짧게 쓰고, 요지만 받고, 부드럽게 밀면 되는 거니까요. 그런데 Goedecke는 그게 안 된다고 못 박습니다.
형식만 흉내 내면 안 되는 이유
타오 기법의 핵심은 대화 형식이 아니라 수학을 실제로 아는 것이기 때문입니다. ChatGPT가 쏟아낸 여러 문단에서 관련 있는 아이디어 하나를 골라내는 것도, 다른 정식화를 제안하는 것도, 무엇보다 이 부분이 이상하다고 짚어내는 것도 전부 수학 지식이 있어야 가능한 일이죠.
짧게 쓰는 건 흉내 낼 수 있지만, 무엇을 짧게 쓸지는 흉내 낼 수 없습니다.
코드베이스로 옮기면
Goedecke는 자기 일에서도 같은 걸 겪었다고 합니다. 코드베이스에 대한 자기만의 이론이 서 있으면 LLM을 훨씬 세게 밀어붙일 수 있다는 거죠. 좋은 해법이 어떤 모양일지 감이 있으니까 "여기는 더 단순해질 수 있을 것 같은데요", "그거 우리 이미 하고 있지 않나요", "이 문제를 우리가 쓰던 용어로 다시 써볼 수 있을까요" 같은 말을 던질 수 있는 겁니다.
그는 여기서 예전에 썼던 주장을 다시 꺼냅니다. 시스템 설계 문제는 일반 원칙이 아니라 구체적인 세부 사항이 지배한다는 것. 둘 다 유용하지만 굳이 하나를 고르라면, 소프트웨어 시스템에 대한 깊은 일반 지식보다 자기가 맡은 코드베이스에 대한 친숙함을 택하겠다고 하죠.
그래서 결론은
도메인 지식이 없어도 LLM에 매달려 최소한의 결과는 얻을 수 있습니다. 그는 그게 나쁘다고 말하지 않아요. 다만 지식이 있으면 같은 LLM에서 훨씬 더 많은 걸 짜낼 수 있다는 겁니다. 우리 대부분은 어떤 영역은 알고 어떤 영역은 모르니까 실제로는 두 방식을 섞어 쓰게 되죠.
많은 작업에서 병목은 모델이 아니라 인간이라는 것. 원하는 해법이 정확히 어떤 종류인지 모델에게 전달하는 게 어려운 부분이고, 정보 자체는 이미 모델 안에 들어 있다는 겁니다.
이 글에 달린 반박도 같이 봐야 합니다
Goedecke는 글 말미에 Hacker News 반응을 직접 덧붙여 놨는데, 여기가 오히려 재밌습니다. 자기 경험담으로 동의한 사람도 있었지만, 내가 아직 쓸모 있다고 안심시켜 주는 주장일수록 의심하는 게 합리적이지 않냐는 지적도 나왔죠. 듣고 싶은 말이라서 믿는 것 아니냐는 얘기고, Goedecke 본인도 일리 있다고 인정합니다.
또 누군가는 OpenAI가 모델에게 수학 문제를 풀게 할 때 쓴 프롬프트가 전혀 전문적이지 않았으니 전문성이 필수는 아니라고 반박했습니다. 이에 대한 답이 이 글에서 제일 실용적이에요. OpenAI에는 모델이 내놓은 결과를 검증하고 걸러낸 수학자들이 따로 있었고, 그 단계는 지금으로선 건너뛸 수 없다는 겁니다. 전문성이 프롬프트에서 빠지면 검수 쪽에서 나타나죠. 어디선가는 사람이 판별해야 한다는 말입니다.
여기서 제가 건진 것
지난 호에서 AI가 이력서를 대신 써주면서 검증이 서류에서 면접으로 옮겨갔다는 이야기를 했습니다. 이 글은 그 다음 이야기예요. 만드는 건 쉬워졌는데 같은 도구를 써도 결과는 갈립니다. 갈리는 자리가 어디냐가 이 글의 답이고, 그게 전문성이죠.
그러면 조금 불편한 결론이 따라옵니다. LLM은 실력 격차를 좁히는 게 아니라 벌린다는 겁니다. 아는 사람은 같은 모델에서 더 많이 꺼내가고, 모르는 사람은 그럭저럭 괜찮은 데서 멈춥니다. 둘 다 결과물은 나오니까 그 순간에는 차이가 안 보일 뿐이죠. 차이는 나중에 드러납니다. 면접관이 이력서에 적힌 한 줄을 짚고 "이거 실제로 어떻게 하셨어요" 하고 한 단계만 더 들어갈 때요.
주니어 입장에서 무섭게 들릴 수 있는데 저는 반대로 읽었습니다. 전문성이 여전히 보상받는다는 건 지금 쌓는 게 헛되지 않다는 뜻이기도 하니까요. 다만 쌓는 방식이 바뀝니다. 일반론이 아니라 내가 맡은 시스템에 대한 구체적인 지식, 그리고 LLM이 쏟아낸 답에서 뭔가 어긋났다는 걸 알아채는 감각. 뒤엣것은 답을 아는 것과 다릅니다. 틀린 걸 틀렸다고 느끼는 건, 한 번 직접 틀려보고 그걸 되돌려봐야 생기죠.
타오가 야코비안 추측에 대해 던지는 질문을 저는 못 던집니다. 그런데 제가 맡은 서비스에 대해서는 던질 수 있어요. 이력서 특강에서 제가 문장을 걸러낼 때 보는 것도 결국 그 질문의 개수입니다. 고유명사와 수치가 없어서 옆자리 지원자 이력서에 붙여도 그대로 말이 되는 문장, 한 단계만 더 물으면 막히는 문장, 처음부터 끝까지 잘 풀린 것처럼 적힌 문장. AI 시대에 전문성이 남는다는 말은, 이력서에 쓸 게 달라진다는 말이기도 하죠.
혹시 지금 이력서를 쓰고 계시다면 저것들이 실제로 문장에 들어가 있는지 한 번 보셔도 좋겠습니다. 제가 최근에 만든 DevPill 커리어가 그 대조를 문장 단위로 해주는 도구인데, 총점을 매기는 쪽이 아니라 걸리는 문장을 지목하는 쪽입니다. 무료이고 PDF 한 장이면 됩니다.
그 감각이 붙는 데는 시간이 좀 걸립니다. 저도 아직이고요 :)
의견을 남겨주세요