AI 개발자 도구 Cursor 개발팀이 유튜브 채널 Lex Fridman과 진행하여 2024년 10월 7일 공개된 인터뷰 내용을 리뷰해봤습니다.
Cursor 개발자 도구
- Visual Studio Code 기반 AI 코드 에디터
- 코드 자동 완성, 에러 탐지, 대화 기반 코드 생성
- GPT4, Claude Sonnet 3.5 등 프론티어 모델과 연동
탐색 기법의 가능성
- 지금까지는 확장의 법칙에만 의존해 왔지만, 생각해보면 지금의 1000배의 돈을 들여 더 큰 모델을 만든다고 했을 때 그 능력을 온전히 다 필요로 하는 질문은 전체의 0.1%도 되지 않을 것
- 그렇다면 그런 질문을 처리하기 위해 지금의 1000배 규모의 모델을 만들고 99.9%의 시간을 놀리는 것보다는 소형 모델로 다소 긴 시간 정답을 찾아가는 게 더 비용합리적
- 하지만 탐색 기법은 아직 어떻게 동작하고 설계하는지 완전히 공개되어 있지 않아 재현하기가 어려움
- 아마도 트리 탐색을 사용하는 것 같은데, 이걸 어느 시점에 얼마나 활용하는지 정확한 레시피는 알기 어려움
(확장의 법칙은) 데이터 벽에 부딪히기 시작했고, 이는 이 시스템을 계속 확장하기 어렵다는 것을 의미합니다.
프로세스 보상 모델
- 탐색이 잘 동작하려면 탐색할 대상, 그러니까 프로세스에 대한 검증이 필요함
- 언어 모델이 내부적으로 생각의 사슬의 기법으로 문제를 풀어나갈 때, 각 단계가 맞는지 프로세스 보상 모델에게 질의하고 확인을 받도록 구성
- 프로세스 보상 모델 역시 다른 모델들처럼 데이터셋을 가지고 학습을 해서 만듦
- 2023년 여름 경 OpenAI에서 외주를 줘서 10만건의 생각의 사슬 데이터셋을 만들었다는 논문이 발표됨
- OpenAI o1 모델은 생각의 사슬을 대상으로 한 프로세스 보상 모델이 적용된 것으로 보임
- 아직 프로세스 보상 모델을 사용하여 트리 검색 및 코딩을 수행하는 사례는 발견하지 못함
OpenAI의 비공개 방침
- OpenAI는 모델의 사고 과정을 사용자에게 직접 보여주지 않는 정책을 채택
- 뿐만 아니라 기존에 API 응답으로 확인 가능했던 입출력 토큰에 대한 로그 확률 정보가 차단됨
- 아마도 리버스 엔지니어링으로 o1의 설정값들을 역산하는 시도를 막기 위해서일 것으로 추측
- 아직 여러 기능에서 제약도 있음, 가령 스트리밍이 안됨
- 언어모델에 트리 탐색을 조합하는 방법은 아직 초기이기 때문에 앞으로 더 개선이 될 것으로 기대
리뷰
저 역시 Cursor가 나오자 마자 곧바로 IDE를 Cursor로 갈아탄 사람 중의 한명인데요, 자동완성의 속도나 완성도, 라인레벨에서의 리팩토링 능력과 커맨드라인에서의 활용도 등 기존의 Copilot류의 코드 생성 도구에 비해 압도적인 사용자 경험에 크게 만족하며 사용중입니다.
역시 샘 알트만이 일찌기 얘기했듯이, 모델의 성능보다 정말 사람들에게 큰 호응을 얻어내는 것은 유저 인터페이스, 즉 사용자 경험인 것 같습니다. 또한 얼마전에 OpenAI 노암 브라운 박사의 계획세우기에 대한 강연을 리뷰했던지라 이번 Cursor 개발팀의 인터뷰가 한층 흥미롭게 다가왔습니다.
OpenAI의 역사에서 가장 중요한 순간은 ChatGPT의 등장입니다. 사실 GPT 모델의 버전은 그다지 중요하지 않았어요. 중요한 건 사용성이었죠. 채팅이라는 인터페이스와 답변의 품질을 강화학습(RLHF)으로 개선한 것 이 두가지가 정말 결정적이었습니다.
OpenAI CEO 샘 알트만
한가지 인사이트는, 누군가가 논문으로 발표한 아이디어들을 다시 누군가는 빠르게 도구화해서 상품을 개발해낸다는 것이네요. 그리고 찾아보니까 Cursor 투자자 중에 바로 Google의 제프 딘과 OpenAI의 노암 브라운 박사가 끼어있군요. 더 찾아보니까 20% 지분에 대해 $60M 투자를 받은 것이라 하니 기업가치를 $300M, 한화로는 약 4,000억원으로 평가를 받은 모양입니다. 4명의 공동창업자가 있으니 단순 계산으로 한사람당 1,000억원씩의 지분가치를 갖게 되었네요.
Cursor의 사례를 보면서 업계의 동향을 민감하게 감지하고, 빠른 실행력으로 제품을 만들어내는 팀에게 큰 보상이 돌아간다는 것을 다시 한번 확인하게 됩니다. 저 역시 영상들을 리뷰하면서 업계의 동향이 조금씩 눈에 들어오기 시작합니다. 모쪼록 보시는 분들께도 도움이 되면 좋겠습니다.
의견을 남겨주세요