OpenAI CPO 케빈 웨일과 Anthropic CPO 마이크 크리거가 Lenny and Friends Summit에서 진행하여 2024년 11월 6일 공개된 인터뷰 내용을 리뷰해봤습니다.
케빈 웨일 (Kevin Weil)
- 현 OpenAI CPO (Chief Product Officer)
- 전 Facebook VP of Product for Novi
- 전 Instagram VP of Product
- 전 Twitter SVP of Product
- Standford 물리학 석사
- Harvard 수학/물리학 학사
마이크 크리거 (Mike Krieger)
- 현 Anthropic CPO (Chief Product Officer)
- 전 인스타그램 CTO (Chief Technology Officer)
- Standford Symbolic Systems 석사/학사
AI 제품 개발의 특이점
- AI의 능력은 거의 2달에 한번씩 극적으로 달라짐
- 제품 개발팀은 새로운 능력을 제품화하기 위해 빠르게 움직여야 함
- 제품의 로드맵을 만드는 것은 유동적이고 불확실함
- 지금까지 존재하지 않았던 능력들이 나타나서 어떻게 제품화할 수 있을지 고민해야 하는 순간들도 종종 발생함
- 일반적으로 기업 고객이 솔루션을 도입하는 데에는 6개월 이상의 시간이 걸림
- 기업 고객들은 최소 60일 정도 먼저 신기능 출시에 대한 정보를 알고 싶어함
- 내부적으로도 리서치팀에서 어떤 새로운 능력을 발견해낼지 모르기 때문에 기업 고객의 요구에 대해 대응하기가 어려움
모델의 정확도와 제품의 가치
- 모델의 정확도가 100%가 될때까지 제품 출시를 기다리면 안됨
- 60%의 정확도를 가지고도 제품을 잘 구성하면 고객에게 가치를 제공할 수 있음
- GitHub Copilot의 경우 GPT2 기반의 부족한 성능이었지만 제품으로 출시됨
- 사용자의 역량이 모델의 불완전한 성능을 보완할 수 있기 때문
프로덕트 매니저가 갖춰야 할 스킬
- 기술에 대한 깊은 이해도가 있어야 함
- 모델 성능 평가를 직접 계획하고 수행할 수 있어야 함
- AI 모델을 가지고 직접 프로토타입을 작성할 수 있어야 함
- LLM 특유의 불규칙한 답변을 이해하고 대응할 수 있어야 함
- 리서치팀과 자유롭게 소통이 가능해야 함
AI 트렌드
- 사람이 뭔가 행동을 하기 전에 선제적으로 제안을 하는 AI
- 오랜 시간이 걸리는 작업의 비동기적 실행
- OpenAI o1 모델과 같은 추론/탐색을 통한 성능 개선
- 컨텍스트를 숙지해서 적절한 행동을 결정하는 AI
- 서로 다른 강점을 가진 여러 모델들을 조합해서 사용하는 멀티 모델 아키텍처
리뷰
이번 영상에서는 OpenAI와 Anthropic 이라는 첨단 AI 기업의 CPO가 나란히 앉아 각자 갖고 있는 고민들을 나누고, 앞으로의 AI에 대한 비전을 나누었습니다. 이런 자리가 기획된 것 자체가 신선하다고 생각했는데, Lenny라는 한 개인이 자신의 이름을 따서 Lenny Summit이라는 행사를 기획해서 이런 자리를 만든 게 또 대단하다고 생각이 들었습니다. 개인의 브랜드가 정말 중요해진다는 게 새삼 와닿네요. Lenny Rachitsky에 대한 영상도 나중에 있다면 한번 다뤄봐야겠습니다.
그리고 요즘에 Paypal 마피아라는 얘기가 있지만, 공교롭게도 Kevin과 Mike는 각각 Instagram의 VP of Product, Chief Technology Officer로 근무한 이력이 있고 석사도 Stanford에서 받는 등, 같은 직장과 같은 학교 출신이라는 공통점이 있었네요.
일단 서로 다른 두 회사지만, Anthropic의 CEO 다리오 아모데이가 OpenAI 출신이기도 하고, OpenAI 멤버의 다수가 Google 출신이기도 해서, 기업 내부의 분위기는 거의 비슷한 것 같습니다. 리서치팀에서 정형원 박사나 노암 브라운 박사 같은 분들이 모델과 관련된 여러 연구들을 진행하면, 이런 연구 결과로부터 제품에 대한 아이디어를 얻고, 제품화를 진행하는 방식이라는 것을 알 수 있었고요, 이 연구 결과라는 게 굉장히 예측이 어려워서 제품화 방향을 잡고 고객과 커뮤니케이션하는 것이 쉽지 않다는 것도 알 수 있었습니다.
다른 인사이트로는 CPO의 주요 자질 중의 하나로 "기술에 대한 높은 이해도"를 꼽았다는 건데요, 직접 박사급 연구원들과 연구 결과에 대해 논할 수 있으면서, 직접 제품의 프로토타입을 만들 정도의 개발 능력 그러면서도 고객의 기대치를 관리하는 문과적인 능력이 필요하다는 이야기가 인상적이었습니다.
이제는 정말 한가지만 정말 잘하는 전문가로도 부족하고, 마치 레오나르도 다빈치처럼, 한 사람이 개발도 하고, 연구도 하고, 제품도 기획하고 고객을 직접 만나는 르네상스형 인간이 되어야 되는 건가 싶은 느낌이 들었는데요. 여러 경로를 통해 접하는 인사이트들이 모두 이 방향을 가르키는 것을 보며 무엇이든 처음부터 끝까지 직접 만들어보는 통합적 경험이 점점 중요해진다는 확신을 갖게 됩니다.
수익화와 관련해서는 아직 명확한 답이 없다고 솔직하게 얘기하는 부분이 눈에 띄었는데요. 가령 어떤 변호사가 시간당 $1,000불을 주고 6시간동안 법률 개요를 작성했어야 하는 일을 OpenAI o1을 이용해서 5분만에 완수했다고 하면, o1 모델의 사용료를 어떻게 책정하는 게 맞을거냐는 고민도 있을 수 있겠지요. 현재는 토큰 개수에 비례해서 과금이 되고 있는데, 어떤 사람들은 이마저도 비싸다고 얘기할 수 있고 위의 사례처럼 품질만 보장된다면 충분히 싸다고 생각하는 사람도 있을 수 있을 겁니다.
다만 확실하게 얘기해주는 것은 "광고는 현시점에서 고려하고 있지 않다."는 것과 "앞으로도 무료 모델은 계속 제공하겠다."는 것인데요, 아마 그런 고민 속에서 이번에 출시된 Anthropic MCP (Model Context Protocol)이 등장한 것으로 이해됩니다. 여러 다양한 앱과의 연동을 전담해줄 서버를 유료로 제공할 수 있을테니까요. 이 기회는 Anthropic만 누리는 게 아니라 이 규격에 따라 서버를 만드는 모든 기업에게 기회가 있을 듯 합니다.
이밖에 distillation을 이용한 작은 모델, 음성 인터페이스 그리고 학습을 위한 개인 AI 튜터에 대한 방향성이 추가로 언급되었습니다. 실제로 음성 인터페이스의 경우에는 앞으로 로봇들이 보급되기 시작되면 점점 보편화될 인터페이스라고 생각이 되는데요, 작은 전문화된 많은 모델들과 이를 관리하는 지휘자 모델로 구성된 "멀티 모델 아키텍처"와 "음성 인터페이스", 그리고 그걸 잘 활용해서 "AI 튜터", "AI 의사", "AI 변호사", "AI 펀드매니저"와 같은 서비스들을 만들 수 있을 듯 합니다.
의견을 남겨주세요