Nvidia에게 수백억 투자 받은 AI 스타트업 트웰브랩스는 어떻게 시작했을까

엔비디아에게 수백억을 투자 받은 한국 스타트업은 트웰브랩스가 처음일 거에요. 실리콘밸리의 명망 있는 VC들도 투자에 참여했고요. 창업한 지 5년도 되지 않은 회사이지만, 누적 투자 금액이 1000억이 넘었습니다.

트웰브랩스가 창업을 시작했던 2021년에는 AI 씬이 이렇게 뜨겁지 않았어요. 그럼에도 불구하고 비디오 파운데이션 모델이라는 분야에 도전을 한 거였고요. 석박사 졸업생도 아닌, 학부 졸업생들이 시작한 회사였습니다. 창업자들은 어떻게 이런 어려운 문제에 뛰어들 수 있었을까요? 트웰브랩스의 창업자들에게 물어보았습니다.

👉🏼 이런 분에게 추천하는 글이에요

어려운 문제에 도전하고 싶지만, 한편으로는 불안한 분
트웰브랩스는 어떤 제품을 만들어 누구에게 판매하는지 궁금한 분
앞으로 AI 씬에서 더 중요해질 키워드가 무엇인지 궁금한 분

💎 하이라이트

잘못하면 여태까지 노력한 게 수포로 돌아가는 거 아닐까, 이런 생각은 당연히 했었죠. 그런데 그건 모든 스타트업들이 가지고 가는 것 같아요. 오히려 무식하게 들어가서 버틸 수 있었던 것 같아요.
이미지나 텍스트 모델이 엄청 커질 거라는 생각이 들었죠. 우리가 이 트렌드를 올라 탈 수 있는 방법이 뭘까 고민했어요.
앞으로 메타 데이터는 다 임베딩으로 바뀔 거라고 봤어요.
유튜브가 추구하는 검색과 트웰브랩스가 생각하는 검색이랑 방향성이 조금 달라요. 유튜브는 사용자들이 무언가를 타이핑해서 첫번째에 노출된 영상을 클릭하길 원하거든요.
저희는 정말 많은 영상 속에서 원하는 장면을 정확하게 찾는 것에 최적화 되어 있고요. 그래서 미국 경찰청, 군대, 미국 4대 스포츠 리그처럼 엔터프라이즈 회사들이 저희의 고객이 됩니다.

📕 배경 설명

Q. 트웰브랩스는 어떤 회사인가요?

동영상계의 Ctrl + F 기술을 만들고 있는 회사에요. '명함이 나온 동영상 장면을 찾아줘' 라고 검색하면, 자막이 없는 동영상에서도 정확히 명함이 나온 장면들을 찾아 줄 수 있는 기술인 거죠. 영상 검색은 정말 어려운 기술이었기 때문에, 전세계에서 어떤 회사도 큰 성과를 만들어내지 못하고 있는 분야였어요.

최근에는 비디오의 내용을 텍스트로 설명해주는 기능도 출시했어요.

Q. 창업가는 어떤 사람들인가요?

공동창업자 세 명은 국군 사이버작전사령부에서 부대원으로 처음 만났어요. 군대에서의 인연이 결국 창업까지 함께하게 되었습니다. 대학원에서 석박사를 받은 것이 아니였음에도, 컴퓨터비전 최고 권위의 학회 ICCV에서 주최한 글로벌 AI 영상인식 대회의 영상 검색 부문 우승을 했고요.

🕵🏼‍♂️ 창업가 인터뷰

Q. 너무 어려운 문제를 선택해서, 시간을 버릴 수 있다는 것에 대한 두려움은 없었나요?

잘못하면 여태까지 노력한 게 수포로 돌아가는 거 아닐까, 이런 생각은 당연히 했었죠. 그런데 그건 모든 스타트업들이 가지고 가는 것 같아요. 저희는 오히려 무식하게 들어가서 버틸 수 있었던 것 같아요. 같이 만들어 나가는 게 재밌었어요. 이만큼 어려운지도 몰랐고요. 주어진 문제를 하나씩 열심히 풀자는 단순한 마인드로 여기까지 온 것 같아요. 다만 이게 진짜 문제인지 아닌지, 우리가 해결할 수 있는건지 아닌지에 대해서는 토론을 많이 했었어요.

저희는 세상에 거의 나와있지 않은 기술들을 연구해서 만들어가는 건데, 그만큼 애매모호한 게 없거든요. 그렇기 때문에 여기서 뭔가를 이루면 회사가 가져갈 수 있는 기회의 크기가 엄청 크다는 걸 알고 있어요. 그래서 지금도 진짜 어려운 문제를 푸는 게 좋다고 생각합니다.

Q. 비디오 파운데이션 모델을 만들어야겠다는 확신은 어디에서 왔나요?

2017년에 Attention is all you need 논문이 나오고, 언어 모델이나 이미지 모델은 데이터를 훨씬 더 많이 넣으면 성능도 훨씬 좋아지겠다는 인식이 생겼어요. 이미지나 텍스트 모델이 엄청 커질 거라는 생각이 들었죠. 우리가 이 트렌드를 올라 탈 수 있는 방법이 뭘까 고민했어요.

언어 모델을 만드는 회사가 되어야 할까, 이미지 검색하는 회사가 되어야 할까 생각했는데, 이미 늦은 것 같더라고요. 그런데 멀티모달 영상 쪽 분야는 연구가 많이 안 되어 있더라고요. 우리가 들어가서 비디오 언더스탠딩 모델도 스케일링 하면 좋아진다는 걸 보여줄 수 있으면, 임팩트 있는 결과를 낼 수 있겠다는 생각이 들었어요. 이전에는 비디오 데이터를 더 많이 학습시킨다고 해서, 모델이 더 좋아지지는 않았거든요.

Q. 비디오 파운데이션 모델을 만든다고 했을 때 주변 반응은 어땠나요?

말도 안되는 비즈니스라고 했어요. 당시에는 ChatGPT도 없고, GPT3 모델만 막 나와 있는 상태였거든요. VC 분들도 AI 모델을 학습하는데, GPU 몇천대가 들어가야 한다는 걸 이해하지 못하셨어요. 한번 트레이닝 할 때 수십억씩 든다는 게 말이 안되는거죠. 저희는 거기에 베팅을 한 거에요. 앞으로 메타 데이터는 다 임베딩으로 바뀔 거라고 봤어요. 임베딩을 위해서 학습을 시키는 거고요.

Q. 모델 학습 비용이 정말 크긴 하네요.

그래서 작은 실험들을 돌리고, 여기에 데이터를 더 많이 학습시킬 때 제대로 돌아갈 것 같은지 확실히 검증하는 프로세스들을 거쳐요. GPU를 다 태우기 전에 어느정도 확인을 하는거죠.

Q. 유튜브를 소유한 구글이 경쟁자로 뛰어들 위험은 없나요?

유튜브가 추구하는 검색과 트웰브랩스가 생각하는 검색이랑 방향성이 조금 달라요. 유튜브는 사용자들이 무언가를 타이핑해서 첫번째에 노출된 영상을 클릭하길 원하거든요. 플랫폼에 더 오래 남아 있게 만들고, 더 많은 광고를 노출시키는 것이 목표니까요. 그래서 검색어에 딱 맞는 정확한 검색 결과를 찾는 것보다, 사용자가 클릭할만한 결과를 노출시키는 것에 최적화 되어 있어요.

저희는 정말 많은 영상 속에서 원하는 장면을 정확하게 찾는 것에 최적화 되어 있고요. 그래서 미국 경찰청, 군대, 미국 4대 스포츠 리그처럼 엔터프라이즈 회사들이 저희의 고객이 됩니다. 세상에 존재하는 대부분의 영상이 유튜브, 틱톡에 있을 거라고 생각하시는 분들이 많아요. 사실 플랫폼에 노출되어 있지 않은 영상들이 정말 많습니다. 저희에게 문의 주시는 고객들은 거의 다 30페타 바이트 이상의 영상 데이터를 가지고 있다고 말해요.

Q. 세일즈 할 때 타겟 페르소나를 선정했나요?

지금까지 아웃바운드 세일즈를 못하고, 인바운드로 연락 오신 고객분들 위주로 대응하고 있어요. 영상 이해에 대한 니즈가 정말 많았구나라는 확신이 들었습니다. 저희가 공개한 영상 검색 API를 사용할 수 있는 플레이그라운드가 있어요. 3만명이 넘는 개발자 분들이 쓰고 있는데요. 그걸 쓰던 직원이 트웰브랩스를 알게 되고, 연락하는 경우가 많아요.

Q. 플레이그라운드는 리드를 만들기 위한 세일즈 도구였군요?

맞아요. 엔터프라이즈 고객분들이 들어오실 수 있는 퍼널인 거죠. 창업자나 PM은 제품을 테스트하고 싶지만, 코드를 써야하면 힘들어 하거든요. 그래서 빠르게 모델 성능을 테스팅할 수 있는 공간을 만들어보자는 생각으로 시작했어요.

Q. 연락 오는 고객들이 원하는 건 무엇인가요?

돈을 많이 써서 진짜 많은 영상을 만들어 놓았는데, 어떻게 가치를 최대화 할 수 있을지 고민하는 엔터프라이즈 고객사들이 저희를 찾아와요. 이미 본인들이 보유한 데이터의 양이 너무 방대하기 때문에 그걸 가치로 만들기는커녕, 그 데이터를 관리하는걸 버거워하고 있는 상태이기도 해요. 그런 엔터프라이즈 고객들을 위해서는 검색도 잘되어야 하고, 요약도 잘되어야 합니다. 그들이 사용하는 개발 환경에 쉽게 돌아갈 수 있어야 하고요. 그리고 데이터나 모델이 도용되지 않을 거라는 심리적 안정감도 드려야 해요. “트웰브랩스 모델에 자사 데이터를 집어 넣어서 파인 튜닝을 하면, 트웰브랩스도 이런 모델을 만들 수 없겠구나” 이런 생각이요.

Q. 고객을 선정할 때는 어떤 기준이 있나요?

수요가 많을 때는 예스보다, 노를 잘하는게 되게 중요하더라고요. 니치한 제품을 만들고 있다면 어떤 고객이 연락오든 모든 기능 다 만들어 줄 수 있다고 말하겠지만, 그런 상황이 아니니까요.

저희의 이상적인 고객은 이미 영상 데이터를 정말 많이 가지고 있어야 하고, 매일 새로운 영상이 생성되는 비즈니스를 하시는 분들이에요. 내부에 훌륭한 테크니컬 팀이 있어서 저희 제품을 잘 활용할 수 있어야 하고요.

또, 윈윈할 수 있는 클라이언트인지에 대해서 많이 토론해요. 영상이해모델 개발사로서는 고객분들이 어떻게 영상 데이터를 사용하고 있는지 옆에서 보고 듣는게 굉장히 큰 인사이트거든요. 비디오 데이터를 텍스트처럼 쉽게 다룰 수 있는 인터페이스를 만들고 싶다는 욕구가 커요. 이런 저희의 비젼과 얼라인되는 고객분들을 만나면 목숨 걸고 도와드리죠.

Q. 눈 여겨보면 좋은 연구 주제가 있을까요?

에이든) 제일 중요한 트렌드 중 하나는 에이전트 시스템인 것 같아요. 지금 대부분의 서비스는 질문에 대한 답변을 주는 것 밖에 없거든요. 에이전트는 거기에서 나아가 액션까지 취한다는 차이가 있고요. UX의 혁신인거죠. 그럼에도 에이전트의 코어는 파운데이션 모델이 될 것이고요. 파운데이션 모델을 활용해서 어떻게 워크플로우를 바꿀 수 있을지가 중요한 질문이 될 것 같아요.

제이) 온디바이스 AI가 정말 큰 역할을 할 것 같아요. 단순히 언어 모델 올리는 것 말고, 멀티모달을 온디바이스 (on-device)에서 돌아갈 수 있게 하는 것이요.

Q. 트웰브랩스는 연구 조직 같기도, 사업 조직 같기도 해요.

저희는 사이언티스트와 엔지니어가 한 조직에 있는 구조에요. 사이언티스트는 항상 불확실한 것들을 탐구하는 분들이고요. 엔지니어는 불확실성이 있으면 안되는 분들이에요. 둘 다 코딩을 한다는 공통점이 있지만, 반대되는 성향을 가지고 있는거죠.

저희는 모델을 제품화시키는 팀이기 때문에, 사이언티스트와 엔지니어의 마인드셋을 모두 가지고 있는 분들이 필요한 것 같아요. 엔지니어 팀원분들에게는 과학자의 마인드셋을 가지면 좋겠다고 말씀드리고, 리서처 분들에게는 엔지니어링 마인드셋을 가지면 좋겠다고 말씀 드려요. 그래야 새로운 것들을 발견하면서도, 프로덕션으로 내보낼 수 있으니까요.

Q. 공동창업자들은 사이언티스트로 시작했나요?

저희가 군대에서 만났는데요. 사령부에 있으면 리서치부터 엔지니어링까지 다 할 수 있어야 했어요. 연구부터 모델 아키텍쳐 잡고, 트레이닝하고, 배포하고, 대시보드 만드는 것까지 다 직접했어요.

Q. 올해 엔지니어링 관점에서 풀고 싶은 챌린지는 무엇인가요?

비디오 파운데이션 모델을 정의하고, 운영할 수 있는 인프라를 만들고 있어요. 영상 데이터를 다루고 있기 때문에 정말 많은 양의 데이터를 처리해야 하거든요. 데이터를 굉장히 빠르게 프로세싱하고, 모델 결과값을 유저에게 던져주는 레이턴시를 획기적으로 줄이는게 올해의 목표에요.

한국에 있는 대다수의 ML 회사들은 테이블 데이터를 처리하는 것 같아요. 구글 빅쿼리나 태블로 데이터 위에서 대용량 처리를 하는거죠. 저희는 테이블 데이터가 아닌 언스트럭처 데이터의 끝판왕인 영상을 다루고 있어요. 그래서 한단계 더 챌린징한 과제인 것 같아요. 아무래도 기존에 없던 기술을 새롭게 만들어가는 것이다보니까요.

Q. 한국에서 그런 경험을 한 분이 많지는 않을 것 같아요.

저희는 꼭 관련 분야 경험에 의존하고 있지는 않아요. 기존 본인의 분야에서 본인만의 생각이나 철학을 가지고 기본기를 탄탄하게 잘 쌓아오신 분이라면, 합류하신 이후에 빠르게 배우면서 저희와 같이 해나갈 수 있다고 생각해요. 그래서 본인의 전문분야를 확장시키고자 하는 분, 글로벌 시장에서 제품을 만들어보고 싶은 분들이 잘 맞을 것 같아요. 저희가 중요하게 생각하는게 지적 호기심이랑 willingness to learn이거든요.