Divided by Zero에 오신 걸 환영합니다. IT테크, 스타트업 그리고 자본시장에 대한 2차적 사고를 공유합니다.
이번주에(7월 15일) 미라 무라티(Mira Murati)의 씽킹머신랩(Thinking Machines Lab, 이하 TML)이 잉클링(Inkling)이라는 자체 오픈웨이트 모델을 공개했습니다.
재밌는건 작년 10월 TML이 팅커(Tinker)라는 파인튜닝(fine-tuning, 회사가 자기 데이터로 AI 모델을 미세 조정하는 작업) API를 처음 냈을 때는 시장이 거의 주목하지 않았거든요. 무라티가 처음 회사를 만들고 20억 달러 시드 라운드를 받았을 때부터 이 회사가 뭘 만들 건지 애매하다는 반응이 계속 있었고요. 팅커 발표도 그런 반응 중 하나로 흘러갔습니다.
근데 최근 반도체 분석가 딜런 파텔(Dylan Patel)이 세쿼이아 캐피털 팟캐스트 인터뷰에서 흘린 얘기가 조금 흥미로웠는데요. TML이 지금 팅커로 아홉 자리 매출을 굴리고 있다는 겁니다. 즉 연간 매출 1억 달러를 돌파했다는 얘기죠. 다른 회사들이 회사 데이터로 자기 모델을 만들려는 수요가 폭발적으로 늘고 있다는 방증인 셈이고요.
잉클링은 이 팅커 사업 위에 얹은 자체 오픈웨이트 모델입니다. 스펙을 보면 총 파라미터 9,750억 개, 그 중 실제 사용되는 활성 파라미터 410억 개인 전문가 혼합(Mixture-of-Experts, MoE) 구조입니다. 1백만 토큰까지 컨텍스트 창을 다루고, 45조 토큰의 텍스트/이미지/오디오/비디오 데이터로 학습됐고요. 이미지/오디오까지 네이티브로 이해하는 멀티모달 모델이고, 잉클링-스몰(Inkling-Small)이라는 활성 120억 파라미터짜리 경량 버전 프리뷰도 함께 나왔습니다.
의견을 남겨주세요