최근에 주목하는 회사인 Groq의 CEO 조나단 로스가 프랑스 파리에서 열린 Raise Summit에서 벤처 투자자 차마스 팔리하피티야와 나눈 대담을 정리해봤습니다. Groq은 AI의 여러 분야 중에서도 "추론: Inference" 분야에만 집중하는 회사인데요, 실제로 우리가 생성형 AI를 사용할 때 사용자 경험을 구성하는 가장 중요한 포인트인 "응답시간"을 짧게 해주는 기술을 가지고 있습니다.
일전에 리뷰했던 Nvidia CEO 젠슨 황의 인터뷰에서도 Nvidia가 "가속 컴퓨팅"이라는 주제로 추론 성능을 향상시킨 전용 칩을 개발중이라는 이야기가 나왔었는데요, 실제로 생성형 AI 기술이 전방위적으로 확산되면서 "추론"에 대한 수요가 급격하게 증가하는 중입니다.
Groq의 경쟁력
- API 등록 사용자 기준, 30일만에 75,000명의 사용자 유치 (Nvidia는 10만명 사용자 도달까지 7년 소요)
- Groq의 LPU는 Nvidia의 GPU보다 5배에서 10배 이상 토큰 생성 속도가 빠름
- 180B 모델 기준 초당 토큰 출력 속도 (Token Per Second) 기준으로 200 토큰/초 달성
- 2025년 말까지 LPU 150 만장을 생산할 계획 (Nvidia는 2023년도 H100 칩 50만장을 공급)
- 현시점 기준 유니콘 스타트업 (기업가치 1B이상)
- 최신 반도체 공정이 아닌 14나노 기술을 최적화하여 높은 가성비를 달성
Groq을 시작하게 된 과정
- 창업자 조나단 로스는 중졸로 작은 회사에서 프로그래머로 커리어를 시작
- 다니던 회사의 사장이 학교에 다닐 것을 권유
- 학교에 등록은 했으나 이내 자퇴하고 도강으로 듣고 싶은 강의만 수강
- NYU에서 만난 한 지인의 소개로 구글에 입사
- 구글에서 TPU (Tensor Processing Unit) 개발팀에서 근무
- 추론 분야가 급격히 성장할 것을 예상하고 퇴사후 Groq 창업
- 독자적인 추론 전용 칩 LPU (Language Processing Unit)을 개발
앞으로의 AI
- 지금까지는 학습용 칩이 주로 필요했지만 앞으로는 추론용 칩이 대세가 될 것
- 이미 Nvidia도 전체 매출에서 추론으로 인한 매출이 40%대에 도달했고 이 수치는 앞으로 90-95%까지 오를 것으로 추정
- 응답시간은 기업의 매출에 직결되는 중요한 지표. 250ms-300ms 를 넘기지 말아야 함
- Nvidia는 인공지능을 둘러싼 거대한 해자를 갖고 있음. 하드웨어까지 소프트웨어까지 모두 아우르는 생태계가 경쟁력.
- 기계지능은 인간지능을 아득히 뛰어넘을 것. 하지만 우주의 광대함에도 인간은 적응했고 그 속에서 아름다움을 찾았음. 기계지능과의 관계도 그러하리라고 생각.
리뷰
Groq의 성장세가 정말 눈부시지만 아직 아는 분들이 많진 않습니다. 기업가치 1B을 돌파하여 유니콘의 지위까지 올랐지만 여전히 시총 3.4T의 Nvidia에 비하면 3400분의 1에 불과하지요.
게다가 경쟁자는 Nvidia만 있는 것이 아닙니다. 구글의 TPU, 아마존의 Inferentia, 메타의 MTIA 등 빅테크들도 자체 칩을 만들고 있죠.
이미 빅테크들은 젠슨 황이 제시한 비전, 그러니까 지금보다 토큰이 훨씬 더 많이 빠르게 만들어지는 미래를 바라보고 있다는 느낌입니다.
과거 산업혁명 시기에 우리는 기계를 움직이기 위해 물을 끓여 증기를 만들었고, 엔지니어들은 어떻게 증기를 더 싸게 더 많이 만들 수 있을지 연구했습니다. AI시대에 우리는 어플리케이션을 동작시키기 위해 토큰을 만들어야 합니다. 그것도 아주 빨리 아주 많이 만들어야 합니다.
Nvidia CEO 젠슨 황
그리고 일단 성능과 가격 면에서 작은 플레이어인 Groq이 타사들에 비해 우위를 점하고 있다는 점은 현 시점 벤치마크 기준으로는 확인이 되고 있고요. 이런 비교우위가 지속적으로 유지될 지 여부를 지켜봐야겠습니다.
증기기관을 움직이려면 증기가 필요하듯이, AI 어플리케이션을 움직이려면 토큰이 필요하다는 Nvidia CEO 젠슨 황의 비전 대로라면 추론 시장은 지금의 100배 이상 성장할 가능성이 있습니다.
Groq CEO 조나단 로스가 밝힌대로 이 성능좋고 저렴한 LPU들이 대량으로 생산되서 추론 시장의 점유율을 높여나갈 수 있다면 1등은 못되더라도 유의미한 플레이어로 자리매김할 수도 있을 것 같습니다.
그리고 리서치 중에 알게 되었는데 LPU 제조사 목록에 삼성전자가 있더군요. 삼성전자의 텍사스 파운더리가 완공되면 거기서 LPU를 공급받을 예정이라고 하니 Groq이 잘되면 삼성전자에게도 호재가 될 듯 합니다.
의견을 남겨주세요