Tesla CEO 일론 머스크가 말하는 xAI의 승리 전략

Tesla CEO이자 인공지능 스타트업 xAI의 CEO 일론 머스크가 유튜브 채널 Lex Fridman과 진행하여 2024년 8월 8일 공개된 인터뷰 내용을 리뷰해봤습니다.

xAI 멤피스 수퍼클러스터

2024년 7월 24일 현지시각 오전 04시 20분부터 xAI의 데이터센터, 미국 테네시주 멤피스 수퍼클러스터가 가동을 시작
Nvidia H100칩 10만장으로 구성된 학습 클러스터 콜로서스가 Grok3의 2024년 12월 출시를 위해 학습을 개시
2024년 11월 5일부터 `grok-beta` 모델을 API를 통해 공개

제가 아는 한 이런 일을 할 수 있는 사람은 전 세계에서 단 한 명뿐입니다. 일론은 엔지니어링과 건설, 대규모 시스템과 자원 관리에 대한 이해가 독보적입니다. 정말 믿기지 않을 정도입니다.
Nvidia CEO 젠슨 황

저는 최전선에서 어떤 일이 벌어지는지 직접 체험해보는 것을 좋아합니다. 예를 들어, 광케이블을 연결한다던지, 접속이 불량한 케이블을 진단한다던지, 대규모 클러스터를 운영할 때 보통 문제가 되는 케이블 연결업무를 직접 해보는 거지요. (수퍼클러스터에는) 정말 케이블이 많았습니다. 이런 시스템이 일사분란하게 작동하기 위해서는 RDMA(Remote Direct Memory Access)가 구성되야 합니다. 이는 10만장의 H100 칩들이 Any-to-Any로 연결되는 것을 말합니다.
Tesla CEO 일론 머스크

xAI의 파운데이션 모델, Grok

데이터와 컴퓨팅은 마치 F1 경주에서 레이스카와 드라이버 모두 우수해야 좋은 성적을 내듯이 모두 필요한 요소이다.
이미 트위터의 데이터는 모두 다른 회사에서 가져다 쓰고 있겠지만, 실시간성으로 봤을 때 앞으로의 모델 경쟁에서는 X가 우위가 분명히 있다.
이미 테슬라 차량 수백만대가 수집하는 데이터에 이보다 더 많이 만들어질 옵티머스 로봇 수억대가 수집하는 데이터가 학습에 사용될 것이다.
인간이 만들어내는 데이터는 사실 생각보다 많지 않다. 스팸과 반복되는 데이터를 제외하면 학습에 사용할 데이터는 금방 바닥난다.

AI에서 승리하려면 가장 강력한 트레이닝 컴퓨터를 가져야 하고, 그 개선 속도가 다른 모든 사람보다 빨라야 합니다.
xAI CEO 일론 머스크

옵티머스 로봇

옵티머스는 차량이 들어가지 못하는 실내 공간을 돌아다니며 데이터를 수집할 수 있다.
전세계 자동차 생산량이 연간 약 1억대인 것을 감안했을 때, 차량보다 더 효용이 많은 휴머노이드 로봇은 연간 10억대 이상이 생산될 것으로 예상된다.
휴머노이드 로봇은 가사를 돕고, 아이들에게 책을 읽어주거나 수학과 코딩을 가르칠 수 있으며, 공장에서는 위험하고 반복적인 작업을 수행할 수 있다.
절반 이상의 엔지니어링 노력이 손동작을 구현하는 데에 들어갔다. 그 과정에서 왜 손을 움직이는 근육의 대부분이 손이 아니라 팔에 있고, 손가락의 길이가 다 다른지도 이해할 수 있었다.

위대한 엔지니어링을 위한 5가지 원칙

멍청한 요구사항을 만들지 말라: 아무리 똑똑한 사람이더라도 요구사항은 어느정도 황당무계할 수가 있다. 항상 요구사항이 무엇을 의미하는지, 꼭 필요한 건지 의문을 갖고 확인할 필요가 있다.
공정에서 최대한 많은 단계를 삭제하라: 당연해보이지만 사람들은 보수적이라 불필요한 요소를 남겨두는 경우가 많다. 일단 과하다 싶을 정도로 삭제하고, 문제가 되면 필요했던 부분만 돌려놓는 것이 낫다.
공정을 최적화하라: 요구사항이 명쾌하고 공정이 단순해졌다면 여기서부터 최적화를 시작한다. 실제로 많은 경우 최적화를 먼저해서 만들어지지 말았어야 할 요소들을 최적화하게 되는 경우가 많다.
같은 공정을 더 빠르게 수행하라: 이불을 개는 간단한 작업도 작정하고 빠르게 하려면 점점 들어가는 시간을 단축할 수 있다. 마찬가지로 같은 공정을 더 빠르게 끝내려는 노력을 해야한다.
자동화하라: 어떤 작업이 최적화, 고도화되고 나면, 더 이상 사람의 손이 닿지 않아도 되게 자동화한다. 그러나 현실에서는 애초에 필요없던 공정을 자동화하는 일이 많이 발생한다. 이런 시행착오를 줄이기 위해 이 다섯가지 원칙을 처음부터 지키려고 노력한다.

AGI에 관하여

멤피스 수퍼클러스터는 하나의 거대한 뇌와 같다. 실제 인간의 두뇌도 회색질과 백색질로 이루어져있는데 회색질은 연산을 담당하고 백색질은 연결, 즉 케이블 역할을 수행한다.
AGI라는 용어는 너무나도 정의가 많이 바뀌었다. 사람마다의 정의도 제각각이고, 요즘엔 ASI (Artificial Super Intelligence)라는 용어를 같이 쓰는 것 같다.
어느 시점이 되면 인공지능이 개별 인간 한 사람보다 우수해질 시점이 올 것이다.
하지만 인간은 80억명이나 있고, 각각 스마트폰 같은 전자기기로 능력이 증강되어 있다. 이런 인간 80억명을 다 합친 것보다 우수한 인공지능을 만드는 건 어느 시점에선가 분명히 가능한 일이지만 쉽지는 않다.
xAI가 세계 최초로 AGI를 만든다고 해도, 아마 다른 회사들(e.g. OpenAI, Anthropic, Meta, Google)과의 격차가 그리 크지는 않을 것이다.
AI는 최대한 진실을 지향해야 한다. 작은 거짓말도 용납이 되어서는 안된다.
만약 AI에게 인종차별을 없애라고 얘기한다면, 각 인종별로 정확하게 동일한 인원만을 남기고 나머지 모두를 몰살시킬 수도 있다.
어떤 회사가 가장 먼저 AGI에 도달할지 모르겠지만, 가장 먼저 도달하는 AI는 최대한 진실을 지향하는 AI이길 바란다.

리뷰

이번에는 화제의 인물 일론 머스크의 인터뷰 영상을 리뷰해봤습니다. 이번에도 다른 분들과 공통되는 발언들을 많이 찾을 수 있었는데요.

데이터 벽 (Data Wall): 학습에 사용할 데이터의 부족 현상을 이야기하는 용어입니다. 안드레이 카파시가 일전에 이제 학습에 쓸 데이터가 부족해지고 있고, 인공지능이 생성한 합성 데이터를 잘 써야 한다는 이야기를 한 적이 있었는데, 일론 머스크의 경우엔 이 데이터를 테슬라 차량과 옵티머스 로봇으로 확보하려는 계획을 공유했습니다.
확장의 법칙 (Scaling Law): 더 많은 컴퓨팅과 데이터로 학습하면 인공지능의 성능이 높아지는 현상을 말하는 용어입니다. 업계의 모두가 이야기하는 현재까지 동작하는 성공 방정식입니다.

이번 인터뷰에서만 찾을 수 있는 인사이트로는 Grok Beta의 출시, 엔지니어링 철학 그리고 AGI에 대한 방향성이 있었습니다. 일단 Grok은 아직 사용자가 그다지 많지 않지요. 아마 이름 자체도 처음 들어보는 분들이 많을 것 같습니다. 하지만 확장의 법칙을 고려한다면, 콜로서스급 컴퓨팅으로 학습된 Grok의 능력은 상당한 수준에 이미 도달했으리라고 짐작이 됩니다.

그리고 Grok에 대한 일론 머스크의 자신감도 상당해보이고요. 그런 자신감을 보고 일전 DeepMind CEO 데미스 하사비스의 인터뷰 리뷰 이후에 즉시 Gemini를 써본 것처럼 이번에도 바로 console.x.ai 에 가입해서 `grok-beta` 모델을 사용해봤는데요. 놀랍게도 LangChain과 바로 호환이 되서 테스트를 해볼 수 있었습니다.

일단 체험해본 느낌으로는 미국 리전밖에 사용을 못함에도 불구하고 생각보다 속도가 빨랐고 생성되는 텍스트의 품질도 상당히 높았다는 점인데요. 관심이 있으신 분은 제가 만들어놓은 샘플 노트북을 보시고 활용해보시면 좋을 것 같습니다.

https://colab.research.google.com/drive/1VMeWZXbFiPsXturTiOu5R1IXg4wzXI9K?usp=sharing

엔지니어링 철학은 정말 어디 적어놓고 매일 봐야되는 게 아닌가 싶을 정도로 훌륭한 인사이트가 담겨있던 것 같고요. AGI에 대해서도, 긍정적이나 부정적인 "느낌"을 이야기하기 보다는 정말로 중요한 건 "방향성"이라고 콕 짚어준 부분이 인상적이었습니다.

최근에 많은 영상들을 리뷰하다보니 의외로 대가라고 불리는 분들이 AGI에 대해 이야기할 때에는 막연히 긍정적이거나 막연히 부정적이어서 실망스러움을 느낄 때가 많았는데요. 이렇게 담백하게 가야할 방향만을 이야기해주니까 오히려 더 믿음이 가는 것 같습니다.

휴머노이드 로봇이 연간 10억대가 만들어지는 미래가 솔직히 잘 안그려지지만, 일전의 Nvidia 짐 판 박사의 인터뷰도 그렇고, 과감한 베팅을 성공시키는 일론 머스크의 이력과 실제로 Grok을 써보고 난 느낌을 종합해보면, 그렇게 허무맹랑한 얘기만은 아닐 거 같다는 생각이 듭니다.