Nvidia CEO인 젠슨 황이 팟캐스트 채널 No Priors와 진행하여 2024년 11월 7일 공개된 인터뷰 내용을 리뷰해봤습니다.
컴퓨팅의 근본적인 변화
"우리는 지난 60년 만에 처음으로 컴퓨팅을 재발명했습니다. 지난 10년간 컴퓨팅 비용을 100만분의 1로 낮췄죠."
NVIDIA는 컴퓨팅의 패러다임을 완전히 바꾸었습니다:
- 코딩에서 머신러닝으로
- 소프트웨어 도구 작성에서 AI 생성으로
- CPU 중심에서 GPU 중심으로
이러한 변화는 향후 10년간 매년 성능은 2-3배 향상되고, 비용과 에너지 소비는 같은 비율로 감소하는 것을 목표로 하고 있습니다.
새로운 확장 방식의 도입
기존의 Denard 스케일링과 VLSI 스케일링이 한계에 도달하면서, NVIDIA는 두 가지 새로운 접근 방식을 채택했습니다:
1. 코디자인(Co-design) 접근
- 하드웨어와 소프트웨어의 동시 최적화
- 다양한 정밀도 지원 (FP64에서 FP4까지)
- 알고리즘과 시스템 아키텍처의 상호 최적화
2. 데이터센터 스케일 컴퓨팅
- 네트워크를 컴퓨팅 패브릭으로 활용
- Mellanox 인수를 통한 네트워킹 기술 강화
- 수백 개의 GPU를 하나의 시스템처럼 운영
Hopper 아키텍처: AI 시대의 혁신
Hopper는 NVIDIA의 최신 데이터센터 GPU 아키텍처로, AI 기반 설계 도구의 도움으로 개발되었습니다.
주요 특징
- 트랜스포머 엔진 내장
- 4세대 텐서 코어
- FP8 정밀도 지원
- 향상된 메모리 시스템
성능
- 1년 만에 5배 성능 향상 달성
- 대규모 언어 모델 처리 최적화
- 낮은 지연 시간의 토큰 생성
AI 설계 도구의 혁신
우리는 Hopper를 AI 설계 도구 없이는 만들 수 없었습니다. AI는 인간 엔지니어보다 훨씬 더 넓은 설계 공간을 탐색할 수 있습니다.
NVIDIA는 AI를 활용한 칩 설계를 통해 혁신적인 성과를 거두고 있습니다:
- 슈퍼컴퓨터를 활용한 대규모 설계 공간 탐색
- 24시간 연속 설계 최적화 가능
- Synopsis, Cadence와 협력하여 AI 설계 도구 발전
대규모 인프라 구축의 현실
NVIDIA는 데이터센터를 하나의 제품으로 접근합니다:
- 모든 구성 요소를 사전 검증
- 다양한 냉각 방식 지원 (공랭식, 수랭식)
- 클라우드 제공업체별 최적화 지원
xAI 사례
- 10만 개 GPU 규모의 슈퍼클러스터 구축
- 수주 내 구축 완료
- 사전 시뮬레이션과 테스트를 통한 효율적 구축
미래 전망: AI와 로보틱스
우리는 인공일반지능(AGI)뿐만 아니라, 인공일반로보틱스에도 가까워지고 있습니다.
NVIDIA는 두 가지 로보틱스 시스템에 주목합니다:
- 자율주행차량
- 인간형 로봇
이들은 기존 환경을 그대로 활용할 수 있어, 세상을 바꾸지 않고도 로보틱스를 도입할 수 있는 방법을 제공합니다.
AI의 과학 분야 적용
AI와 머신러닝은 모든 과학 분야를 변화시키고 있습니다:
- 이론 수학
- 재료 과학
- 생명공학
- 로보틱스
이러한 변화는 곧 "생성형 AI의 거대한 물결"로 이어질 것으로 전망됩니다.
결론
이번 인터뷰는 기대했던 것보다 훨씬 더 기술적인 내용이 많이 담겼던 것 같습니다. 그리고 아무래도 CEO 본인이 엔지니어라서 더욱 디테일할 수 있었던 것 같고요.
무어의 법칙은 사실 증명된 법칙은 아니죠. 그저 그런 트렌드가 있다는 것을 결과적으로 확인되는 것인데 그 이유를 이번 인터뷰에서 찾을 수 있던 것 같습니다.
그 이유는 이렇게 끝없이 답을 찾고자 하는 인간의 의지 때문이라고 보여집니다. 그리고 이건 어떤 한 사람, 한 회사가 이끄는 게 아니라 인류 전체가 함께 이끌어가는 것이고요. 그 맨 앞에 한때는 앨런 튜링이 서있다가, 폰 노이만이 서있다가, Intel이 서있다가, Nvidia가 서있지만, 선두가 누구이든 관계없이 당대의 가장 뛰어난 아이디어가 살아남으며 지난 100년간 꾸준한 우상향 그래프를 그렸다는게 정말 놀라운 점인 것 같습니다.
그 선두에 이제 시총 1위에 등극한 Nvidia가 서있고요, Nvidia는 Hopper에 이어 Blackwell 시리즈로 AI 혁명을 이끌고 있습니다. 그리고 물리학, 화학, 생명공학, 법학 등 모든 도메인에서 전방위적으로 AI가 활용되며 전에 없었던 기회들이 만들어지고 있습니다. 그 기회를 잘 포착하길 바란다는 Nvidia CEO 젠슨 황의 발언이 의미심장하게 느껴지는 인터뷰였습니다.
의견을 남겨주세요