[번역] a16z: AI는 말하는 방법을 배웠고, 이제는 현실을 만들어내는 중이다

수십 년 동안 공상과학 소설은 명령에 따라 완전한 현실을 만들어낼 수 있는 기계를 상상해 왔습니다. 스타트렉의 홀로덱부터 레디 플레이어 원의 오아시스까지, 우리는 오랫동안 무한한 자유로 탐험하고, 창조하고, 상호작용할 수 있는 지속적인 가상 세계를 꿈꿔왔습니다. 우리가 상상할 수 있는 모든 것이 가능한 세계죠. 이런 가상 세계는 단순히 정적인 환경이 아니었습니다. 그것들은 살아 숨 쉬었고 역동적이며, 반응하고, 끊임없이 진화했습니다.

오늘날 우리는 홀로덱의 실제 버전에 가까워지고 있습니다: 바로 월드 모델(World Models)입니다. 월드 모델은 물리적 세계에 대한 내장된 이해를 바탕으로 가상 환경을 생성하는 AI 모델입니다. 챗GPT가 텍스트를 생성하고, 미드저니가 이미지를 만드는 것처럼, 월드 모델은 전체 공간을 생성할 수 있습니다.

하지만 월드 모델은 여기서 한 걸음 더 나아갑니다. 단순히 시각적 요소만 만드는 것이 아니라, 물체의 움직임, 환경의 변화, 물리적 힘의 상호작용까지 시뮬레이션합니다. 덕분에 사용자는 마치 비디오 게임처럼 이러한 세계 안에서 자유롭게 참여하고 놀 수 있게 됩니다.

아래 클립은 단순한 영상이며, 게임 엔진으로 만든 게임이 아닙니다.

월드 모델은 이미 물리적이든 가상이든 공간을 다루는 모든 사람들에게 실질적인 응용 가능성을 제시합니다. 오늘날 게임 엔진을 활용해 일하는 사람이라면 누구나 월드 모델의 혜택을 누릴 수 있습니다:

이것은 우리가 지금 예상할 수 있는 단기적 활용 사례의 시작에 불과합니다. 가장 흥미로운 점은 월드 모델이 결국 우리가 아직 상상하지 못한 완전히 새로운 경험의 문을 열어줄 것이라는 사실입니다.

무한한 세계를 향한 두 가지 경로: 3D vs. 인터랙티브 비디오

모든 월드 모델이 환경을 생성하고 시뮬레이션하는 목표를 공유하지만, 네이티브 3D와 비디오 기반 접근법 사이에는 근본적인 차이가 있습니다.

이 두 카테고리는 각각 고유한 기회와 도전을 제시하며, 이제 이를 더 깊이 살펴보겠습니다.

비디오 접근법

비디오 월드 모델은 사용자 입력에 반응하여 프레임 시퀀스를 생성하는 방식으로 작동합니다. 이 모델은 이전 프레임에서 일어난 일을 추적하고, 사용자 행동(예: 앞으로 이동하기 위해 W키를 누르는 것)을 처리한 다음, 다음 프레임이 어떻게 보여야 할지 예측합니다. 이는 마치 이전에 일어난 일과 사용자가 다음에 하려는 행동을 기반으로 장면의 다음 순간을 계속해서 그려나가는 AI와 같습니다.

3D 월드 모델과 달리, 비디오 월드 모델은 세계에 대한 이해를 구축하기 위해 명시적인 3D 표현에 의존하지 않습니다. 물리적 속성은 데이터 기반 접근 방식을 통해 학습됩니다. 모델이 3D 일관성과 물리적으로 정확한 움직임 같은 속성을 배울 수 있을 만큼 충분한 비디오 클립을 "봄으로써" 이를 학습하는 것입니다.

인터랙티브 비디오 월드 모델 분야는 구글이 둠(DOOM) 게임플레이로 훈련된 게임엔젠(GameNGen) 모델을 시연했을 때 본격적으로 등장했습니다. 이 모델은 사용자가 AI로 생성된 클래식 게임 버전을 플레이할 수 있게 했습니다.

데카르트 랩스(Decart Labs)는 이와 유사한 기능을 마인크래프트에 적용한 오아시스(Oasis)를 선보였는데, 이는 나무 자르기, 좀비와 싸우기, 건설까지 가능한 실시간 웹 데모로 제공되어 출시 후 첫 3일 동안에만 백만 명의 사용자가 방문했습니다.

올해 초, 구글은 지니 2(Genie 2)라는 단일 참조 이미지에서 플레이 가능한 환경을 생성하는 파운데이션 모델로 한계를 더욱 확장했습니다. 사용자는 표준 키보드와 마우스로 이러한 AI 생성 세계를 탐험할 수 있어, 인간 게임플레이와 AI 에이전트 훈련 모두에 새로운 가능성을 열었습니다.

이러한 발전에 더해, 오디세이(Odyssey)는 아직 출시되지 않은 새로운 실시간 비디오 월드 모델을 개발했습니다. 이 비디오 월드 모델은 실제 세계 픽셀에서 프로덕션 품질의 3D 장면을 생성하는 이전의 3D 월드 모델 익스플로러(Explorer)에서 영감을 받았습니다.

비디오 기반 월드 모델은 훈련에 필요한 고품질 비디오 데이터가 풍부하다는 큰 장점이 있습니다. 제한된 데이터셋으로 어려움을 겪는 3D 모델과 달리, 비디오 모델은 온라인에서 접근 가능한 방대한 비디오 콘텐츠를 학습 자료로 활용할 수 있습니다.

다만, AI 훈련을 위한 웹 규모 비디오 데이터의 저작권 문제는 아직 불분명한 영역으로, 업계와 규제 기관이 이를 명확히 하려고 노력 중입니다. 라이온스게이트와 런웨이 사이의 파트너십과 같은 최근 라이센싱 계약은 크리에이터와 AI 기업이 협력할 수 있는 지속 가능한 방향을 보여주고 있습니다.

비디오는 현재 사람들이 시각적 미디어를 소비하는 주요 방식입니다. 심지어 3D 환경도 결국 시청을 위해 비디오 시퀀스로 변환됩니다. 그러나 비디오 모델은 근본적인 한계에 부딪힙니다. 세계에 대한 명시적인 3D 표현 없이, 프레임 간의 일관성을 유지하기 위해 오로지 학습된 세계 이해에만 의존해야 하는 것입니다.

3D 방법이 가우시안 스플랫과 같은 명시적 기하학을 통해 공간적 일관성을 보장하는 반면, 비디오 모델은 생성한 모든 요소를 추적하는 데 어려움이 있습니다. GPT-2처럼 월드 모델도 모든 것을 빠르게 잊어버립니다. 예를 들어, 오아시스에서는 180도 회전한 다음 2초 후에 다시 돌아보면, 풍경이 눈앞에서 바뀌어 있을 것입니다.

따라서 비디오 기반 월드 모델은 많은 상호작용과 시간에 걸친 일관성이라는 까다로운 요구사항이 충족될 때에야 비로소 프로덕션 품질의 비디오 게임이나 3D 세계에 실제로 활용될 수 있을 것입니다. 지도에서 자신의 위치를 잊어버리거나, 몇 시간 전에 만든 소중한 다이아몬드 곡괭이를 잃어버리는 게임을 상상해 보세요.

현재의 최첨단 접근법은 과거 프레임을 추적하기 위한 RAG와 게임 상태를 추적하기 위한 RNN을 어떻게 구현할지 고민하고 있습니다. 예를 들어 캐릭터가 한 장면에서 다이아몬드 곡괭이를 집어들었다면, 20분 후에도 여전히 그것을 가지고 있어야 합니다.

이러한 메모리 문제를 해결하는 것은 게임과 영화의 요소를 융합하고 이전보다 더 큰 규모로 이야기를 전달할 수 있는 혁신적인 스토리텔링 방법을 실현하는 데 꼭 필요할 것입니다.

3D 접근법

비디오 기반 접근법과 달리, 3D 월드 모델은 어느 각도에서든 볼 수 있고, 실시간으로 수정할 수 있으며, 기존 작업 과정에 통합할 수 있는 탐색 가능한 3D 환경을 생성합니다. 메시, 포인트 클라우드, 캐릭터 리그와 같은 3D 자산이 이미 표준 도구로 사용되는 건축 시각화부터 게임 개발까지, 그 활용 분야는 즉각적이고 매력적입니다.

게임 개발을 생각해보세요. 단순한 3D 자산조차 아티스트가 며칠에 걸쳐 세심하게 작업해야 하며, 비용은 수천 달러에 달할 수 있습니다. 월드 모델은 개발자가 단일 프롬프트로 전체 3D 장면을 생성할 수 있게 하여 이 과정을 완전히 바꿀 것을 약속합니다. 이 기능은 프로토타이핑을 빠르게 할 수 있을 뿐만 아니라, 프로덕션 품질을 갖춘 AI 생성 장면의 가능성을 열어줍니다. 이는 게임 개발 과정을 가속화할 뿐 아니라, 우리를 '네버엔딩 게임'에 한걸음 더 가깝게 만듭니다.

3D 월드 모델은 이미 상당한 발전을 이루었습니다. 월드 랩스의 혁신적인 기술은 단일 이미지를 실시간으로 탐색 가능한 3D 환경으로 변환합니다(여기서 직접 체험해 볼 수 있습니다!). 이는 가상 세계의 창조가 근본적으로 간단해지는 미래를 보여줍니다.

그러나 현재 3D 월드 모델은 중요한 기술적 장벽에 부딪혀 있습니다. 물리적 정확성과 시각적 충실도를 유지하면서 일관된 3D 지오메트리를 생성하는 복잡성은 여전히 해결되지 않은 과제로 남아 있습니다. 이러한 한계의 핵심에는 중요한 제약이 있습니다: 대규모 고품질 3D 데이터의 부족입니다.

수십억 장의 사진/비디오 클립(웹 규모 데이터)을 학습할 수 있는 이미지/비디오 생성 모델과 달리, 3D 모델은 충분한 3D 장면과 객체 데이터셋에 접근하지 못하며, 현재 가진 데이터셋도 크기와 품질이 제한적인 경우가 많습니다. 또한 우리가 가진 3D 데이터는 이미지만큼 라벨링이 잘 되어 있지 않아 모델 파이프라인에 통합하기 더 어렵습니다.

데이터 문제에 대한 최첨단 접근법 중 하나는 실제로 비디오 모델 분야에서 나옵니다: 필요에 따라 충분히 고품질의 비디오를 생성할 수 있다면, 그 객체를 고품질 3D로 재구성하여 3D 모델 훈련에 활용할 수 있습니다.

데이터 제한 외에도, 3D 월드 모델은 상당한 인터페이스 및 제어 문제에 직면해 있습니다. 전문가들은 정확한 카메라 위치 설정 및 원근 제어와 함께, 조명, 시간대, 날씨 조건과 같은 환경 요소를 동적으로 조작할 필요성을 지속적으로 강조합니다. 아마도 가장 중요한 것은 생성 후 개별 객체를 독립적으로 수정할 수 있는 능력일 것입니다—전체 장면을 다시 만들지 않고도 특정 건물의 재질을 조정하거나, 풍경 요소를 수정하거나, 가구를 교체하는 등의 작업이 가능해야 합니다.

인터페이스와 생태계

월드 모델을 위한 인터페이스 설계 또한 중요한 과제를 제시합니다. 유니티와 블렌더 같은 현재의 전문 창작 도구는 매우 정밀한 작업이 가능하지만 상당한 전문 지식을 요구하는 반면, 텍스트-투-월드 접근법은 일회성 생성을 통해 접근성을 제공하지만 제어 능력은 매우 제한적입니다. 업계는 생성형 월드 모델을 위해 특별히 설계된, 처음부터 새롭게 구축된 AI 기반 사용자 인터페이스가 필요합니다.

이러한 새로운 인터페이스는 근본적으로 적응형이어야 하며, 각 사용자의 작업 방식에 맞게 변형되는 상황 인식 제어를 제공해야 합니다. 건축가에게는 정확한 공간 제약 관리와 규제 준수 도구가 필요할 것입니다.

영화 제작자는 동적 조명 및 환경 제어에 접근할 수 있어야 하고, 게임 개발자는 상태 추적 및 상호작용 일관성에 최적화된 인터페이스가 필요합니다. 산업 디자이너는 특정 요소를 외과적 정밀도로 수정할 수 있는 세밀한 객체 조작 기능이 필수적일 것입니다.

핵심 과제는 높은 수준의 창의적 의도와 세밀한 실행을 연결할 수 있는 인터페이스를 만드는 것입니다. 이는 텍스트, 스케치, 기존 3D 자산과 같은 다양한 형태의 입력을 지원하면서 기존의 전문적인 작업 과정과 원활하게 통합되어야 합니다.

미래의 작업 방식은 게임 엔진의 정밀함과 블렌더에서의 바이브 코딩 접근성이 혼합된 형태가 될 수 있습니다. 이러한 기술들이 어떤 형태로 발전하든, 마음속에 있는 것과 현실에서 구현할 수 있는 것 사이의 간극을 좁히며, 모든 창작자가 자신만의 예술적 비전을 실현할 수 있도록 도울 것입니다.

월드 모델: 오늘의 응용에서 내일의 현실로

첫 번째 물결: 실제 활용되는 AI 생성 세계

월드 모델의 잠재적 사용자들과 나눈 대화를 통해, 우리는 사람들이 대체로 다른 AI 모델 사용 방식과 비슷한 두 가지 뚜렷한 방식으로 월드 모델에 관심을 보인다는 점을 발견했습니다: 세계에 대해 배우고 자신의 창의적 비전을 표현하는 것입니다. 이는 다른 성공적인 모델들의 현재 사용 패턴을 반영합니다:

일부 직업군은 도시 계획자처럼 인프라를 모델링하는 데 지식 추출에 더 의존할 것입니다. 다른 직업군은 영화 제작자나 게임 개발자처럼 창의성 표현에 중점을 둘 것입니다. 대부분의 일반 사용자들은 용도에 따라 월드 모델을 이해하고 표현하는 데 모두 활용하는 중간 어딘가에 위치할 것입니다.

하지만 가장 흥미로운 활용 사례는 기술이 성숙함에 따라 새롭게 등장할 것들입니다. 우리는 월드 모델이 3D 창작을 누구나 할 수 있게 만들고, 새로운 경험을 만드는 일반 사용자들 사이에서 먼저 채택될 것으로 예상합니다.

그리고 이러한 경험이 수와 기능 면에서 성장함에 따라, 3D 접근법이 제공하는 정밀함, 일관된 공간 관계, 세부 요소 제어를 중요시하는 전문가들—건축가, 디자이너, 게임 개발자, 영화 제작자, 도시 계획자—에 의해 폭넓게 채택될 것입니다.

새로운 경험: 디지털 현실로의 진입

3D와 비디오 분야 전반에 걸쳐, 월드 모델 연구는 지식 추출과 창의성 표현 작업에 월드 모델이 더욱 적합하도록 만드는 요소들을 계속 개발해 나가야 할 것입니다. 월드 모델의 미래 "지식 추출" 사용자들은 장면 내 객체를 식별하고 이들 사이의 관계를 추론할 수 있기를 원하며, 시뮬레이션과 실제 세계 사이의 간극을 좁히기 위해 정확한 물리 법칙으로 시뮬레이션을 실행하길 원합니다.

월드 모델의 미래 창의적 사용자들은 정확한 카메라, 조명, 환경 제어처럼 자신의 분야에 맞는 방식으로 창작물을 다루고, 원하는 텍스트, 이미지, 3D 입력을 바탕으로 세계를 생성하며, 만들어진 경험 속 요소들을 세밀하게 조작할 수 있기를 바랍니다.

월드 모델이 그 잠재력을 완전히 발휘한다면, 디지털과 물리적 세계 사이의 경계는 실제로 체험 가능한 방식으로 사라질 것입니다. 영화를 보는 대신, 그 속으로 직접 들어갈 것입니다. 게임을 플레이하는 대신, 당신 주변에 펼쳐지는 세계를 탐험하게 될 것입니다.

그 세계는 당신의 선택에 반응하고, 과거 행동을 기억하며, 실시간으로 변화합니다. 이야기는 단순히 전해지는 것이 아니라, 직접 살아내는 것이 될 것입니다.

"슬립 노 모어"와 같은 몰입형 연극이 무대 연극을 관객이 자유롭게 탐험하고 자신만의 이야기를 만들어가는 환경으로 변화시킨 것처럼, 월드 모델은 스토리텔링을 정해진 선형적 이야기에서 각자의 여정이 독특한 풍부하고 반응적인 세계로 발전시킬 것입니다. 몰입형 연극이 제4의 벽을 허문 것처럼, 월드 모델은 사용자와 경험 사이의 화면을 허물게 될 것입니다.

일은 더 이상 화면에서 사물을 모델링하는 것이 아니라, 마치 이미 존재하는 것처럼 아이디어 속을 자유롭게 돌아다니는 것이 될 것입니다. 건축가는 단순히 건물을 스케치하는 대신, 건설되기 전에 그 안을 걸어다니며 실시간으로 디자인을 수정할 수 있을 것입니다. 도시 계획자는 도시가 어떻게 기능할지 이론적으로 추측하는 대신, 실제 규모로 시뮬레이션하여 착공 전에 도로와 인프라를 조정할 수 있을 것입니다.

국방 의사결정자는 결과를 추측하는 대신, 공급망과 정책의 현실 규모 시뮬레이션을 실행하여 선택하기 전에 결과가 어떻게 펼쳐질지 지켜볼 수 있을 것입니다. 엔지니어는 재료, 힘, 상호작용이 실제 세계와 같이 작동하는 역동적인 환경에서 자신의 창작물의 한계를 시험해볼 수 있을 것입니다.

기술 자체는 우리가 화면을 통해 사용하는 것에서 우리가 자연스럽게 그 안에 존재하는 것으로 진화할 것입니다. AI에 명령어를 입력하는 대신, 우리는 아이디어 속을 걸어다니며, 그것들을 분해하고, 조작하고, 우리 주변에서 형태를 갖추는 과정을 지켜볼 수 있을 것입니다. AR, VR, 물리적 현실 사이의 경계는 컴퓨팅이 단순한 인터페이스가 아닌 우리가 탐험할 수 있는 공간이 됨에 따라 점점 흐려질 것입니다.

Worlds-as-a-Service: 상상력의 경제

월드 모델의 역동적인 경험을 수익화하는 비즈니스 모델은 아직 정의되지 않았습니다. 월드 모델은 소유권에서 경험으로 전환함으로써 디지털 경제를 변화시킬 것을 약속합니다.

개인의 욕구에 맞게 역동적으로 제작된 각 순간, 탐험 시간당 요금을 부과하는 생성형 디지털 테마파크—실제 오아시스와 같은—를 상상해 보세요.

디즈니가 만든 몰입형 스타워즈 호텔(스타워즈: 갤럭틱 스타크루저)같은 프로젝트는 모든 팬에게 그들이 살고 싶어하는 세계 속에서 몰입형 경험을 제공하는 경제적으로 실현 가능한 시설이 될 수 있습니다.

사용자들은 개인 취향에 맞춘 독특한 세계를 만드는 플랫폼을 구독할 수 있을 것입니다. 영화 제작자는 맞춤형 이야기 세계를 생성할 수 있고, 도시 계획자는 인프라 시나리오를 시뮬레이션할 수 있으며, 여행자는 자동으로 생성된 여행 목적지를 순식간에 탐험할 수 있습니다.

가장 심오한 경제적 도전은 풍요에서 나타납니다: 무한한 세계의 풍경에서 발견이 가장 중요해집니다. 모든 상호작용이 완전히 새로운 우주를 생성할 수 있는 경우, 사용자는 어떻게 의미 있는 경험을 찾을 수 있을까요?

가장 성공적인 플랫폼은 전통적인 선호도를 뛰어넘는 정교한 추천 시스템을 개발할 것이며, 인간의 탐험을 이끄는 미묘한 감정적, 창의적 욕구를 이해할 것입니다.

이러한 플랫폼은 단순히 세계를 판매하는 것이 아니라—경이로움을 큐레이션하여, 창작자가 독특한 세계 생성 레시피를 디자인하고, 사용자가 생성형 경험을 구독하며, 추천 알고리즘이 세계 자체만큼 중요해지는 생태계를 만들 것입니다.

미래 구축하기

월드 모델의 기술이 우리를 흥분시키지만, 이러한 기능을 접근 가능하고 유용하게 만들기 위해 등장하는 생태계도 똑같이 유망합니다. 게임 엔진이 3D 창작을 대중화한 것처럼, 새로운 세대의 기업들이 도구, 인터페이스, 응용 프로그램을 구축하여 월드 모델을 창작자의 손에 쥐게 할 것입니다.

산업 디자이너를 위한 전문 설계 소프트웨어부터 영화 제작자를 위한 직관적인 제어 도구까지, 이러한 도구들은 원천 기술력과 실용적인 창의적 활용 사이의 간극을 메울 것입니다.

이 미래를 향한 첫 걸음은 모델만으로부터 오는 것이 아니라, 야심 찬 모델, 사려 깊은 인터페이스, 그리고 그 위에 구축된 창의적인 응용 프로그램이 결합된 형태로 나타날 것입니다. 이러한 노력이 본격화됨에 따라, 도입도 함께 확장될 것입니다. 가장 흥미로운 발전은 모델과 제품 자체가 아니라, 사람들이 그것들을 활용하는 예상치 못한 방식일 수 있습니다—인터넷이 프로토콜과 서버를 통해서가 아니라, 그 위에 구축된 응용 프로그램과 경험을 통해 혁신적이 된 것처럼.

이 분야에서 무언가를 개발하고 있다면, 연락해주세요. 연결되기를 바랍니다.

본 콘텐츠는 2025년 4월 3일 a16z에서 발행한 "AI Learned to Talk. Now it’s Learning to Build Reality" 아티클을 번역한 것입니다.

저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.