[번역] 업로드VR: 지니 3의 AI '월드 모델'이 사실적인 인터랙티브 VR 시대를 앞당기는 이유

AI '월드 모델'이 현실과 구분할 수 없는 인터랙티브 VR로 가는 가장 현실적인 방법일까?

공상과학 소설 속 "가상현실"은 대부분 헤드셋을 착용하거나 뇌-컴퓨터 인터페이스를 연결해 실제와 구별할 수 없을 만큼 생생한 인터랙티브 가상 세계에 접속하는 모습을 그린다.

하지만 현재의 최첨단 VR은 상당히 현실적인 그래픽을 보여줄 수 있지만, 여전히 가짜라는 것이 바로 티가 난다. 이런 가상 세계를 만들려면 수년간의 개발과 수십만 달러에서 수백만 달러의 비용이 필요하다. 더 큰 문제는 주류 독립형 VR의 그래픽이 아무리 좋아도 2010년대 콘솔 게임 수준이고, 평균적으로는 2000년대 초반 게임 그래픽에 가깝다는 점이다.

메타와 퀄컴은 새로운 퀘스트 헤드셋이 나올 때마다 GPU 성능을 두 배씩 향상시켜왔다. 

인상적인 발전이지만, 이런 속도로는 현재 PC 그래픽 카드 수준에 도달하는 데만 수십 년이 걸릴 것이고, 실제 현실 수준과는 여전히 큰 격차가 있을 것이다. 게다가 미래의 성능 향상 상당 부분이 해상도 개선에 사용될 예정이다.

시선 추적 기반 렌더링이나 AI 업스케일링 같은 기술이 도움은 되겠지만, 근본적인 한계가 있다.

가우시안 스플래팅은 독립형 VR에서 현실적인 그래픽을 구현할 수 있게 해주지만, 스플랫은 특정 시점의 정적인 순간만 담아낸다. 실제 환경을 캡처하거나 3D 환경을 미리 렌더링해야 한다. 실시간 상호작용을 구현하려면 기존 렌더링 방식과 결합하는 하이브리드 방식이 필요하다.

그런데 현실적인 인터랙티브 가상 세계로 가는 완전히 다른 접근법이 있을지도 모른다. 전혀 다른 종류의 문제들이 따르지만, 잠재력은 훨씬 클 수 있는 방법 말이다.