AI가 공간을 이해한다면

🧐 Summary

1️⃣ 3차원적 개념인 공간과 그 안에서의 물리 법칙을 이해하는 Spatial AI이 중요한 화두로 떠오르고 있습니다.

2️⃣Spatial AI는 공간 속에서 몸을 가지고 실제 행동을 취하는 Physical AI의 근간이 됩니다.

3️⃣AI가 공간과 물리 법칙을 이해하기 위해서 데이터를 이용해 가상의 시뮬레이션을 돌리고 그 안에서 학습하는 모델인 월드모델이 빠르게 발전하고 있습니다.

안녕하세요 구독자님.

매주 누군가에게 뉴스레터를 통해 영감을 전달하는 일을 하려다보니 늘 어떤 트렌드가 있을까 촉각을 곤두세우게 되는데요, 얼마전 저희의 레이더에 걸린 단어는 공간지능 - Spatial Intelligence라는 말이었습니다.

공간지능이라는 말은 단어 그 자체에서 유추할 수 있듯이 공간 안에서 대상의 위치 관계를 이해하고 이를 내부적으로 시각화하여 공간을 탐색하거나 공간 안에 있는 대상을 조작하도록 도와주는 능력입니다.

저희집 아기는 이제 막 걸음마를 시작했는데요, 걷기 시작하니 뭔가를 밀고 이동시키는 일에 아주 빠져있어요. 요즘은 어른들이 쓰는 막대걸레 미는 걸 제일 좋아하는데 자기 키보다 훨씬 큰 막대를 온 힘을 다해 미는 걸 보고 있으면 너무 재밌기도 신기하기도 합니다. 긴 막대를 밀다가 장애물을 만나면 그 막대의 방향을 바꾸기 위해 아기 기준에서는 꽤나 긴 경로를 돌아가야 하는데 그 방향을 본능적으로 알아차리는 게 놀랍더라구요. 이렇게 아기가 세상을 습득해나가는 과정을 볼 때마다 AI의 학습에 대해 생각해보게 됩니다.

이런 '공간'이라는 3차원 개념을 0과 1로 돌아가는 AI는 어떻게 학습하는 것일까요? 그리고 이 개념을 이해하면 AI는 어떤 새로운 일을 할 수 있게 되는걸까요?

공간지능, 그리고 Spatial AI란 무엇일까?

공간지능이란 발달심리학자 하워드 가드너가 제시한 9가지 다중지능 중 하나로, 공간 판단력과 이를 마음속으로 시각화하는 능력을 말합니다. 하워드는 공간지능을 인간의 계산 능력으로 정의하는데요, 다양한 공간에서 사물을 시각화하는 것 부터 길찾기, 얼굴이나 장면을 인식하는 능력 등과 같이 공간적인 문제를 해결하는 기술인거죠. 하워드의 한 연구에 따르면 시각 장애인들은 시각적 정보가 없는 환경에서도 형태를 인식할 수 있다고 하는데 그들은 길이와 형태를 인식할 때에 촉각적 감각을 확장해 자신들만의 시각화를 가능하게 합니다.

인간이 가지는 이러한 공간에 대한 이해 능력, 공간 지능을 AI가 가지게 되는 것을 Spatial AI라고 합니다. 앞에서 아기가 공간을 파악하고 걸레질을 하는 이야기를 했었는데요, 이와 같이 AI가 공간 지능을 가지게 되면 현실세계에서 보다 많은 일들을 할 수 있겠죠. 얼마 전 막을 내린 CES 2026의 가장 큰 키워드로 physical AI를 꼽는 의견이 많았습니다. Physical AI란 실체를 가진 기계가 실시간으로 물리적 세계를 인지하고, 추론하고, 상호작용하는 개념을 뜻합니다. 하드웨어와 소프트웨어의 결합을 통해 가능한 포괄적인 컨셉이죠.

그리고 이 컨셉을 가능하게 하는 기반 중 하나가 바로 공간 지능일 것입니다. 즉, 공간 지능을 가진 AI인 Spatial AI가 공간을 인식하고 이해하게 해 주면 Physical AI가 그 공간 안에서 행동하고 상호작용이 가능하게 움직이는 것입니다.

AI는 공간을 어떻게 배울까?

지금의 LLM이 다량의 텍스트를 학습해서 자연스러운 이야기를 만들어내듯이, 공간 개념을 이해하기 위해서는 '공간'을 학습할 수 있는 '데이터'로 변환한 것이 필요합니다. 이러한 데이터를 만들어내기 위해서는 이미지 혹은 비디오 같은 대규모 멀티모달 데이터를 작게 분할하고, 학습 가능한 형태로 변환하고, 데이터 품질을 유지하기 위해 필터링을 거치는 작업이 필요합니다.

이렇게 준비된 데이터들을 보다 효과적으로 학습하기 위해 연구되고 있는 것이 '월드모델'입니다. 월드모델은 환경을 이해하기 위해 실제 물리적으로 모든 행동을 시도해가며 학습하는 것 대신 환경에 대한 데이터를 이용해 시뮬레이션을 돌려보며 학습하는 개념입니다. 마치 닥터 스트레인지처럼 말이죠.

공간 개념을 파악하기 위해서는 사물의 물리적인 특성과 인과관계를 이해하는 것이 필수적입니다. 이 공간 안에 있는 사물을 내가 이 정도의 힘으로 민다면, 던진다면, 떨어트린다면, 혹은 내가 저 사물에 가서 부딪힌다면 등등. 이런 상황에서 어떠한 결과가 발생하는지를 알기 위해서는 물리법칙을 알아야겠죠. 이를 이해하고, 가상으로 시뮬레이션 해보며 세상을 이해하는 모델이 바로 월드모델입니다.

Spatial AI - World model - Physical AI의 개념 관계도 (Gemini)

Spatial AI는 무엇을 할 수 있을까?

그렇다면 AI가 이 공간지능을 갖추면 할 수 있는 것들을 좀 더 상세히 이야기해볼까요. 우리가 지금 쓰고 있는 AI가 텍스트나 이미지라는 2차원 세상에 갇혀있다면 Spatial AI는 이를 3차원으로 끌어내줍니다.

요즘은 AI로 영상도 쉽게 만들어 낼 수 있죠? 하지만 막상 영상을 만들어보면 자연 속의 물리 법칙을 제대로 따르지 않아 어색한 경우가 있습니다. 주인공이 어떤 방향으로 뛰어가다가 프레임이 바뀌면 갑자기 어색한 위치에 있다거나, 나무에서 떨어지는 나뭇잎이 돌에 부딪혔을 때의 움직임이 어색하다거나 하는 것들 말이죠. AI가 공간에 대한 개념이 생기면 이렇게 영상의 퀄리티를 높이느 ㄴ것에서부터 시작해 보다 새로운 것을 만들어 낼 때에도 활용할 수 있습니다.

좀 더 큰, 우리 주변의 일들을 생각해보면 로봇이나 자율주행이 대표적인 사례입니다. 로봇이 속해있는 공간을 이해하고 그 안에서 어떠한 움직임을 해야 하는지 계획하려면, 그리고 자동차가 지나가는 공간, 그 공간 속의 사물/사람들의 움직임을 빠르게 이해하고 자신의 움직임을 계산해 나가기 위해서는 Spatial AI기 필수적입니다.

반대로 우리가 평소에 잘 느끼지 못하는, 눈에 보이지 않을 정도로 작은 것들도 공간을 이루고 있죠. 원자 수준의 미시적인 세계에서도 요소들의 재배치를 통해 새로운 물질을 만들어 낼 수 있습니다. 신소재를 개발할 때, 신약을 개발할 때, 원자들이 위치하는 공간에 대한 개념과 그 원자들 사이에 작용하는 상호작용에 대한 이해가 필요합니다.

오늘은 요즘 떠오르는 공간지능, 그리고 공간지능을 갖춘 AI인 Spatial AI에서부터 시작해 그 근간이 되는 월드모델과 Spatial AI를 활용하는 Physical AI 컨셉까지 알아보았습니다. 어려워 보이는 개념들이라 조금 쉬운 단어들로 이야기해보려 했는데 어떠셨는지 모르겠네요. 다음엔 이 컨셉들이 실제로 활용되고 있는 사례들로 조금 더 확장해서 풀어보려 하니 다음 뉴스레터도 기대해주세요!

이런 새로운 기술들, 그리고 이 기술을 사용하는 사람들에 대해 이야기 나누고 싶으신 분들은 1/23(금)에 있을 오프라인 모임에 참석해주세요. AI Mute라는 주제로 AI 기술 그 자체보다 이번에는 AI를 사용하는 '사람'에 포커스를 맞춰 이야기 나눠보려 합니다. 그리고 곧 나올 저희 책도 소개드리려 하니 많은 참여 부탁드려요.

https://maily.so/inspirex/posts/w6ov2g53rk5

[inspire X 오픈카톡방]

https://open.kakao.com/o/gBHmseah