OpenAI Sora를 보면서 어떤 생각이 드셨나요?

OpenAI에서 발표한 Sora를 보면서 많은 생각이 드셨을 것입니다. 저도 맥락을 이해하여 생생한 퀄리티의 영상을 만들어낼 수 있다는 점에서 놀랐습니다. Sora를 보면서 들었던 생각을 정리했습니다.

1. Sora는 아티스트다

소설 속 장면을 상상한 대로 다른 사람에게 표현하라고 하면 쉽지 않습니다. 글로 묘사하는 것도 어렵지만 그림을 그리거나, 영상을 만드는 것은 더 어렵습니다. 즉, 텍스트를 해석해서 시각적으로 표현하는 것은 어려운 일입니다.

일반인들은 아니지만 대부분의 아티스트가 이런 일을 해왔습니다. 화가는 자신이 보는 세상을 캔버스를 통해 보여주고, 사진작가는 자신이 생각하는 장면을 포착하거나 재구성하여 보여주고, 영화감독은 자신이 상상한 스토리를 재구성하여 보여주었습니다. Sora도 아티스트처럼 자신이 이해한 세상을 다른사람에게 보여줄 수 있습니다. 심지어 더 잘 표현합니다.

"눈 속에서 놀고 있는 골든 리트리버 강아지들의 머리가 눈 속에서 튀어나옵니다"라는 말을 듣고 위의 영상처럼 다른 사람들에게 생생하게 전달할 수 있는 사람이 몇이나 될까요?(원문 A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in.)

2. Sora는 사람처럼 세상을 이해한다

sora가 만든 영상을 보면 물리법칙과 인과관계를 명확하게 이해하지는 않습니다. 하지만 이것은 사람도 역시 마찬가지입니다. 특히 물리법칙에 관해서는 역사적으로 보면 더 심했습니다.

사람도 인지 오류를 가진다

사람은 세상을 있는 그대로 받아들이지 않습니다. 일부의 정보를 정제하고 재구성, 재해석해서 자신의 세계를 구축합니다. 이를 통해 적은 시간과 비용으로 세상을 이해하고 판단할 수 있는 장점이 있지만 단점도 있습니다. 우리는 여러 가지 오류와 편향을 가지고 살아갑니다.

터무니없는 물리 법칙의 역사

과학의 역사를 보면 현실에 대한 이해가 형편없었습니다. 지금 보면 황당하지만 당시 사람들은 당연하게 세상을 그런 방식으로 이해하고 있었습니다.

물론 지금이 정답이라고 말하는 것이 아닙니다. 지금도 마찬가지로 우리는 세상을 이해하지 못하고 있습니다. 후세의 사람들이 우리를 보면 마찬가지로 터무니없이 세상을 이해하고 있었다고 느낄 것입니다.

Sora 또한 주어진 데이터를 보고 나름대로 세상에 대해 이해하고 있는 중입니다. 앞으로는 인간이 그랬던 것처럼 세상을 받아들이고 이해할 것입니다.

3. Sora는 사람처럼 동작한다

저는 아직 sora의 구조에 대해 잘 이해하지 못한다. 그리고 트랜스포머와 stable diffusion의 구조에 대해서도 아직 이해하지 못합니다. 다만 트랜스포머와 생성이미지의 디퓨전이 합쳐질 수도 있다는 것이 신기했고 점점 사람과 비슷해지고 있다는 생각이 들었습니다.

우리는 텍스트만 보고 세상을 이해하지 않습니다. 또한 이미지만 보고 세상을 이해하지 않습니다. 우리는 오감(시각 ,청각, 촉각, 후각, 미각)과 언어를 바탕으로 세상을 재구성해서 받아들입니다.

텍스트에 특화된 트랜스포머와, 이미지를 탁월하게 표현하는 디퓨전이 합쳐진 구조로 정보를 처리하면서 멀티 모달(다양한 형태를 인풋으로 받아들이는 것이고 다양한 형태로 표현하는 것)에 가까워지는 것 같습니다. 마치 사람처럼 말입니다.

이렇게 멀티모달이 발달하고 성능이 높아지면 우리 뇌의 동작도 이해하고 우리가 생각하는 의식에 대해서도 밝혀낼 수 있지 않을까요?

나가면서

Sora를 보면서 들었던 생각을 정리했습니다. 발전이 빨라지는 만큼 어떤 모델이 나와서 우리를 놀라게 할 지 궁금합니다. 변화가 정말 빠르다는 생각이 들지만, 이 시대에 태어나서 이런 변화를 눈으로 직접 볼 수 있다는 것에 감사합니다.

읽어주셔서 감사합니다.

Reference

https://openai.com/sora#capabilities

🔖브런치 스토리에서 화, 금에 연재중입니다(클릭)