🔎 Daily Prompt #223: 2D Image to 3D (Stable Video 3D)

영상 생성과 맥을 같이 하는 Image to 3D

2024.03.20 | 조회 1.04K |

구독자님, 안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 Stability AI사의 Stable Video 3D 런칭 소식을 다룹니다.

점점 발전하는 Image to 3D

Stable Diffusion으로 유명한 Stability AI에서 이미지 한 장으로 3D 모델을 생성하는 Stable Video 3D(SV3D)를 공개했습니다. SV3D에는 두 가지 버전(variant)이 있습니다:

SV3D_u: 사진 한 장만으로 물체 주위를 회전하는 영상을 자동 생성
SV3D_p: 사용자가 직접 카메라 경로를 지정할 수 있어 더욱 다양한 3D 영상 제작 가능

SV3D의 가장 큰 강점은 바로 뛰어난 일관성과 품질입니다. 기존 모델들이 제한된 시점과 불일치 문제로 어려움을 겪었던 반면, SV3D는 어떤 각도에서든 일관되고 자연스러운 3D 모델을 생성해냅니다. 객체의 3D 구조를 깊이 이해하고 있어, 한 장의 사진만으로도 다양한 각도의 모습을 정확히 추론하고 구현할 수 있다고 합니다. [상세보기] [Hugging Face]

마무리

1) Stability AI사에서 이미지 생성 AI(Stable Diffusion), 음악 생성 AI(Stable Audio), 영상 생성 AI(Stable Video), 이제 3D까지도 향상된 모델을 출시하며, AI 기술의 다양한 분야에서 선도적인 리서치와 모델 개발을 이어가고 있습니다.

2) Sora를 통해 영상 생성 AI의 발전을 확인하였고, SV3D의 발표를 통해 3D 생성 AI의 발전을 확인할 수 있습니다. 작년만 하더라도 3D 생성의 퀄리티가 낮아 크게 관심을 두진 않았는데, 이제는 적극적으로 지켜봐야할 것 같습니다. 비디오 생성과 3D는 밀접한 관련이 있기 때문입니다.

3) 비디오는 본질적으로 연속된 프레임(frame)들의 시퀀스입니다. 그리고 각 프레임은 특정 시점에서 캡처된 장면의 2D 이미지라고 볼 수 있습니다. 만약 우리가 어떤 객체를 중심으로 카메라를 돌려가며 비디오를 촬영한다면, 이 비디오의 각 프레임은 해당 객체를 다른 각도에서 바라본 2D 이미지가 됩니다.

Stable Video Diffusion을 사용하여 객체를 다양한 각도에서 바라본 듯한 여러 장의 2D 이미지(프레임)를 생성하고, 이 생성된 2D 이미지들을 분석하여 객체의 3D 형태와 텍스처를 추정하므로, 영상 생성 AI가 발전과 3D 생성은 함께 발전한다고 볼 수 있습니다.

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: an abstract artwork, In the labyrinth of uncertainty We wander, lost and weary Shadows of doubt, they loom and grow In this world, where nothing's steady Time races by, a fleeting blur We grasp at straws, our hearts astir The future, a haze of endless gray In this game of life, we're mere play Adrift in the void, we float and fall Seeking solid ground, a place to call But the earth beneath, it shifts and shakes In the face of change, our spirit breaks Yet in the chaos, a glimmer bright A hope that guides us through the night For in the depths of our despair We find the strength to persevere --ar 9:16 --v 6.0