ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
NPGA
- NPGA 가상 환경에서 사용할 수 있는 매우 사실적인 디지털 인간 얼굴을 만드는 데 중점을 둡니다.
- 이 모델은 특수 효과 기술과 머신 러닝을 사용하여 실제 사람의 동영상에서 이러한 얼굴을 만듭니다. 또한 새로운 표정을 기반으로 머리에 애니메이션을 적용할 수도 있습니다.
- 이 방법은 보다 사실적인 얼굴 특징과 표정을 생성하기 때문에 이전 방법보다 더 나은 방법입니다.
데모 영상👇
NPGA: Neural Parametric Gaussian Avatars
3DitScene
- 이 모델은 2D와 3D 정보를 모두 사용하여 영화나 광고에서와 같이 장면 이미지를 편집하는 새로운 방법을 제안합니다.
- 개별 객체(2D) 또는 전체 장면(3D)에 초점을 맞추는 기존 방식과 달리, 이 접근 방식은 두 가지를 함께 편집할 수 있습니다.
- 이를 통해 사용자는 장면을 더 잘 제어할 수 있어 전체적인 모양과 그 안의 특정 오브젝트를 모두 변경할 수 있습니다.
데모 영상👇
3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting
Looking Backward
- StreamV2V는 사용자 프롬프트에 따라 실시간으로 동영상을 번역하는 새로운 방식입니다. 다른 방법과 달리 동영상 프레임을 무제한으로 처리할 수 있습니다.
- 이전 프레임의 중요한 정보를 기억하고 이를 새 프레임을 번역하는 데 사용하여 이를 달성합니다. 이렇게 하면 동영상 전체에서 번역이 일관성을 유지할 수 있습니다.
- StreamV2V는 매우 효율적이며 다른 동영상 번역 방법보다 훨씬 빠르게 실행할 수 있습니다.
데모 영상👇
Looking Backward: Streaming Video-to-Video Translation with Feature Banks
I2VEdit
- 새로운 방법인 I2VEdit은 단일 프레임 편집을 전체 동영상으로 전파하여 시각적 무결성과 모션 무결성을 모두 유지함으로써 이미지 합성을 동영상으로 확장합니다.
- 기본 모션 정렬을 위한 거친 모션 추출과 세부 조정을 위한 모양 다듬기를 사용하여 고품질의 결과를 보장합니다.
- 스킵 인터벌 전략을 특징으로 하는 이 접근 방식은 여러 클립에 걸쳐 품질 손실을 방지하여 시간적으로 일관된 우수한 동영상 편집을 달성합니다.
데모 영상👇
I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models
Learning Temporally Consistent Video Depth from Video Diffusion Priors
- 이 연구는 각 프레임마다 정확한 깊이 정보가 포함된 동영상을 제작하는 데 중점을 두며, 중요한 것은 이 깊이 정보가 여러 프레임에서 의미가 있도록 하는 것입니다.
- 처음부터 새로운 시스템을 구축하는 대신 기존의 비디오 생성 모델을 사용하여 비디오 자체와 함께 깊이 정보를 예측하도록 훈련시킵니다. 모델을 단계적으로 훈련하고 긴 동영상을 처리할 때 영리한 트릭을 사용하여 좋은 결과를 얻었습니다.
- 이 방법은 다른 접근 방식에 비해 비디오에서 더 일관된 깊이 정보를 생성하므로 더욱 사실적인 비디오를 만들거나 다른 시점에서 장면을 보여주는 등의 애플리케이션에 유용합니다.
Learning Temporally Consistent Video Depth from Video Diffusion Priors
댓글
의견을 남겨주세요