12월 5주차 : 새로 공개된 신기한 생성 AI 모델 🧙‍♂️

ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️

ℹ️ 데모 영상은 웹페이지에서 재생 가능해요. 📺

Paint3D

프롬프트나 이미지를 입력하면 빛에 대한 정보 없이도 3D 물체의 색상과 패턴과 같은 텍스처를 매우 세밀하게 만들 수 있는 Paint3D 라는 모델이에요. 먼저 기본 텍스처를 만든 다음 더 멋지게 보이도록 수정하고 이상한 조명 효과를 제거합니다. 이렇게 하면 컴퓨터 그래픽에서 3D 사물이 멋지게 보이도록 만들 수 있어요. 데모 영상👇

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

DREAM-Talk

얼굴 사진에 말을 걸고 감정을 표현할 수 있는 DREAM-Talk 이라는 모델이에요. 얼굴에 다양한 감정을 부여하고 입의 움직임을 소리에 맞춰 실제처럼 보이게 하는 데 매우 능숙합니다. 감정을 잘 포착하고 말하는 모습이 매우 정확해요. 데모 영상👇

DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation

ShowRoom3D

프롬프트로 멋진 3D 방을 만들 수 있는 ShowRoom3D라는 모델이에요. 이 모델은 방을 더 멋지게 보이게 하기 위해 MVDiffusion이라는 특별한 방법을 사용하며, 3단계로 진행하여 방의 모양을 더 좋게 만들고 다양한 각도에서 보기 좋게 만듭니다. 데모 영상👇

ShowRoom3D: Text to High-Quality 3D Room Generation Using 3D Priors

InstructVideo

프롬프트나 생성된 영상에 실수가 있더라도 사람들이 동영상을 보기 좋게 만들기 위해 피드백을 줄 수 있는 InstructVideo라는 더 나은 방법이에요. 연구자들은 테스트를 통해 이 새로운 방법이 동영상을 보기 좋게 만든다는 것을 보여줬어요. 데모 영상👇

InstructVideo: Instructing Video Diffusion Models with Human Feedback

SCEdit

그림을 만드는 과정에서 '연결 건너뛰기'라는 새로운 방식을 통해 더 좋고 빠르게 만들 수 있는 모델이에요. 연구진은 많은 테스트를 통해 프롬프트로 그림을 생성하고 여기에 다양한 조건을 더해 특별한 그림을 만들 수 있는 것을 보여주었습니다. 데모 영상👇

SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing 

GAvatar

프롬프트로 애니메이션 3D 캐릭터(아바타)를 만드는 모델이에요. 가우시안 스플래팅이라는 기술을 사용하여 캐릭터가 사실적으로 보이고 부드럽게 움직이도록 만들었습니다. GAvatar라고 불리는 이 새로운 방법은 다양한 캐릭터를 빠르게 만들 수 있고 움직일 때 정말 멋지게 보여요. 데모 영상👇

GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning