ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
MimicBrush
- '모방 편집'을 도입하여 사용자가 소스 이미지와 정확하게 일치시킬 걱정 없이 온라인 참조에서 영감을 얻어 이미지를 편집할 수 있습니다.
- 이 생성 모델은 비디오의 다른 프레임에서 얻은 정보를 사용하여 이미지의 누락된 부분을 채우는 방법을 학습하여 이미지 편집의 창의성을 향상시킵니다.
- 확산 기반 방법을 활용하여 서로 다른 이미지 간의 의미적 대응을 이해하고 적용합니다.
데모 영상👇
MimicBrush: Zero-shot Image Editing with Reference Imitation
Neural Gaffer
- Neural Gaffer는 특정 조건이나 장면을 구성 요소로 세분화하지 않고도 단일 이미지의 조명을 변경할 수 있는 새로운 AI 모델입니다.
- 합성 데이터로 미세 조정된 사전 학습된 확산 모델을 사용하여 조명 변화를 정확하게 이해하고 적용합니다.
- 텍스트 기반 조명 변경, 오브젝트 삽입과 같은 고급 기능도 지원하며 3D 재조명 작업도 보조합니다.
데모 영상👇
Neural Gaffer: Relighting Any Object via Diffusion
Depth Anything V2
- 새 버전은 합성 이미지, 더 큰 모델 용량, 의사 레이블이 지정된 실제 이미지를 사용하여 더 세밀하고 강력한 깊이 예측을 제공합니다.
- 정적 확산을 기반으로 최신 모델보다 10배 이상 빠르고 정확합니다.
- 다양한 스케일(25M~13B 매개변수)로 제공되어 광범위한 애플리케이션을 지원하며 강력한 일반화 기능을 갖추고 있습니다.
Depth Anything V2
SEE-2-SOUND
- SEE-2-SOUND는 시각과 청각의 감각 요소를 결합하여 몰입감 넘치는 경험을 제공합니다.
- 기존 모델은 시각적 콘텐츠와 잘 어울리는 고품질의 공간 오디오를 제작하는 데 어려움을 겪었습니다.
- SEE-2-SOUND는 시각적 관심 지점을 식별하고, 3D 공간에서 위치를 파악하고, 해당 모노 오디오를 생성한 다음 공간 오디오를 생성하는 과정이 포함됩니다.
데모 영상👇
SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound
4Real
- 역동적인 3D 장면을 제작하는 기존의 방식은 개별 오브젝트에 너무 집중되어 있어 사실감이 부족합니다.
- 4Real은 실제 데이터로 학습된 비디오 생성 모델을 사용하여 보다 사실적이고 복잡한 장면을 만듭니다.
- 이 프로세스에는 참조 비디오를 생성하고, 이를 통해 정적 3D 스냅샷을 생성한 다음, 이 스냅샷을 수정하여 불일치를 처리하는 과정이 포함됩니다.
데모 영상👇
4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models
댓글
의견을 남겨주세요