ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Depth Anything
틱톡의 개발사 바이트댄스에서 카메라 한 대로 사진 속 피사체의 깊이를 정확하게 추정할 수 있는 모델 Depth Anything을 발표했어요. 이 모델은 다양한 이미지로 구성된 대규모 데이터 세트를 통합하고 간단하면서도 효과적인 전략을 사용함으로써 다양한 시나리오에서 깊이 정보를 이해하고 일반화하여 다른 데이터 세트의 특정 깊이 정보로 미세 조정한 경우에도 높은 성능의 결과를 얻을 수 있습니다. 데모 영상👇
Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data
Synthesizing Moving People with 3D Control
한 장의 이미지로 실제와 같은 인물의 애니메이션을 만드는 모델이에요. 이 기술은 신체와 옷의 숨겨진 부분을 학습한 다음 렌더링 프로세스를 사용하여 다양한 포즈, 헤어스타일, 의상을 가진 사실적인 이미지 시퀀스를 생성하는 것으로, 이전 방법보다 더 효과적이고 다양한 용도로 사용할 수 있습니다. 데모 영상👇
Synthesizing Moving People with 3D Control
SHINOBI
다양한 조명, 각도, 배경에서 촬영한 이미지에서 물체의 모양, 재질, 조명을 재구성하는 사용자 친화적인 프레임워크인 SHINOBI 가 발표됐어요. 이 기술을 사용하면 일상적인 사진 속 물체를 빠르고 안정적으로 3D 모델링할 수 있어 AR/VR, 영화, 게임과 같은 애플리케이션에 유용합니다. 데모 영상👇
SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
Multi-Track Timeline Control
텍스트로 사람의 동작을 3D 애니메이션으로 제작하는 새로운 방법을 개발하여 애니메이터가 동작의 타이밍과 구성을 보다 정밀하게 제어할 수 있는 모델이에요. 이 접근 방식은 단일 프롬프트를 사용하는 대신 사용자가 특정 간격으로 다른 프롬프트를 지정할 수 있는 멀티트랙 타임라인을 사용하여 정의된 타임라인을 정확하게 따르는 사실적인 애니메이션을 생성할 수 있습니다. 데모 영상👇
Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation
TextureDreamer
TextureDreamer는 기존에는 숙련된 아티스트와 복잡한 기술이 필요했던 3D 오브젝트의 디테일한 텍스처를 가볍게 촬영한 사진 몇 장만으로 손쉽게 만들 수 있는 새로운 방법입니다. 개인화된 지오메트리 인식 점수 증류 기능을 통합하여 이전 방법보다 성능이 뛰어나며, 다양한 오브젝트에 사실적이고 의미 있는 텍스처를 적용할 수 있어 텍스처 제작이 더욱 쉬워졌어요. 데모 영상👇
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
CustomVideo
텍스트 프롬프트와 여러 피사체에 대한 참조를 기반으로 개인화된 동영상을 만드는 CustomVideo 라는 모델이에요. 다양한 피사체를 처리하는 데 어려움을 겪는 기존 방법과 달리, CustomVideo는 단일 이미지에 여러 피사체를 결합하는 고유한 접근 방식을 사용하고 주의 집중 제어 전략을 사용하여 피사체를 구분합니다. 데모 영상👇
CustomVideo: Customizing Text-to-Video Generation with Multiple Subjects
댓글
의견을 남겨주세요