ℹ️ 빠르게 발전중인 생성 AI 기술 중 가장 주목할만한 모델을 격주로 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Outfit Anyone
- Outfit Anyone은 Two-Stream Conditional 디퓨전 모델을 활용하여 의상의 변형을 더 잘 처리하여 고품질의 사실적인 결과를 보장합니다.
- 포즈와 체형 등 다양한 요소에 맞게 조정할 수 있으며 애니메이션부터 실제 사진까지 다양한 이미지 유형에 적용할 수 있습니다.
- 다양한 시나리오에서 효과가 입증되어 실용성과 상업적 배포 준비가 완료되었습니다.
데모 영상👇
Outfit Anyone: Ultra-high quality virtual try-on for Any Clothing and Any Person
MovieDreamer
- MovieDreamer를 사용하면 복잡한 내러티브가 포함된 장시간 동영상을 제작할 수 있어 기존 단방향 모델의 한계를 극복할 수 있습니다.
- 스토리 일관성을 위한 자동 회귀 모델과 기존 영화 제작과 유사한 고품질 비주얼을 위한 확산 기반 렌더링을 결합합니다.
- 멀티모달 스크립트를 사용하여 동영상 전체에 걸쳐 상세한 캐릭터 아이덴티티와 시각적 스타일을 유지하여 연속성을 보장합니다.
데모 영상👇
MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequences
Click-Gaussian
- 3D 가우시안 대화형 분할을 사용하여 3D 장면을 실시간으로 조작할 수 있습니다. 2D 분할 결과의 노이즈와 충돌 문제를 극복하여 보다 정확한 3D 분할을 제공합니다.
- Global Feature-guided Learning(GFL) 방법은 노이즈가 있는 2D 세그먼트에서 글로벌 특징 클러스터를 구성하여 불일치를 완화합니다.
- 클릭당 10ms의 처리 시간으로 이전 방법보다 15~130배 빠르게 실행되어 속도와 세분화 정확도가 모두 향상됩니다.
Click-Gaussian: Interactive Segmentation to Any 3D Gaussians
HoloDreamer
- HoloDreamer는 강력한 텍스트-이미지 모델을 사용하여 텍스트 프롬프트에서 3D 장면을 생성하여 VR, 게임 및 영화에서 3D 장면 생성 프로세스를 향상시킵니다.
- 파노라마 초기화 프레임워크는 고화질 파노라마 뷰를 생성하여 3D 장면의 포괄적인 기반을 제공하는 것으로 시작됩니다.
- 3D 가우시안 스플래팅을 사용하여 전체 3D 씬을 빠르고 일관되게 재구성하여 완전히 둘러싸고 보기 일관성을 유지합니다.
데모 영상👇
HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions
VGGSfM
- Structure-from-motion(SfM)은 일반적으로 점진적인 비딥러닝 접근 방식을 사용하여 2D 이미지에서 카메라 위치와 3D 장면을 재구성합니다.
- 기존 방식은 키포인트를 감지하고, 이를 일치시키고, 이미지를 등록하고, 번들을 반복적으로 조정합니다.
- VGGSfM은 엔드투엔드 학습이 가능한 새로운 딥러닝 기반 파이프라인으로, 픽셀 정확도의 2D 추적, 동시 카메라 복구, 차별 가능한 번들 조정 계층 등 프로세스를 단순화하고 개선합니다.
데모 영상👇
VGGSfM: Visual Geometry Grounded Deep Structure From Motion
댓글
의견을 남겨주세요