ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
MaPa
- MaPa는 프롬프트에서 3D 머티리얼을 만드는 새로운 방법입니다.
- 절차적 머티리얼 그래프를 렌더링에 사용하므로 편집이 간편하고 고품질의 시각적 효과를 얻을 수 있습니다.
- 다른 방법과 달리 MaPa는 광범위한 페어링 데이터가 필요하지 않아 더욱 유연하고 효율적입니다.
데모 영상👇
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
MaGGIe
- MaGGIe는 각 사람 인스턴스에 대해 점진적으로 알파 매트를 예측하는 새로운 휴먼 매팅 프레임워크입니다.
- 트랜스포머 어텐션 및 스파스 컨볼루션과 같은 최신 아키텍처를 활용하여 효율성, 정확성 및 프레임별 일관성을 유지합니다.
- 합성된 벤치마크에서 강력한 성능을 달성하여 실제 유즈케이스에서의 일반화를 기대할 수 있습니다.
데모 영상👇
MaGGIe: Mask Guided Gradual Human Instance Matting
HaLo-NeRF
- 관광 명소를 탐색하는 기존 연구는 탐색과 이해에 있어 언어의 역할을 소홀히 했습니다.
- 이 논문에서는 장면의 신경 표현을 텍스트 설명과 연결하여 장면 내의 의미 영역을 현지화하는 시스템을 소개합니다.
- 이 기술은 대규모 인터넷 데이터와 뷰 간의 공간적 대응을 활용하여 다른 3D 모델과 분할 기준선을 뛰어넘어 건축 랜드마크와 관련된 의미적 개념을 정확하게 로컬라이즈합니다.
데모 영상👇
HaLo-NeRF: Learning Geometry-Guided Semantics for Exploring Unconstrained Photo Collections
Interactive3D
- 기존의 3D 오브젝트 생성 방식은 정밀한 사용자 제어 기능이 부족하여 실제 활용에 한계가 있었습니다.
- 인터랙티브3D는 사용자가 다양한 3D 조작 툴을 통해 인터랙티브하게 생성 프로세스를 안내할 수 있는 프레임워크를 도입했습니다.
- 이 기술은 가우시안 스플래팅을 사용하여 사용자가 직접 상호작용할 수 있고, 인터랙티브 해시 리파이닝 모듈이 포함된 인스턴트NGP를 통해 디테일과 지오메트리를 향상시켜 3D 생성의 제어 가능성과 품질을 크게 개선합니다.
데모 영상👇
Interactive3D : Create What You Want by Interactive 3D Generation
Editable Image Elements for Controllable Synthesis
- 디퓨전 모델은 텍스트 기반 합성에서 발전해 왔지만 복잡한 노이즈 공간으로 인해 사용자가 제공한 이미지를 편집하는 데 어려움을 겪었습니다.
- 이 논문에서는 입력을 편집 가능한 '이미지 요소'로 인코딩하여 공간 편집을 가능하게 하는 이미지 표현을 제안합니다.
- 사용자는 디퓨전 모델에 의해 사실적인 이미지로 디코딩된 이러한 요소를 직관적으로 조작하여 크기 조정, 재배열, 물체 제거와 같은 작업을 쉽게 수행할 수 있습니다.
데모 영상👇
Editable Image Elements for Controllable Synthesis
댓글
의견을 남겨주세요