ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Hyper-SD
- 성능 저하 없이 필요한 추론 단계 수를 줄여 디퓨전 모델(DM)의 효율성을 개선하는 새로운 프레임워크인 Hyper-SD
- Hyper-SD는 DM의 원래 궤적을 보존하고 이를 재구성하여 계산 오버헤드를 줄이는 동시에 사람의 피드백과 점수 증류를 통합하여 성능을 향상시키는 두 가지 접근 방식을 결합하여 이를 달성합니다.
- 그 결과, 추론 단계 수를 줄이면서도 최첨단 성능을 달성하는 모델이 탄생하여 실제 애플리케이션에 더욱 효율적이고 실용적입니다.
데모 영상👇
Hyper-SD: Trajectory Segmented Consistency Model for Efficient Image Synthesis
PhysDreamer
- PhysDreamer는 정적인 3D 오브젝트가 강성과 같은 물리적 특성을 시뮬레이션하여 밀거나 당기는 등의 사용자 상호작용에 사실적으로 반응할 수 있도록 하는 새로운 접근 방식입니다.
- 이는 비디오 생성 모델을 활용하여 오브젝트 역학 사전 학습을 한 다음, 새로운 상호작용에 대한 사실적인 오브젝트 반응을 합성하는 데 사용합니다.
- 목표는 정적인 오브젝트에 생동감을 불어넣고 물리적으로 그럴듯한 방식으로 반응하도록 하여 더욱 사실적이고 몰입감 있는 가상 환경을 만들어 상호 작용이 더욱 현실적이고 매력적으로 느껴지도록 하는 것입니다.
데모 영상👇
PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation
MeshLRM
- MeshLRM은 단 4개의 입력 이미지로 3D 메시를 1초 이내에 빠르고 정확하게 재구성할 수 있는 새로운 접근 방식으로, 이전 방법보다 성능이 뛰어납니다.
- 이 기술은 차별화된 메시 추출 및 렌더링을 사전 학습된 NeRF 모델과 결합하여 엔드투엔드 메시 재구성과 더 나은 품질의 결과물로 더 빠른 융합을 가능하게 합니다.
- MeshLRM은 텍스트 설명이나 단일 이미지에서 3D 모델을 생성하는 등 다양한 애플리케이션을 지원하며, 스파스 뷰 입력에서 메시 재구성에서 최첨단 결과를 얻을 수 있습니다.
데모 영상👇
MeshLRM: Large Reconstruction Model for High-Quality Meshes
MoA
- 주목도 혼합(MoA) 아키텍처를 사용하면 개인화된 브랜치와 개인화되지 않은 이전 브랜치를 결합하여 개인화된 텍스트-이미지를 생성할 수 있으므로 고품질의 개인화된 이미지를 만들 수 있습니다.
- MoA는 원래 모델의 기능을 유지하면서 개인화된 요소에 대한 개입을 최소화하여 피사체와 컨텍스트 간의 관계를 보다 효과적으로 제어할 수 있습니다.
- 이 기술을 사용하면 모델의 원래 기능과 새로운 개인화 요소를 보다 명확하게 구분하여 다양한 구도와 상호 작용을 가진 여러 피사체가 등장하는 다양하고 개인화된 이미지를 생성할 수 있습니다.
데모 영상👇
MoA : Mixture-of-Attention for Subject-Context Disentanglement in Personalized Image Generation
ACE Zero
- 이미지에서 카메라 파라미터를 추정하는 기술은 3D 포인트의 점진적 재구성 및 삼각 측량과 관련된 SfM(Structure-from-Motion)이라고 합니다.
- ACE Zero는 장면 좌표 회귀라는 학습 기반 방법을 사용하여 포즈 사전 입력이나 순차적 입력 없이도 포즈가 없는 이미지에서 표현을 구축합니다.
- ACE Zero는 새로운 뷰 합성을 통해 기존의 SfM 방식과 비슷한 정확도로 카메라 포즈를 추정하며 수천 개가 넘는 이미지를 효율적으로 최적화할 수 있습니다.
데모 영상👇
ACE Zero: Scene Coordinate Reconstruction
댓글
의견을 남겨주세요