ℹ️ 빠르게 발전중인 생성 AI 기술 중 주목할만한 모델을 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상과 이미지 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
MaterialFusion
- MaterialFusion은 2D 텍스처와 머티리얼을 미리 사용하여 기존 3D 오브젝트 렌더링을 개선하고, 새로운 조명 아래에서 오브젝트가 어떻게 보이는지 개선합니다.
- 핵심 기술은 입력 이미지에서 알베도(색상)와 머티리얼 속성을 더 잘 추정하기 위해 합성 블렌더 오브젝트에 대해 학습된 2D 모델인 StableMaterial입니다.
- 이 모델은 확산 기반 샘플링을 사용하여 오브젝트의 표면과 재질을 세분화하여 이전의 재조명 정확도 한계를 극복합니다.
Demo👇
DrawingSpinUp
- DrawingSpinUp은 2D 캐릭터 드로잉을 3D 애니메이션으로 변환하여 평면적인 2D 모션의 한계를 극복합니다.
- 시각적 모호함을 유발하는 등고선을 제거하고 복원하여 아마추어 드로잉의 문제를 해결합니다.
- 스켈레톤 기반 알고리즘은 얇은 팔다리처럼 얇고 섬세한 구조를 다듬어 모양과 형상을 개선합니다.
Demo👇
LVCD
- LVCD은 비디오 확산 프레임워크를 사용하여 라인아트 애니메이션에 색을 입히는 방식으로, 특히 큰 움직임을 처리할 때 프레임 전체에서 일관된 결과를 얻을 수 있습니다.
- 스케치 가이드 컨트롤넷을 도입하여 채색 과정을 더 잘 제어할 수 있고 참조 주의 기능을 사용하여 빠른 동작으로 프레임 간 색상 전송을 개선합니다.
- 오버랩 블렌딩 및 사전 참조 주의와 같은 모듈이 포함된 새로운 샘플링 체계는 이전 방법으로는 어려움을 겪었던 긴 동영상을 처리할 수 있는 모델의 능력을 확장합니다.
Demo👇
MaskedMimic
- MaskedMimic은 키프레임, 텍스트, 장면 디테일 등 다양한 유형의 지시를 처리할 수 있는 유연한 단일 컨트롤러를 생성하여 다양한 상황에서 캐릭터를 애니메이션화할 수 있습니다.
- 시스템이 모션 설명의 빈틈을 메워 불완전한 입력 데이터에서 부드럽고 일관된 캐릭터 애니메이션을 생성합니다.
- 각 행동에 대한 복잡한 보상 시스템 없이도 직관적인 제어가 가능하므로 애니메이션을 더 쉽게 관리할 수 있습니다.
Demo👇
InstantDrag
- 드래그 기반 이미지 편집은 속도와 정밀도가 떨어지고 마스크나 텍스트 프롬프트와 같은 복잡한 입력이 필요하기 때문에 상호작용성이 떨어지는 경우가 많습니다.
- InstantDrag는 이미지와 드래그 명령만 있으면 되는 빠르고 최적화 없는 파이프라인을 사용하여 이 문제를 해결합니다.
- 모션 생성을 위한 네트워크(FlowGen)와 그 모션을 이미지에 적용하기 위한 네트워크(FlowDiffusion) 두 가지를 소개합니다.
Demo👇
댓글
의견을 남겨주세요