ℹ️ 빠르게 발전중인 생성 AI 기술 중 주목할만한 모델을 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상과 이미지 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
ConsiStory
- ConsiStory는 별도의 교육 없이도 다양한 프롬프트에서 동일한 주제를 일관되게 묘사할 수 있도록 하여 텍스트-이미지 생성 시 창의적인 제어 기능을 향상시킵니다.
- 이전 접근 방식과 달리 ConsiStory는 새로운 주제마다 시간이 많이 소요되는 최적화나 대규모 학습이 필요하지 않습니다.
- 어텐션 블록 및 피처 주입과 같은 혁신적인 기술을 통해 생성된 이미지가 피사체에 충실하면서도 레이아웃의 다양성을 허용합니다.
Demo👇
AdaCache
- 고품질의 일관된 동영상을 생성하는 것은 느리고 계산량이 많으며, 특히 디퓨전 트랜스포머(DiT)와 같은 고급 모델의 경우 더욱 그렇습니다.
- 적응형 캐싱(AdaCache)은 더 적은 처리 단계로 좋은 비디오 품질을 얻을 수 있는 시점을 파악하여 별도의 교육 없이도 생성 속도를 높이는 방법입니다.
- 또한 AdaCache는 동영상 모션에 따라 처리 성능을 조정하여 필요한 곳에만 리소스를 집중하는 모션 정규화(MoReg)를 사용해 화질 저하 없이 일부 모델에서 동영상 생성 속도를 최대 4.7배까지 높여줍니다.
Demo👇
MVPaint
- 3D 모델에 텍스처를 제작하는 기존 방식은 특히 여러 시점에 걸쳐 일관되지 않거나 품질이 낮은 결과물을 생성하는 경우가 많으며, UV 매핑에 문제가 있습니다.
- 새로운 프레임워크인 MVPaint는 텍스처를 생성하고 다듬어 멀티뷰 일관성과 전반적인 시각적 매력을 개선함으로써 3D 에셋의 매끄러운 고품질 텍스처링을 보장합니다.
- MVPaint는 (1) 초기 텍스처를 위한 멀티뷰 생성, (2) 공간 인페인팅 방법으로 누락된 영역 채우기, (3) UV 기반 개선으로 텍스처를 다듬어 이음새를 줄이고 해상도를 높이는 세 가지 주요 기법을 사용합니다.
Demo👇
Fashion-VDM
- Fashion-VDM은 가상 입어보기 동영상을 생성하는 새로운 AI 모델을 도입하여 사용자가 선택한 의상을 입은 자신의 모습을 사실적인 동영상으로 볼 수 있도록 합니다.
- 의상의 디테일을 보존하고 동영상에서 부드럽고 일관된 움직임을 보장하여 기존 방식을 개선합니다.
- 이 모델은 디퓨전 기반 기법과 고유한 훈련 방식을 사용하여 한 번에 최대 64프레임의 고품질 동영상을 생성합니다.
Demo👇
GenXD
- 대규모 4D 데이터 세트와 효율적인 모델의 부족으로 인해 3D 및 4D 시각적 생성은 2D보다 훨씬 덜 발전했습니다.
- 이 논문에서는 동영상에서 카메라와 물체의 움직임을 캡처하는 새로운 데이터 세트인 CamVid-30K와 3D 및 4D 장면을 생성할 수 있는 새로운 모델인 GenXD를 소개합니다.
- GenXD는 특수 모듈을 사용하여 카메라와 오브젝트 모션을 개별적으로 처리함으로써 3D 및 4D 데이터 소스 모두에서 학습을 강화합니다. 일관된 3D 표현과 적응형 카메라 움직임으로 동영상을 제작할 수 있어 이전 방식보다 향상된 사실감을 보여줍니다.
Demo👇
의견을 남겨주세요