4월 1주차 : 새로 공개된 신기한 생성 AI 모델 🧙‍♂️

지난주 공개된 놀라운 6가지 생성 AI 모델과 데모 영상을 확인해 보세요

2024.04.02 | 조회 124 |

ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️

ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑‍💻

ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺

현재의 이미지 편집 AI는 때때로 비현실적인 편집 결과(그림자, 반사 등이 제대로 보이지 않음)를 만들어낼 수 있습니다.
ObjectDrop은 물체를 제거하기 전과 후에 촬영한 이미지 데이터 세트를 AI 모델에 학습시켜 물체가 장면에 어떤 영향을 미치는지를 예측하게 하여 이 문제를 해결했습니다.
이 방법은 물체를 제거할 때 유용하며, 약간의 추가 작업을 통해 물체를 사실적으로 삽입하는 데에도 사용할 수 있습니다.

데모 영상👇

ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion

데모 영상👇

Magic Fixup: Streamlining Photo Editing by Watching Dynamic Videos

Garment3DGen은 의류 사진(또는 설명)을 3D 모델로 변환할 수 있습니다. 이 모델은 가상 신체에 어떻게 드레이프되는지 확인하는 등의 시뮬레이션에 바로 사용할 수 있습니다.
3D 모델을 만드는 데 아티스트가 필요하지 않습니다. AI를 사용하여 사진을 찍고 옷의 모양과 질감을 자동으로 파악합니다.
생성된 3D 모델은 고품질이며 사실적으로 사용할 수 있습니다. 즉, 가상 시착이나 소재의 흐름을 테스트하는 등의 용도로 사용할 수 있습니다.

데모 영상👇

Garment3DGen: 3D Garment Stylization and Texture Generation

EMAGE는 오디오와 몇 가지 기본적인 제스처 정보만으로 사실적인 사람의 전신 움직임을 만들 수 있습니다. 가상 캐릭터를 위한 사실적인 애니메이션을 생성하는 방법이라고 생각하면 됩니다.
인간의 세부적인 움직임을 표현하는 표준화된 방법을 제공하는 새로운 유형의 모션 캡처 데이터(BEAT2)로 훈련되었기 때문에 가능합니다. 이 데이터는 고품질이며 얼굴, 손, 몸을 포함합니다.
기존 모션 단서를 사용하여 애니메이션을 다듬거나 오디오를 기반으로 전체 움직임을 처음부터 생성할 수 있습니다.

데모 영상👇

EMAGE: Towards Unified Holistic Co-Speech Gesture Generation via Expressive Masked Audio Gesture Modeling

3D 가우시안 스플래팅(3D-GS)은 기존 방식보다 빠른 3D 장면을 렌더링하는 방식입니다.
하지만 디테일이 많은 큰 장면을 볼 때, 특히 축소할 경우 속도가 느려질 수 있습니다.
Octree-GS는 사물의 거리에 따라 다른 레벨 오브 디테일(LOD)을 사용하여 이 문제를 해결합니다. 이렇게 하면 사물을 빠르게 실행하면서도 성능을 유지할 수 있습니다.

데모 영상👇

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

EgoLifter는 웨어러블 카메라로 영상을 촬영하고 장면에 있는 모든 물체를 자동으로 식별할 수 있습니다. 심지어 사람들이 모든 것을 주의 깊게 스캔하지 않고 정상적으로 움직일 때도 작동합니다.
어떤 물체를 찾아야 하는지 미리 알려줄 필요가 없습니다. 따라서 복잡한 환경에서 예상치 못한 물체를 발견하고 추적하는 데 사용할 수 있습니다.
움직이는 물체는 무시하도록 설계되었습니다. 따라서 사람이나 일시적인 물건에 방해받지 않고 공간을 파악하는 데 매우 유용합니다.

데모 영상👇

EgoLifter: Open-world 3D Segmentation for Egocentric Perception