4월 2주차 : 새로 공개된 신기한 생성 AI 모델 🧙‍♂️

지난주 공개된 놀라운 5가지 생성 AI 모델과 데모 영상을 확인해 보세요

2024.04.09 | 조회 125 |

ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️

ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑‍💻

ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺

MaGRITTe은 3D 장면을 더 쉽게 만들 수 있습니다. 간단한 이미지, 스케치, 텍스트 설명을 사용하여 장면을 제작하는 고급 3D 모델링 도구라고 생각하면 됩니다.
매우 구체적인 결과를 얻을 수 있습니다. 다양한 유형의 입력을 제공하여 레이아웃의 모양, 씬의 내용, 전체 스타일까지 제어할 수 있습니다.
이는 다양한 종류의 프로젝트에 적용할 수 있습니다. 이 기술은 3D 공간을 이해하고 실내 및 실외 장면 모두에 개념을 적용하도록 설계되었습니다.

데모 영상👇

MaGRITTe: Manipulative and Generative 3D Realization from Image, Topview and Text

CameraCtrl을 사용하면 텍스트 설명으로 생성된 동영상에서 카메라 움직임을 정밀하게 제어할 수 있습니다. 즉, 설명만으로 특정 줌, 팬 및 기타 카메라 효과가 있는 동영상을 만들 수 있습니다.
이 기술은 다양한 유형의 동영상에 적용할 수 있습니다. 제품 데모를 만들든 단편 영화를 만들든 상관없이 CameraCtrl을 사용할 수 있습니다.
영화 제작자는 CameraCtrl을 통해 더 창의적으로 동영상을 제작하고 더 복잡한 스토리를 전달할 수 있습니다. 이를 통해 맞춤형 동영상을 제작할 수 있는 흥미로운 가능성이 열립니다.

데모 영상👇

CameraCtrl: Enabling Camera Control for Text-to-Video Generation

사실적인 3D 도시를 만드는 것은 자연 경관을 만드는 것보다 더 어렵습니다. 사람들은 도시 풍경의 결함을 더 쉽게 알아차리고, 건물의 모양에도 수많은 변화가 있습니다.
CityDreamer는 매우 사실적인 3D 도시를 제작하는 데 중점을 둔 새로운 모델입니다. 도시 생성 프로세스를 더 작은 단위로 세분화하여 디테일을 더 쉽게 구현할 수 있습니다.
실제 도시 이미지의 방대한 컬렉션에서 학습합니다. 이를 통해 훨씬 더 사실적인 3D 도시를 만들 수 있습니다.

데모 영상👇

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

Freditor를 사용하면 3D 이미지를 더욱 선명하고 사실적으로 편집할 수 있습니다. 기존 2D 편집 도구에서 필터를 적용하거나 편집한 후 사진 품질을 개선하는 것과 같다고 생각하면 됩니다.
Freditor로 편집한 내용은 다른 3D 장면에 쉽게 적용할 수 있습니다. 따라서 매번 3D 장면을 처음부터 편집하는 것보다 시간과 노력을 절약할 수 있습니다.
편집 방식이 스마트하여 중요한 디테일을 그대로 유지합니다. 즉, 편집이나 스타일을 적용할 때 미세한 텍스처나 작은 오브젝트를 잃지 않습니다.

데모 영상👇

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

텍스트를 이미지로 변환하는 기존 시스템은 복잡한 설명(예: "모자를 쓴 개 두 마리")을 이해하는 데 어려움을 겪는 경우가 많습니다.
Ranni는 시각적 스토리보드와 같은 역할을 하는 '시맨틱 패널'을 도입했습니다. 이를 통해 AI가 최종 이미지를 생성하기 위해 적절한 조각을 더 쉽게 배열할 수 있습니다.
사용자가 이미지 생성을 더 잘 제어할 수 있습니다. 심지어 시스템과 채팅을 통해 프로세스 전반에 걸쳐 이미지를 조정할 수도 있습니다.

데모 영상👇

Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following