ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
StoryDiffusion
- 만화나 동영상처럼 동일한 캐릭터와 사물이 전체적으로 동일하게 보이는 이미지 시퀀스를 더 쉽게 만들 수 있습니다.
- StoryDiffusion은 이미지 간에 부드럽게 전환하여 긴 동영상에서 캐릭터/사물의 일관된 모습을 유지하면서 동영상을 제작합니다.
- 프롬프트로 입력한 전체 스토리를 시각적으로 전달하는 이미지 또는 동영상 시퀀스를 생성할 수 있습니다.
데모 영상👇
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
Invisible Stitch
- 많은 3D 씬 생성기는 단일 2D 이미지에서 깊이를 추정하는 데 의존하지만 이는 최종 씬의 품질을 떨어뜨릴 수 있습니다.
- Invisible Stitch는 누락된 깊이 정보를 채우는 새로운 방법을 소개하여 최종 3D 장면을 더욱 사실적이고 정확하게 만듭니다.
- 합성된 벤치마크에서 강력한 성능을 달성하여 실제 유즈케이스에서의 일반화를 기대할 수 있습니다.
데모 영상👇
Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting
Lightplane
- Lightplane은 적은 메모리 사용으로 3D 모델링 및 이미지 처리 효율이 훨씬 높아집니다. 크고 복잡한 3D 프로젝트에서 더 빠르고 쉽게 작업할 수 있습니다.
- 렌더러를 통해 3D 모델을 눈으로 볼 수 있는 사실적인 이미지로 변환합니다.
- 스플래터 기능이 2D 이미지를 가져와 3D 공간에서 어디에 배치할지 파악합니다.
데모 영상👇
Lightplane: Highly-Scalable Components for Neural 3D Fields
Visual Fact Checker
- 기존 이미지 캡션 도구는 디테일이 부족하거나 정보를 구성하거나 지침을 잘 따르지 않는 경우가 많습니다.
- Visual Fact Checker(VFC)는 이미지를 사실과 대조하고 여러 설명의 가장 좋은 부분을 결합하여 더 나은 캡션을 만드는 새로운 시스템입니다.
- VFC 캡션은 더 정확하고 디테일이 풍부하여 정확성이 중요한 작업에 유용합니다.
데모 영상👇
Visual Fact Checker: Enabling High-Fidelity Detailed Caption Generation
BlenderAlchemy
- BlenderAlchemy는 일반적인 전문 소프트웨어가 필요한 지루한 작업을 자동화하여 그래픽 디자인을 더 쉽게 만드는 것을 목표로 합니다.
- 이 모델은 프롬프트나 이미지를 기반으로 사용자가 원하는 것이 무엇인지 파악하기 위해 GPT-4V를 사용합니다.
- 최종 디자인이 어떻게 보일지 상상하고 작업을 안내하는 유용한 참조 이미지를 생성할 수도 있습니다.
데모 영상👇
BlenderAlchemy: Editing 3D Graphics with Vision-Language Models
댓글
의견을 남겨주세요