ℹ️ 빠르게 발전중인 생성 AI 기술 중 주목할만한 모델을 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상과 이미지 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
OmniGen
- OmniGen은 별도의 모듈이 필요한 기존 모델과 달리 텍스트 이미지에서 시각 기반 편집에 이르기까지 다양한 이미지 작업을 하나의 모델로 통합합니다.
- 추가 모듈과 전처리를 제거하여 복잡성을 줄인 아키텍처로 사용자가 간단한 지침으로 복잡한 이미지 작업을 수행할 수 있습니다.
- OmniGen의 통합된 형식을 통해 다양한 업무에 지식을 적용하고 새로운 과제를 효과적으로 처리할 수 있습니다.
Demo👇
FrugalNeRF
- FrugalNeRF는 숏샷 3D 렌더링을 개선하여 많은 학습 시간 없이도 고품질을 구현합니다.
- 이전 방식과 달리 복잡한 스케줄링이나 외부의 사전 학습된 모델에 의존하지 않습니다.
- 깊이를 정확하게 일치시키는 새로운 접근 방식을 사용하여 여러 스케일에 걸쳐 조정하여 장면의 디테일을 개선합니다.
Demo👇
Unbounded
- Unbounded는 미리 코딩된 고정된 시스템에 의해 제한되지 않고 생성 AI를 통해 게임플레이가 지속적으로 진화하는 '제너레이티브 무한 게임'을 도입합니다.
- 이 게임은 고급 AI를 사용하여 가상 캐릭터와 개방형 상호작용을 만들어 플레이어가 미리 정의된 결과 없이 독특한 방식으로 캐릭터를 안내하고 상호작용할 수 있도록 합니다.
- 여기에는 게임 요소(메카닉 및 내러티브 등)의 실시간 생성을 위한 특수 언어 모델과 변화하는 환경에서도 캐릭터 비주얼을 일관되게 유지하는 비주얼 모델 어댑터(IP-Adapter)가 포함되어 있습니다.
Demo👇
LongVU
- LongVU는 필수적인 시각적 디테일을 잃지 않고 동영상 데이터를 압축하여 긴 동영상을 처리할 때 발생하는 문제를 해결하도록 설계되었습니다.
- 크로스 모달 및 프레임 간 연결을 모두 분석하여 불필요한 데이터를 최소화하는 데 중점을 두어 중복 비디오 프레임을 줄입니다.
- LongVU는 DINOv2를 활용하여 유사한 프레임을 감지하고 버리는 반면, 텍스트 가이드 모델은 필요할 때만 프레임 기능을 줄입니다.
Demo👇
MarDini
- MarDini는 누락된 프레임 채우기, 단일 이미지에서 동영상 만들기, 동영상 확장 등 여러 동영상 생성 작업을 하나의 프레임워크 내에서 처리할 수 있는 새로운 모델입니다.
- 마스킹된 프레임을 어느 위치에서나 사용하여 부분적으로 누락된 장면이나 시퀀스로 동영상을 제작할 수 있어 다양한 상황과 요구에 맞게 활용할 수 있습니다.
- 저해상도 플래닝에 컴퓨팅 성능을 우선적으로 할당하여 과도한 컴퓨팅 비용 없이 복잡하고 고품질의 비디오를 생성할 수 있습니다.
Demo👇
댓글
의견을 남겨주세요