ℹ️ 빠르게 발전중인 생성 AI 기술 중 주목할만한 모델을 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상과 이미지 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Mochi 1
- Mochi 1은 모션 품질이 크게 향상되고 즉각적인 정확도가 높은 고급 오픈 소스 동영상 생성 모델로, Apache 2.0 라이선스에 따라 무료로 사용할 수 있습니다.
- 아래 플레이그라운드를 통해 Mochi 1을 체험하거나 HuggingFace에서 코드와 아키텍처에 액세스할 수 있으며, 곧 더 높은 품질의 HD 버전이 출시될 예정입니다.
- Genmo는 복잡하고 상상력이 풍부한 세계를 시뮬레이션할 수 있는 AI를 개발한다는 사명을 지원하기 위해 저명한 투자자 및 기술 리더들의 참여로 2,840만 달러의 시리즈 A 펀딩을 유치했습니다.
Demo👇
Stable Diffusion 3.5
- Stable Diffusion 3.5 모델은 매우 유연하게 제작되어 다양한 크리에이티브 워크플로 또는 특정 요구 사항에 맞게 쉽게 미세 조정하고 조정할 수 있습니다.
- Stable Diffusion 3.5 모델은 일반 소비자 하드웨어에서 실행되도록 최적화되어 특히 중형 및 대형 터보 모델에서 빠르고 효율적인 성능을 제공합니다.
- 다양한 스타일, 사람, 미학을 표현하는 광범위한 이미지를 큰 부담 없이 생성합니다.
Demo👇
CoTracker3
- CoTracker3는 가짜 레이블을 생성하여 주석이 없는 실제 동영상을 사용하는 새로운 훈련 방법을 도입하여 합성 데이터와 실제 데이터 간의 격차를 해소합니다.
- 이 모델은 불필요한 구성 요소를 제거하여 이전 포인트 트래커에 비해 더 간단하고, 더 작고, 더 효율적입니다. 1,000배 적은 데이터로 더 나은 추적 결과를 달성하여 벤치마크에서 최신 모델보다 뛰어난 성능을 발휘합니다.
- 온라인 및 오프라인 모드를 모두 사용할 수 있으며, 포인트가 숨겨져 있거나 프레임을 벗어난 상태에서도 포인트를 추적할 수 있습니다.
Demo👇
DepthCrafter
- DepthCrafter는 카메라 포즈나 광학적 흐름과 같은 추가 정보 없이도 동영상에서 깊이를 추정할 수 있는 새로운 방법입니다.
- 최대 110프레임의 긴 시퀀스에서도 높은 디테일과 일관성을 유지하면서 다양한 동영상 콘텐츠와 모션을 처리할 수 있습니다.
- 이 모델은 사전 학습된 이미지-비디오 디퓨전 모델에서 비디오-심도 모델을 활용하는 3단계 프로세스를 통해 학습되어 오픈 월드 비디오에 잘 일반화됩니다.
Demo👇
VidPanos
- 이 연구에서는 자연스럽게 촬영한 일반 패닝 동영상으로 광각 카메라의 효과를 시뮬레이션하여 파노라마 동영상을 제작하는 방법을 제시합니다.
- 움직이는 물체를 촬영하기 어려운 기존 파노라마 사진과 달리 이 방법은 사람, 차량, 물과 같은 역동적인 장면을 처리합니다.
- 고급 생성 비디오 모델을 사용하여 장면의 누락된 부분을 채우고(시공간 아웃페인팅) 시간이 지나도 일관된 파노라마 비디오를 생성합니다.
Demo👇
댓글
의견을 남겨주세요