ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Vidu4D
- Vidu4D는 동영상에서 세밀하고 일관된 4D(순차적 3D) 표현을 생성하여 가상 콘텐츠의 공간적, 시간적 일관성을 개선하는 새로운 모델입니다.
- 다이나믹 가우시안 서피스(DGS) 라는 기술은 시간에 따라 표면 요소를 워핑하여 움직임과 변형을 정확하게 묘사함으로써 텍스처 깜박임을 줄이고 미세한 디테일을 캡처합니다.
- Vidu4D는 더 나은 워핑 필드 정확도를 위해 새로운 초기화 상태로 시작하고 기존 비디오 생성 모델과 통합하여 충실도 높은 텍스트-4D 생성을 지원합니다.
데모 영상👇
Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels
Collaborative Video Diffusion
- 최근 동영상 생성 기술의 발전으로 텍스트 프롬프트나 이미지로 고품질의 동영상을 제작할 수 있게 되었으며, 제어된 출력을 목표로 합니다.
- 협업 비디오 확산(CVD)은 여러 카메라 앵글에서 동일한 장면의 일관된 비디오를 생성하는 새로운 방법을 도입했습니다.
- CVD의 새로운 교차 비디오 동기화 기능은 여러 카메라 뷰에서 프레임 일관성을 보장하여 일관된 멀티 앵글 비디오를 생성하는 데 있어 기존 방법보다 뛰어난 성능을 발휘합니다.
데모 영상👇
Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control
Tele-Aloha
- Tele-Aloha는 단 4개의 RGB 카메라, 소비자용 GPU, 오토스테레오스코픽 스크린을 사용하여 실시간 고해상도 비디오 커뮤니케이션을 위한 비용 효율적인 방법을 제공합니다.
- 이 시스템은 캐스케이드 디스패리티 추정기와 뉴럴 래스터라이저가 포함된 새로운 알고리즘을 사용하여 디테일하고 사실적인 상반신 비주얼을 생성합니다.
- 3D 디스플레이와 저지연 홍채 트래킹을 통합하여 웨어러블 기기 없이도 입체적인 경험을 즐길 수 있습니다.
데모 영상👇
Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras
NeRF-Casting
- 개선된 NeRF 방식은 레이 트레이싱을 사용하여 반짝이는 물체를 더 잘 처리하여 사실적인 반사 및 스페큘러 모양을 향상시킵니다.
- 이 방식은 큰 신경망을 더 작은 신경망으로 대체하여 렌더링 및 최적화 속도를 높입니다.
- 반사 표면이 있는 장면의 사실적인 이미지를 생성하는 데 있어 기존 방법보다 뛰어난 성능을 발휘합니다.
데모 영상👇
NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections
AutoCoder
- AutoCoder는 코딩 정확도에서 최신 GPT-4 모델보다 뛰어난 성능을 발휘하여 Human Eval 벤치마크에서 90.9%를 달성했습니다.
- 외부 패키지를 설치하여 사용할 수 있어 GPT-4 Turbo 및 GPT-4o보다 더 다양한 용도로 사용할 수 있습니다.
- AutoCoder는 고유한 대화 데이터 세트와 실행이 검증된 코드를 사용하여 학습되므로 독점 모델에 대한 의존도를 낮추고 고품질 코드 출력을 보장합니다.
AutoCoder: Enhancing Code Large Language Model with AIEV-Instruct
댓글
의견을 남겨주세요