ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Kling AI
- 중국의 콰이쇼우가 오픈AI의 오픈AI '소라'에 버금가는 동영상 생성 AI '클링'을 공개했습니다.
- 클링은 1080p 해상도로 초당 30프레임의 최대 2분 분량 비디오를 생성하며, 다양한 종횡비와 샷 유형을 지원합니다.
- 콰이쇼우는 유튜브를 통해 샘플 영상을 공개했으며, 클링의 퀄리티는 소라와 견줄 만하다는 평가를 받고 있습니다.
데모 영상👇
Kling AI: Make Imagination Alive
Proofread
- 이 모델은 거대 언어 모델(LLM)을 사용하여 한 번의 탭으로 문장 및 단락을 매끄럽게 교정할 수 있습니다.
- 데이터 생성 파이프라인, 다단계 모델 튜닝(지도 미세 조정 및 강화 학습), 다각적인 메트릭을 활용하여 고품질을 보장합니다.
- PaLM2-XS 모델을 기반으로 하여 85.56%의 정확도를 달성했으며, Pixel 8 디바이스에서 효과적으로 출시되어 수천 명의 사용자에게 최적화된 성능을 제공했습니다.
데모 영상👇
Proofread: Fixes All Errors with One Tap
CamCo
- CamCo를 통해 사용자는 동영상 생성 시 카메라 포즈를 정밀하게 제어할 수 있어 영화적 언어 표현이 향상됩니다.
- 캠코는 양극 어텐션 모듈을 통합하여 생성된 비디오의 3D 일관성을 향상시킵니다.
- 예상 카메라 포즈로 실제 동영상을 미세 조정하면 모델의 사실적인 물체 움직임 합성 능력이 향상됩니다.
CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation
IllumiNeRF
- 이 접근 방식은 3D 장면을 재구성하기 전에 이미지 디퓨전 모델을 사용하여 조명을 조정함으로써 새로운 조명 아래에서 다양한 각도에서 볼 수 있는 3D 모델을 만드는 프로세스를 간소화합니다.
- 기존 기법의 복잡성과 높은 계산 비용을 피하면서도 최첨단 결과물을 얻을 수 있습니다.
- 다양한 벤치마크에서 경쟁력을 갖추고 있어 조명 수정 뷰 합성에 실용적인 옵션으로 사용할 수 있습니다.
데모 영상👇
IllumiNeRF: 3D Relighting without Inverse Rendering
SF-V
- 새로운 비디오 생성 모델 SF-V는 다단계 프로세스를 단일 단계로 전환하여 계산 비용을 크게 절감합니다.
- 적대적 학습을 활용해 사전 학습된 모델을 미세 조정하여 고품질 비디오 출력을 유지합니다.
- 기존 모델에 비해 최대 23배의 속도 향상을 달성하여 실시간 비디오 합성 및 편집이 가능해집니다.
데모 영상👇
SF-V: Single Forward Video Generation Model
댓글
의견을 남겨주세요