ℹ️ 빠르게 발전중인 생성 AI 기술 중 주목할만한 모델을 큐레이션해서 보내드리는 뉴스레터에요. ✉️
ℹ️ 최신 논문과 연구 사례를 살펴보고 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑💻
ℹ️ 어려운 기술 용어 지양하고 데모 영상과 이미지 위주로 전달드려요. 데모 영상은 웹페이지에서 재생 가능해요. 📺
Add-it
- Add-it을 사용하면 추가 학습이나 미세 조정 없이 텍스트 프롬프트만으로 이미지(실제 또는 생성된 이미지)에 새 개체를 추가할 수 있습니다.
- 원본 이미지, 텍스트 프롬프트, 생성된 요소의 주의를 혼합하여 새 개체가 사실적으로 보이고 올바르게 배치되도록 합니다.
- 가중치 주의, 피사체 가이드 블렌딩, 노이즈 구조 전송과 같은 기술을 사용하면 오브젝트를 매끄럽고 사실적으로 삽입할 수 있습니다.
Demo👇
ReCapture
- ReCapture를 사용하면 기존 동영상에 새롭고 역동적인 카메라 앵글을 적용하여 원본 동영상이 단일 시점에서 캡처된 경우에도 사용자가 다양한 카메라 움직임으로 동영상 장면을 '다시 촬영'할 수 있습니다.
- 사전 생성된 콘텐츠가 필요한 현재의 비디오 모델과 달리, 먼저 3D 모델링을 사용하여 새로운 각도에서 동영상의 대략적인 '앵커' 버전을 만든 다음, 선명도와 연속성을 위해 다듬습니다.
- ReCapture는 원본 동영상에서는 보이지 않던 장면의 일부를 채우거나 '환각'으로 표현하여 새로운 관점에서 사실감을 더할 수 있습니다.
Demo👇
SG-I2V
- SG-I2V는 사용자가 번거로운 조정이나 재생성 없이 동영상 생성의 특정 측면(예: 물체 이동 또는 카메라 각도)을 제어할 수 있는 프레임워크 입니다.
- 다른 방법과 달리 SG-I2V는 파인튜닝이나 주석이 달린 데이터 세트가 필요하지 않으므로 접근성이 뛰어나고 리소스 집약도가 낮습니다.
- 훈련된 모델 내의 기존 지식에 전적으로 의존하기 때문에 추가 학습 단계 없이 제어된 비디오를 생성할 수 있습니다.
Demo👇
TRIA
- TRIA를 사용하면 비트박스나 주변 소음과 같은 타악기 사운드를 특정 리듬과 드럼 스타일에 맞는 고품질 드럼 사운드로 변환할 수 있어 기존 드럼 장비 없이도 독특한 비트나 사운드스케이프를 만드는 데 이상적입니다.
- 이 모델은 드럼의 사운드 또는 음색을 정의하는 오디오 입력과 리듬을 정의하는 오디오 입력을 두 개 받아 드럼이 아닌 소스에서도 원하는 드럼 사운드를 창의적으로 자유롭게 생성할 수 있습니다.
- TRIA는 마스크 언어 모델을 통한 학습과 스펙트로그램 기반 리듬 분석을 활용하여 까다롭거나 잡음이 많은 녹음에서도 복잡한 리듬과 사운드 특성을 정확하게 처리합니다.
Demo👇
Edify Image
- Edify Image는 다양한 수준의 선명도로 이미지 디테일을 처리하는 특수 프로세스를 사용하여 매우 사실적인 이미지를 생성하여 정확하고 생생한 비주얼을 만들어냅니다.
- 텍스트 설명으로 이미지 만들기, 이미지 해상도를 4K로 향상, 이미지 사용자 지정 조정, 360° 파노라마 보기 생성 등 다양한 기능을 제공합니다.
- 라플라시안 디퓨전 기술은 디테일 레벨을 제어하여 이미지 품질을 향상시켜 선명하고 정확한 이미지를 생성하는 데 도움이 됩니다.
Demo👇
의견을 남겨주세요