1월 3주차 : 새로 공개된 신기한 생성 AI 모델 🧙‍♂️

ℹ️ 빠르게 발전중인 생성 AI 기술 중 그 주의 가장 주목할만한 모델만 큐레이션해서 보내드리는 뉴스레터에요. ✉️

ℹ️ 최신 논문과 연구 사례를 체크해 생성 AI 기술의 발전 동향을 미리 파악하고 대비할 수 있어요. 🧑‍💻

ℹ️ 어려운 기술 용어 지양하며 데모 영상을 통해 직관적으로 이해할 수 있어요. 데모 영상은 웹페이지에서 재생 가능해요. 📺

MAGNeT

페이스북에서 텍스트를 음악이나 오디오로 변환하는 새로운 방법인 MAGNeT을 개발했어요. MAGNeT은 단일 단계 트랜스포머를 사용하는 독특한 접근 방식을 사용하여 훈련 중에 마스킹된 토큰을 예측하고, 생성된 오디오 품질을 향상시키기 위해 사전 훈련된 모델과 함께 재점수 방법을 사용합니다. 하이브리드 버전은 자동 회귀 모델과 비자동 회귀 모델을 결합하여 텍스트-음악 및 텍스트-오디오 생성 작업에서 비슷한 성능을 유지하면서 기존 방식보다 7배 더 빨라요. 데모 영상👇

Masked Audio Generation using a Single Non-Autoregressive Transformer

PhotoMaker

텐센트에서 발표한 개인의 정확성을 유지하면서 프롬프트에서 개인화된 이미지를 효율적으로 생성하는 새로운 방법인 PhotoMaker 에요. 개인 이미지에 대한 통일화된 표현을 사용함으로써 다양하고 고품질의 이미지를 생성할 수 있어 다양한 실제 애플리케이션에 적합합니다.

PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding

PALP

크리에이터는 일반적인 텍스트-이미지 변환 도구로 구현할 수 있는 범위를 넘어 위치나 스타일과 같은 특정 디테일이 있는 독특한 사진을 만들고 싶어하는 경우가 많습니다. 구글에서 개발한 프롬프트 정렬 개인화라는 새로운 방법으로 텍스트 정렬을 개선하고 복잡한 프롬프트가 있는 복잡한 이미지를 만들 수 있어 현재 기술의 한계를 극복할 수 있었어요. 데모 영상👇

PALP: Prompt Aligned Personalization of Text-to-Image Models

TRIPS

컴퓨터 그래픽에서 사실적인 이미지를 렌더링하는 새로운 방법인 TRIPS 입니다. 기존 기술의 여러 측면을 결합하여 매우 세밀한 장면을 렌더링하는 데 있어 한계를 극복하고 복잡한 지오메트리와 광활한 풍경과 같은 복잡한 시나리오에서도 향상된 품질과 실시간 성능을 제공해요. 데모 영상👇

TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

InseRF

구글에서 사용자가 제공한 설명과 2D 기준점을 기반으로 3D 장면에 새로운 오브젝트를 추가하는 새로운 방법인 InseRF가 개발되었습니다. 모양을 변경하거나 오브젝트를 제거하는 데 중점을 두었던 이전 방법과 달리 InseRF는 2D 편집에서 삽입 프로세스를 기반으로 3D 장면에 새로운 오브젝트를 성공적으로 생성하여 명시적인 3D 정보가 입력되지 않아도 다양한 3D 장면에서 효과를 입증했어요. 데모 영상👇

InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

URHand

다양한 시점, 포즈, 조명, 신원에 따라 적응할 수 있는 손 생성 모델인 URHand 에요. 일반화에 어려움을 겪는 기존 모델과 달리 URHand는 휴대폰 이미지를 사용하여 다양한 조명에서도 사실감을 유지하고 기존 방식에 비해 품질과 적응성 모두에서 우수한 성능을 보여줍니다. 데모 영상👇

URHand: Universal Relightable Hands