#8: 음성파일 1개면 딥페이크 영상이 만들어집니다. EMO AI

%NAME% 님, 안녕하세요?

AI 트렌드를 전달해드리는 Trendium.ai 입니다.

오늘은 이미지와 오디오 만으로 딥페이크 영상 생성 하는 EMO AI 소식을 다룹니다.

by 💜Cutico @cuticogent

EMO AI (I2V): 감정을 표현하는 AI 모델

2024년 3월, 알리바바의 인텔리전트 컴퓨팅 연구소가 최신 경이로운 작품인 EMO를 공개했습니다.

이 개발은 단순한 진전을 넘어 디지털 미디어의 미래로 향하는 거대한 도약으로 느껴집니다.

EMO는 디지털 캐릭터와의 상호작용에 엄청난 혁명을 약속하며, 그 어느 때보다 표현력이 풍부하고 사실적인 디지털 페르소나의 가능성을 제시했습니다.

오늘은 EMO에 대한 놀라운 잠재력에 대해서 살펴보겠습니다.

EMO 공개: 자연스러운 AI 영상

EMO는 "Emotive Portrait Alive"의 줄임말로, AI를 이용한 비디오 제작 기술의 큰 발전을 보여줍니다. 이 도구는 멈춰있는 사진을 살아있는 것처럼 만들어 실제 사람처럼 연기하고 노래할 수 있는 캐릭터로 바꿔냅니다.

디지털 애니메이션에 관심 있는 사람들에게 EMO는 정말 놀라운 발명품입니다. 이전에 본 적 없는 방식으로, 단순히 움직이는 그림이 아니라 감정을 깊이 있게 표현하고 연기하며 우리와 소통할 수 있는 캐릭터를 만들어냅니다.

초상화에 생명을 불어넣는 기술

EMO의 진짜 매력은 멈춰있는 사진을 살아있는 것처럼 만드는 데 있습니다.

그냥 움직이는 게 아니라, 마치 실제 사람처럼 감정을 표현하고 우리와 소통할 수 있는 캐릭터로 바꿔냅니다.

알리바바가 EMO로 만든 영상을 보면 정말 놀라운데요. 같이 한번 살펴 보겠습니다.

ReferenceNet 및 FrameEncoding: 정체성 유지

비디오 속 캐릭터가 원본 이미지에 충실하도록 하기 위해 EMO는 ReferenceNet 과 새로운 FrameEncoding 기술을 사용합니다. 누군가에게 옷차림과 헤어스타일을 바꾸었지만 여전히 당신과 똑같이 보이는 일련의 사진을 보여준다고 상상해보세요. 마찬가지로 ReferenceNet은 표정이나 움직임에 관계없이 캐릭터가 항상 핵심 정체성을 유지하고 참조 이미지의 특징을 반영하도록 합니다.

오디오 레이어: 보컬 뉘앙스 포착

음성은 단순한 소리 이상입니다. 그것은 감정과 표현의 스펙트럼입니다. EMO의 오디오 레이어는 이 복잡성을 파헤쳐 음성의 톤, 피치, 뉘앙스를 분석하여 캐릭터의 얼굴 움직임을 안내합니다. 예를 들어, 오디오가 흥분을 반영할 때 EMO는 이를 더욱 생동감 있고 표현력이 풍부한 얼굴 움직임으로 변환하여 캐릭터의 반응을 마치 실제로 말하거나 노래하는 것처럼 자연스럽게 만듭니다.

얼굴 위치 추적 및 속도 레이어: 동작 마스터링

캐릭터의 움직임이 현실적이면서도 제어되도록 하기 위해 EMO는 얼굴 탐지기와 속도 레이어를 도입합니다. 인형을 능숙하게 조종하는 인형 조종사를 상상해보세요. 각 제스처는 정확하면서도 생동감이 넘칩니다. 마찬가지로 이러한 구성 요소는 캐릭터의 얼굴과 머리 움직임을 안내하여 각 표정이 진짜처럼 느껴지게 하는 자연스러움을 잃지 않으면서도 말하는 내용과 완벽한 조화를 이루도록 합니다.

딥페이크를 넘어: 감정적 연결의 새로운 시대

EMO를 진정으로 차별화하는 것은 감성적이고 사실적인 비디오를 제작하는 미묘한 접근 방식입니다. 이는 단순히 디지털 애니메이션의 또 다른 반복이나 딥페이크에 대한 새로운 변형이 아닙니다. EMO는 놀라울 정도로 정교한 방식으로 인간 감정의 미묘한 복잡성을 포착합니다. 광범위한 데이터 세트와 혁신적인 확산 기반 접근 방식을 결합하여 EMO는 중간 3D 모델의 필요성을 피하고 사실적일 뿐만 아니라 표현력이 풍부한 애니메이션을 만드는 직접적인 경로를 제공합니다.

오디오에서 얼굴 표정을 만들기 위해 3D 애니메이션에 의존하는 NVIDIA의 Audio2Face 와 같은 기존 방식과 달리 EMO는 사실적인 비디오 애니메이션을 생성할 수 있는 보다 진보된 기술을 사용합니다. Audio2Face는 인상적이기는 하지만 때로는 인간의 감정과 미묘함의 깊이가 부족할 수 있는 출력을 생성하는 반면, EMO는 이러한 제한을 극복합니다. EMO는 오디오 입력으로 정지 이미지에서 얼굴을 직접 애니메이션화함으로써 이전에는 달성할 수 없었던 수준의 표현력과 사실성을 달성합니다. 이러한 기술의 도약은 감정적으로 공명하는 디지털 상호 작용의 잠재력을 보여줄 뿐만 아니라 AI 기반 콘텐츠 생성의 진화에서 중요한 진전을 나타냅니다.

EMO와 함께 하는 미래 가능성

EMO의 등장은 디지털 콘텐츠 제작의 진화에서 중요한 순간을 나타냅니다. 이 기술은 정적인 것과 역동적인 것 사이의 격차를 메우며 디지털 캐릭터가 보이는 것뿐만 아니라 느껴지는 미래를 예고합니다. 영화와 텔레비전에서 가상 현실에 이르기까지 다양한 영역에서 EMO의 영향을 기대하면서 디지털 표현의 새로운 시대가 다가오고 있다는 것이 분명합니다.

EMO가 스토리텔링과 예술적 표현의 풍경을 변화시킬 잠재력은 무한합니다. 감정적이고 생생한 페르소나를 창조하는 능력은 참여와 창의성을 위한 비할 데 없는 기회를 열어줍니다. 이 흥미로운 미래로 더 깊이 들어가면서 EMO와 유사한 기술이 디지털 리얼리즘의 경계를 계속해서 재정의하고 새로운 표현과 연결 형태로 우리의 삶을 향상시키는 모습을 지켜보는 것은 흥미로울 것입니다.

Emo AI에 대해 자세히 알고 싶으시다면 여기에PDF 파일을 첨부해 두었습니다 .