🔎 Daily Prompt #227: 립 싱크 맞는 AI 아바타(Runway)

Runway에 립싱크 기능이 추가되었습니다

2024.03.26 | 조회 2.11K |

구독자님, 안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 Runway의 Lip Sync 기능 업데이트를 다룹니다.

이미지 한 장으로 립싱크 맞는 영상 만들기

AI 아바타 관련한 기술들이 작년과 비교하여 퀄리티 향상이 이루어지고 있습니다. 해리포터 by 발렌시아가 영상을 통해 D-id라는 서비스가 주목을 받았고, HeyGen이라는 라이벌 등장, 얼마전 알리바바 사의 EMO 발표가 있었습니다.

Gen-1(Video to Video)과 Gen-2(Text/Image to Video) 서비스로 익히 알려진 Runway에서 Generative Audio(Lip Sync) 기능을 발표하였습니다. 이 립싱크 기능은 무료 구독인 상태에서도 사용해볼 수 있습니다.

립싱크 기능을 사용하려면 Runway 회원가입/로그인을 한 뒤 왼쪽 사이드바에서 'Generate Audio'를 클릭합니다.

'Generate Audio'를 클릭 후 아래 이미지 붉은 박스로 표시된 것과 같이 'Generative Audio' 이미지를 클릭해줍니다.

Generative Audio 페이지로 들어가면 아래와 같은 화면이 나타납니다. 붉은 박스로 표시된 곳에 스크립트를 직접 입력하거나 이미 있는 오디오 파일을 업로드할 수 있습니다. 음성 학습(Clone a voice)은 유료 구독 시 사용가능합니다.

스크립트 입력창 하단 'Select a voice'에서 목소리를 선택할 수 있습니다. 또한 아래 이미지 오른쪽 'Add a face'에서 아바타 얼굴 이미지를 업로드하거나 예시 이미지를 선택할 수 있습니다.

Runway Generative Audio로 생성한 결과:

같은 스크립트, 다른 목소리로 생성한 결과는 [여기]를 클릭하시면 보실 수 있습니다.

비교를 위해, D-id를 사용해 생성한 결과는 아래 영상에서 확인하세요:

마무리

1) 아직 다국어를 지원하지는 않지만, 지난 생성형 AI의 발전속도를 고려해보면 빠르면 올해 내에 가능할 수도 있습니다(오직 저의 추측입니다). 그 전에 다국어 AI 아바타를 만들고 싶다면, Elevenlabs 사용을 추천드립니다. Elevenlabs에서는 다국어 음성 생성을 지원하며, 한국어도 가능합니다. 이는 87회 뉴스레터에 다루기도 했습니다. 단, 스크립트 번역은 ChatGPT 등을 사용해야합니다.

2) 작년부터 인기 있었던 'D-id' 서비스와 비교해보면, 립싱크의 정교함이 약간 추가된 것 같습니다. 무엇보다 D-id는 고개를 양쪽으로 움직이기 때문에 머리카락과 배경 사이 왜곡이 많이 발생하기도 했는데, Runway의 립싱크 기능은 이런 왜곡이 적은 편입니다.

3) 여전히 어색하게 느껴지는 이유는 몸이 하나도 움직이지 않기 때문입니다. HeyGen은 손 제스쳐의 움직임을 추가함으로써 이런 문제를 해결하였습니다.

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: a cinematic film still by Steven Spielberg, a robot is wondering in the forest, curious, fairytale mood, ethereal vibe --ar 47:20 --v 6.0 --style raw