[분석] 뉴로사마와 AI 코요리, 라디안과 루나로 알아보는 버튜버의 현재와 미래

1. 들어가며

버튜버(VTuber)는 캐릭터를 사용해 활동하는 새로운 형태의 콘텐츠 크리에이터입니다. 최근에는 생성형 AI를 비롯한 인공지능 기술의 약진으로, AI를 활용한 버튜버가 관심을 받고 있는데요.

AI 버튜버는 이미 2017~2018년부터 존재해왔지만, 언어 모델을 바탕으로 한 최근 모델들은 정말 색다른 엔터테인먼트라고 표현할 수 있습니다.

버튜버와 AI 버튜버는 기본적으로 특정 캐릭터를 활용한다는 공통점이 있지만, '겉'과 '안'이라는 구조에서 차이가 있습니다.

먼저 버튜버는 기본적으로 '겉과 안이 구분'되어 있습니다. 겉은 특정 캐릭터의 모습을 하고 있지만, 그 안에는 실제 인간이 존재하여 실시간으로 움직임과 음성을 제공합니다. 보통 버튜버 안에 있는 사람을 '연기자', 일본어로 '나카노히토', 중국어로 '중지인'이라고 표현합니다.

종합하면 "실제 스트리머 × 캐릭터 = 버튜버"라는 공식으로 나타낼 수 있습니다. 실제 스트리머의 움직임과 목소리가 애니메이션 스타일의 캐릭터를 통해 표현되는 거죠.

버튜버의 방송 과정을 살펴보면, 실제 스트리머의 개입이 많습니다. 스트리머의 움직임을 웹캠을 통해 포착하고, 전문 소프트웨어를 통해 캐릭터의 동작으로 변환됩니다. 이를 통해 실제 사람의 표정이나 몸짓이 실시간으로 2D나 3D 캐릭터로 구현되는 구조입니다.

반면 AI 버튜버는 완전한(Fully) 버츄얼 캐릭터이자 디지털 창작물입니다. 겉모습뿐만 아니라 움직임, 음성, 퍼포먼스까지 모두 인공적으로 만들어진 것으로, '안과 밖의 구분이 없는' 순수한 가상의 존재입니다.

AI 버튜버의 행동과 표현은 알고리즘을 통해 계획되고 제작되며, 이상적인 이미지를 유지할 수 있습니다. 또한 시간과 공간의 제약없이 콘텐츠를 제작하거나, 동시에 여러 장소에서 퍼포먼스가 가능하고 비즈니스 측면에서도 분쟁 없는 IP 관리와 운영 등을 장점으로 꼽을 수 있는데요.

다만 아직까지는 즉각적이고 자연스러운 소통은 약할 수 밖에 없다는 단점이 있습니다.이로 인해 대부분의 AI 버튜버들은 '재미가 없다'라는 평가가 많죠. 최근 ChatGPT를 비롯한 LLM의 비약적인 발전으로 이러한 한계를 극복하고자 다양한 시도들이 진행되고 있습니다.

이번 콘텐츠에서는 AI를 통해 통해 다양한 재미를 만들어 내고 있는 뉴로사마, AI 코요리와 라디유, 그리고 AI와 크립토가 결합된 버츄얼스 프로토콜과 루나에 대해 소개해드리고자 합니다.

2. 대표적인 AI 버튜버, 뉴로사마

뉴로사마(Neuro-Sama)는 AI VTuber의 창시자격인 존재(최초는 아님)로, 트위치에서 스트리밍을 하는 영어권 버튜버입니다. 한마디로 LLM을 사용하여 응답하고, 음성 합성 엔진을 사용해 말하고, 게임 전용 AI를 통해 플레이를 하며, 유니티를 통해 시각적으로 컴파일되는 AI 스트리머죠.