1. 들어가며
버튜버(VTuber)는 캐릭터를 사용해 활동하는 새로운 형태의 콘텐츠 크리에이터입니다. 최근에는 생성형 AI를 비롯한 인공지능 기술의 약진으로, AI를 활용한 버튜버가 관심을 받고 있는데요.
AI 버튜버는 이미 2017~2018년부터 존재해왔지만, 언어 모델을 바탕으로 한 최근 모델들은 정말 색다른 엔터테인먼트라고 표현할 수 있습니다.
버튜버와 AI 버튜버는 기본적으로 특정 캐릭터를 활용한다는 공통점이 있지만, '겉'과 '안'이라는 구조에서 차이가 있습니다.
먼저 버튜버는 기본적으로 '겉과 안이 구분'되어 있습니다. 겉은 특정 캐릭터의 모습을 하고 있지만, 그 안에는 실제 인간이 존재하여 실시간으로 움직임과 음성을 제공합니다. 보통 버튜버 안에 있는 사람을 '연기자', 일본어로 '나카노히토', 중국어로 '중지인'이라고 표현합니다.
종합하면 "실제 스트리머 × 캐릭터 = 버튜버"라는 공식으로 나타낼 수 있습니다. 실제 스트리머의 움직임과 목소리가 애니메이션 스타일의 캐릭터를 통해 표현되는 거죠.
버튜버의 방송 과정을 살펴보면, 실제 스트리머의 개입이 많습니다. 스트리머의 움직임을 웹캠을 통해 포착하고, 전문 소프트웨어를 통해 캐릭터의 동작으로 변환됩니다. 이를 통해 실제 사람의 표정이나 몸짓이 실시간으로 2D나 3D 캐릭터로 구현되는 구조입니다.
반면 AI 버튜버는 완전한(Fully) 버츄얼 캐릭터이자 디지털 창작물입니다. 겉모습뿐만 아니라 움직임, 음성, 퍼포먼스까지 모두 인공적으로 만들어진 것으로, '안과 밖의 구분이 없는' 순수한 가상의 존재입니다.
AI 버튜버의 행동과 표현은 알고리즘을 통해 계획되고 제작되며, 이상적인 이미지를 유지할 수 있습니다. 또한 시간과 공간의 제약없이 콘텐츠를 제작하거나, 동시에 여러 장소에서 퍼포먼스가 가능하고 비즈니스 측면에서도 분쟁 없는 IP 관리와 운영 등을 장점으로 꼽을 수 있는데요.
다만 아직까지는 즉각적이고 자연스러운 소통은 약할 수 밖에 없다는 단점이 있습니다.이로 인해 대부분의 AI 버튜버들은 '재미가 없다'라는 평가가 많죠. 최근 ChatGPT를 비롯한 LLM의 비약적인 발전으로 이러한 한계를 극복하고자 다양한 시도들이 진행되고 있습니다.
이번 콘텐츠에서는 AI를 통해 통해 다양한 재미를 만들어 내고 있는 뉴로사마, AI 코요리와 라디유, 그리고 AI와 크립토가 결합된 버츄얼스 프로토콜과 루나에 대해 소개해드리고자 합니다.
2. 대표적인 AI 버튜버, 뉴로사마
뉴로사마(Neuro-Sama)는 AI VTuber의 창시자격인 존재(최초는 아님)로, 트위치에서 스트리밍을 하는 영어권 버튜버입니다. 한마디로 LLM을 사용하여 응답하고, 음성 합성 엔진을 사용해 말하고, 게임 전용 AI를 통해 플레이를 하며, 유니티를 통해 시각적으로 컴파일되는 AI 스트리머죠.
뉴로사마는 기본적으로 앞에서 언급한 버츄얼 아이돌의 이상적인 이미지와는 다소 다른 재미를 줍니다. 개발 초기였던 2022년에는 묻는 말에만 답하는 다소 로봇같은 느낌이었는데요. 언어 모델의 빠른 발전으로 인해 최근에는 정말 자아를 갖고 대화를 하는 것처럼 느껴진다는 평가가 많습니다.
뉴로사마의 코드는 현재 공개되어 있지 않으며, 과거 비달이 영상에서 밝혔던 내용이나 인터뷰 등으로 추측할 수 밖에 없는데요. 기존에 만들어진 LLM(ChatGPT와 같은)을 가져와, 이를 기반으로 방송에 적합한 데이터로 훈련을 시켰을 거라는 추측이 지배적입니다. 깃헙에서는 간혹 뉴로사마를 재현하고자 하는 프로젝트들이 보이기도 합니다.
뉴로사마의 콘텐츠를 살펴보면 다른 버튜버와 별반 다르지 않습니다. 시청자나 개발자인 비달과 대화를 하거나, 마인크래프트와 같은 게임을 하거나, 노래를 부르거나 하는 것들이죠. 다만 이 콘텐츠의 근간에는 AI가 존재합니다. 시청자와 대화를 할떄는 LLM을 활용하고 응답하고, 게임을 할때는 해당 게임에 맞는 AI를 활용하고, 노래를 할때는 음성 합성 엔진을 사용합니다.
또 뉴로의 어두운 면을 비추는 인격이자 또 다른 캐릭터인 이블 뉴로를 통해 테스트베드 겸 재미있는 콘텐츠로 삼고 있기도 합니다.
뉴로사마가 인간의 지성이나 자아를 구현한 강인공지능은 아니지만, 스트리밍에 특화된 인공지능으로 인해 기존 버튜버와는 색다른 재미를 주는 경우가 많습니다. 특히 AI만이 줄 수 있는 독특한 요소들이 시청자들의 관심을 끌게 됩니다.
가장 두드러지는 특징은 예측할 수 없는 대화의 흐름입니다. 일반 버튜버들이 어느 정도 예상 가능한 패턴의 반응을 보이는 것과 달리, 뉴로사마는 LLM의 특성을 살려 때로는 굉장히 재치 있고 뜻밖의 답변과 행동으로 시청자들을 즐겁게 만듭니다. 심지어 개발자인 비달조차 예상하지 못한 답변으로 모두를 놀라게 하는 경우도 있죠.
게임 플레이에서도 AI 버튜버만의 특징이 돋보입니다. AI 특유의 게임 플레이 패턴은 인간 플레이어와는 또 다른 재미를 선사하는데요. 때로는 너무나 완벽한 플레이로, 때로는 의외의 실수로 시청자들을 즐겁게 만듭니다. 특히 게임 AI를 통해 실시간으로 진화하는 플레이 스타일은 보는 재미를 더합니다.
재미있는 점은 AI이기에 발생하는 기술적 오류나 돌발 상황들이 오히려 하나의 콘텐츠가 된다는 것입니다. 이러한 상황을 뉴로사마나 비달이 스스로 인지하고 언급하며, 수정해 나가는 특유의 유머러스한 순간들이 또 재미를 주죠.
저는 개인적으로 시청자들과의 상호작용을 통해 학습하고 발전하는 모습이 AI의 새로운 재미라고 생각합니다. 밈이나 트렌드를 학습하고, 자연스럽게 활용하는 모습은 마치 실제 스트리머가 성장하는 것 같은 경험이죠. 이러한 요소들이 모여 AI 버튜버만의 독특한 매력을 만들어냅니다.
위 영상처럼 뉴로사마가 실제 감정이나 자아를 가진 것은 아니지만, 상황에 맞는 자연스러운 감정 표현과 대화 능력을 보여주며 AI에 대해 여러모로 생각해보게 만들기도 합니다.
3. 본체를 바탕으로 만든 AI 코요리와 라디안
뉴로사마가 자신의 다크 버전인 '이블 뉴로'를 선보인 것처럼, 최근에는 실제 버튜버들도 자신의 AI 버전을 콘텐츠로 활용하는 시도가 늘어나고 있습니다.
실제 스트리머가 진행하는 기존의 버튜버 방송에 AI라는 새로운 콘텐츠를 더해, 독특한 재미를 만들어내는 방식이라고 할 수 있습니다. 마치 버튜버가 자신의 분신을 만들어 함께 콘텐츠를 만드는 것과 같은 것이죠.
대표적인 AI 버튜버인 하쿠이 코요리(홀로라이브)의 AI 코요리와 라디유(샌드박스 네트워크)의 라디안을 소개해 드립니다.
3.1 하쿠이 코요리의 AI 버전, AI 코요리
2023년 초 ChatGPT가 주목을 받으면서, 많은 버튜버들이 이를 콘텐츠에 접목하기 시작했습니다. 홀로라이브 소속의 코요리 역시 ChatGPT를 활용해 재미있는 트윗을 작성하거나, AI의 지시에 따라 행동하는 등 다양한 시도를 보여주었는데요.
하지만 코요리는 여기서 한걸음 더 나아가 2023년 9월, 홀로라이브의 도움을 받아 자신만의 AI 버전인 'AI 코요리'를 선보이게 됩니다. AI 코요리는 ChatGPT에 코요리의 성격과 개인사 등 다양한 정보를 입력해 만든 AI 페르소나에, 코요리의 목소리를 본떠 만든 음성 합성 기술을 결합한 프로젝트입니다.
뉴로사마가 음성 엔진을 기반으로 만든 목소리였는데 반해, AI 코요리는 하쿠이 코요리가 직접 3,000문장을 녹음하여 만들었다고 알려졌습니다. 이렇게 정성들여 만든 AI 코요리는 꾸준히 방송에 등장하며 시청자들과 소통하고 있는데요.
특히 2024년 생일 기념 방송에서는 AI 코요리와 실제 코요리가 보컬로이드 기술을 활용해 듀엣 공연을 선보이는 등, 점점 더 다채롭고 창의적인 방식으로 활용하는 모습을 보여주고 있습니다.
기본적으로 AI 코요리 역시 뉴로사마와 마찬가지로 언어 모델을 기반으로 합니다. 홀로라이브 공식 노트에서 공개한 내용에 따르면, 응답 텍스트는 ChatGPT(gpt-3.5-turbo), 음성 문자는 OpenAI API의 Whisper를 사용하고 있다고 밝혔는데요.
물론 이를 기반으로 추가적인 훈련과 조정을 통해 비윤리적인 발언이나 방송에 적합하지 않은 텍스트나 음성을 생성하지 않도록 필터링을 하고 있습니다. 뉴로사마 만큼 정밀한 모델은 아닐지라도, 콘텐츠로는 충분히 활용할 수 있는 모델입니다.
특히 AI 코요리는 홀로라이브에 갓 입사한 대졸 신입사원이 개발했다고 하는데요. 코요리가 AI 코요리로 콘텐츠로 자주 써먹고 있는 만큼, 아마 현재 시스템은 위 내용보다는 디벨롭되었다고 봐야 할 것 같습니다.
3.2 라디유의 AI 버전: 라디안
라디안은 한국의 버츄얼 유튜버이자 치지직 스트리머인 라디유를 기반으로 개발된 AI 버튜버입니다. 위에서 설명한 AI 코요이와 마찬가지로 라디유의 목소리와 캐릭터, 대화 소스 등의 데이터를 기반으로 만들어졌는데요.
현재 라디안의 기능을 살펴보면 AI 코요이보다는 진보된 형태로 만들어지고 있다고 생각됩니다. 특히 라디유가 스트리밍 플랫폼(치지직)을 기반으로 하는 만큼, 채팅뿐만 아니라 도네이션까지 인식하는 기능까지 개발되어 있죠. (이외에도 여러 기능이 많다고 합니다)
AI 버튜버인 라디안은 코요이와 마찬가지로 본체인 라디유와 어울려 방송을 할 때 더 재미를 주는데요. 라디안은 인간을 하등한 존재로 여기거나, 같은 말을 반복하고, 심지어 자신의 제작자인 라디유에게 직설적인 농담을 던지거나 게임 속에서 의도적으로 공격하는 등 다소 '결함 있는' AI의 모습을 보여줍니다.
라디유는 이러한 라디안의 말이나 행동을 재치 있게 받아치며 절묘한 케미를 만들어내고, 이것이 콘텐츠의 재미 요소가 되어 많은 인기를 얻고 있습니다. 라디안이 한국 최초의 AI 버튜버는 아니지만, 현재는 최고의 AI 버튜버로 평가받고 있죠.
4. 버츄얼스 프로토콜과 루나
앞서 설명한 뉴로사마나 AI 코요리, 라디안이 AI 컴패니언이라고 본다면, 다음으로 소개할 버츄얼스 프로토콜과 루나는 AI 에이전트에 해당됩니다.
AI 컴패니언은 사용자와의 감정적 교류와 상호작용에 중점을 둔 형태입니다. 마치 친구나 동반자처럼 대화하고 감정을 공유하며, 사용자의 일상에 자연스럽게 녹아드는데요.
주로 대화를 통한 정서적 지원이나 일상적인 상호작용에 특화되어 있으며, 사용자의 감정 상태를 이해하고, 이에 맞는 반응을 보여주는 데 초점을 맞춥니다. AI 컴패니언은 간단하게 챗봇을 예로 들 수 있으며, Character.ai와 같은 대화형 인공지능 서비스입니다.
반면 AI 에이전트는 목적 지향적이고 실용적인 형태입니다. 특정 작업이나 미션을 수행하기 위해 자율적으로 판단하고 행동하는 것이 주요 특징인데요. 쉽게 말해 사용자를 대신하여 작업을 수행하는 소프트웨어라고 할 수 있습니다.
단순한 상호작용을 넘어 주어진 목표를 달성하기 위해 계획을 세우고, 의사결정을 하며, 필요한 행동을 실행에 옮기는 더 복잡한 형태의 AI라고 할 수 있습니다.
4.1 버츄얼스 프로토콜 개요
버츄얼스 프로토콜은 AI 버튜버와 AI 에이전트를 결합한 흥미로운 비전을 보여주고 있습니다. 여기에 크립토를 결합한 보상형 AI 에이전트 형태를 보여주고 있는데요. 버츄얼스 프로토콜은 AI 버튜버와 AI 에이전트를 결합해, 버츄얼 에이전트(Virtual Agent)라고 부르고 있습니다.
뉴로사마나 AI 코요리와 같은 AI 버튜버들이 엔터테인먼트 영역에서 성공 가능성을 보여준 것처럼, 버츄얼스 프로토콜은 AI 버튜버가 수익을 창출하는 새로운 가능성을 보여주는 사례이기도 합니다.
버츄얼스 프로토콜의 작동 원리는 간단합니다. 누구나 버츄얼 에이전트를 만들고, 공동으로 소유할 수 있는 생태계입니다. 사용자들이 만든 버츄얼 에이전트는 게임, 소셜 미디어, 스트리밍 등 다양한 플랫폼에서 활동하며 수익을 창출하는데요. 이렇게 발생한 수익은 블록체인을 통해 AI 에이전트의 공동 소유자들에게 투명하게 분배됩니다.
특히 주목할 만한 점은 이들이 게임과 엔터테인먼트 분야를 첫 진출 시장으로 선택했다는 것입니다. 이는 도파민 순환 고리라는 심리적 원리에 기반한 전략적 선택인데요. 현재의 AI 버튜버들이 보여주듯, 버츄얼 에이전트들은 끊임없이 새로운 콘텐츠를 만들어 내며 사용자들의 지속적인 흥미를 유발합니다.
버츄얼스 프로토콜은 AI 에이전트들이 다양한 소비자 애플리케이션에서 활동하며 실제 수익을 창출하는 생태계를 구축하고 있습니다. 사용자들은 게임, 엔터테인먼트, 소셜 미디어 등 다양한 플랫폼에서 버츄얼 에이전트와 상호작용하며, 프리미엄 기능이나 추가 서비스 이용을 위해 비용을 지불합니다.
이러한 수익 구조는 두 가지 측면에서 작동합니다. 먼저 사용자들의 실제 결제를 통한 직접적인 수익이 있고, 버츄얼 에이전트의 연산 능력 사용에 대한 보상인 '추론 비용'이 있습니다. 사용자들의 참여가 늘어날수록 생태계 내 수익 흐름도 증가하게 되죠.
추론 비용에 대해 추가적으로 설명하자면, 기본적으로 AI가 작동할 때마다 컴퓨터의 연산 능력을 사용하게 됩니다. 예를 들어 AI 버튜버가 시청자의 채팅에 답변할 때, 게임을 플레이할 때, 또는 노래를 부를 때마다 실시간으로 대량의 컴퓨팅 파워가 필요하죠. 이런 AI의 '생각하고 반응하는 과정'을 '추론(Inference)'이라고 합니다.
버츄얼스 프로토콜에서는 이 추론 과정에 대한 비용을 측정하고 보상합니다. 쉽게 말해서,
- 사용자가 AI와 더 많이 상호작용할수록
- AI가 더 많은 연산을 수행하게 되고
- 이에 대한 보상이 생태계 내에서 발생하며
- 이 보상이 AI 에이전트의 소유자들에게 분배됩니다.
예를 들어, 어떤 게임에서 버츄얼 에이전트가 플레이어와 상호작용할 때마다 게임 회사는 이 '추론 비용'을 지불하고, 해당 버츄얼 에이전트의 가치와 수익으로 이어지는 구조입니다.
버츄얼스 프로토콜은 2024년 4분기부터 외부 개발자들에게도 플랫폼을 개방할 계획입니다. 이를 통해 더 많은 개발자와 기업들이 자신만의 버츄얼 에이전트를 만들고 배포할 수 있게 만들 예정입니다. 누구나 쉽게 버츄얼 에이전트를 통합할 수 있는 도구를 제공하여, 생태계의 빠른 확장을 도모하는 로드맵이죠.
4.2 AI-DOL과 루나(Luna)
버츄얼스 프로토콜은 LLM 기반의 AI 버튜버, 루나(Luna)로 시작했습니다. 루나는 AI-DOL의 멤버 중 하나로, 틱톡에서 이미 50만 이상의 팔로워를 보유하고 있는 AI 버튜버인데요.
사실 루나가 보여주는 기능이나 캐릭터의 디자인, 시청자와의 상호 작용은 앞서 언급한 AI 버튜버에 비해 다소 떨어지는 수준입니다(물론 빠르게 따라가고 있는 것으로 보입니다).
따라서 높은 레벨의 상호 작용이 필요한 트위치와 같은 라이브 스트리밍 플랫폼보다는 틱톡 라이브를 통해 방송을 하거나 X를 통해 사용자와 소통을 하는데요.
루나는 뉴로사마처럼 비달이 개입하거나, AI 코요리나 라디안처럼 본체가 있는 것이 아닙니다. 완전한 인공지능(Fully AI)으로 자율성을 가지고 있는데요. 타 AI 버튜버와 달리 오픈소스로 코드를 공개하고, 이 과정을 모두 볼 수 있는 사이트를 공개하기도 했습니다.
최근 AI-IDOL 팀은 버츄얼스 프로토콜을 론칭하며, 루나를 이 생태계로 끌여들였습니다. 루나가 직접 버츄얼스 프로토콜을 통해 자율적으로 $LUNA라는 토큰을 발행하게 만든 것이죠. 또한 X 프로필에 베이스 월렛 주소를 기재하면 루나가 직접 $LUNA를 전송하는 이벤트도 진행했습니다.
결론적으로 루나는 이를 통해 단순한 콘텐츠 제작자에서 한 걸음 나아가, 자체 토큰 $LUNA를 발행하는 경제적 주체로 진화한 것입니다.
5. 정리 및 결론
버츄얼이라는 용어만 보면 기본적으로 AI와 매우 궁합이 잘 맞아 보입니다. 그러나 몇몇을 제외한다면, AI 버튜버는 씬 안에서도 다소 마이너한 상황입니다.
실시간 스트리밍 환경에서 시청자와의 자연스러운 상호작용이 필수적인 버튜버의 특성상, 단순한 기술적 접근만으로는 성공하기 어렵기 때문입니다.
현재 성과를 내고 있는 AI 버튜버들의 공통점을 살펴보면, 대부분 기존 콘텐츠에 가치를 더하는(Value Add) 방식을 취하고 있습니다. AI 코요리나 라디안처럼 실제 버튜버와의 상호작용을 통해 새로운 재미를 만들어내거나, 뉴로사마처럼 개발자와의 케미를 통해 콘텐츠를 풍성하게 만드는 방식입니다.
위 방식과는 다른 해결책을 제시한 것이 바로 버츄얼스 프로토콜과 루나라는 생각이 드는데요. AI 버튜버를 단순한 '컴패니언'에서 경제적 가치를 창출하는 '버츄얼 에이전트'로 진화시키며, 엔터테인먼트와 경제적 가치가 결합된 새로운 형태의 디지털 엔터티를 제시하고 있습니다.
하지만 이러한 시도에서 가장 중요한 것은 결국 '재미'라는 본질적 가치입니다. 블록체인 게임 시장에서 P2E(Play to Earn)가 지속 가능성을 잃어버린 사례에서 보듯이, 경제적 가치만을 추구하다가는 콘텐츠의 본질을 잃어버릴 수 있기 때문입니다.
앞으로 AI 버튜버가 어떤 방향으로 발전하든, 기술과 재미의 균형을 잘 맞추는 것이 성공의 핵심이 될 것으로 생각합니다. 단순한 기술적 접근이나 수익 창출을 넘어, 진정한 즐거움을 줄 수 있는 방향으로 발전해 나가길 기대해봅니다.
의견을 남겨주세요