2025년 3월 17일부터 31일까지 AI 버튜버 '요시다 군'이 폰타 패스 뉴스 영상을 매일 전달하는 실증 실험이 진행되었습니다.
AI 기술과 인기 IP(지식재산권)를 결합한 이번 시도는 단순한 정보 전달을 넘어섭니다. 캐릭터의 개성과 세계관을 살려 친숙함과 재미를 더하고, '즐길 수 있는 뉴스'를 목표로 했습니다. 이를 통해 AI 시대의 새로운 엔터테인먼트 가능성을 모색하고자 합니다.
이번 프로젝트에는 KDDI의 가와모토 다이코 씨와 사노 마나부 씨가 참여했습니다. 추가로 AI 버튜버 영상 제작은 DLE의 나루시마 고헤이 씨와 시이키 히데키 씨, 그리고 프로그맨 씨가 담당했습니다. 이들에게 AI 버튜버의 미래와 새로운 엔터테인먼트의 모습에 대해 자세한 이야기를 들어보았습니다.
“단순한 AI가 아니다”, 친숙함을 추구한 영상 콘텐츠
ーー먼저, 이번 AI 버튜버 '요시다 군'을 활용한 폰타 패스 뉴스 영상 실증 실험의 개요를 설명해주시겠어요?
가와모토 다이코(이하 가와모토): 이번 기획은 DLE의 인기 애니메이션 '비밀결사 매의 발톱단' 캐릭터 '요시다 군'을 AI 버튜버로 활용하는 것이었습니다. 폰타 패스 관련 주제를 중심으로 뉴스 영상을 제작해 3월 17일부터 31일까지 매일 한 편씩 공개했습니다.
다만 폰타 패스 정보를 일방적으로 전달하면 홍보 성격이 너무 강해질 수 있어서, '오늘은 무슨 날?'이나 '괴인 운세' 같은 재미있는 콘텐츠를 포함하는 데도 신경 썼습니다.
AI 버튜버를 기획하게 된 배경에는 원래 회사 내부에서 "AI로 뭔가 재미있는 일을 해보고 싶다"는 이야기가 있었습니다. 하지만 AI 합성 음성만 사용한 콘텐츠는 공감이나 참여를 얻기 어렵다는 한계를 느끼고 있었죠.
그래서 캐릭터로서의 매력과 팬과의 관계성을 지닌 '요시다 군'과 AI를 결합하면, '즐길 수 있는 정보'로서 사용자에게 다가갈 수 있겠다는 생각이 들었습니다. 이번에 AI 버튜버 '요시다 군'의 음성 모델로 프로그맨(오노 료) 님을 기용한 것도 그런 이유입니다. 이를 통해 폰타 패스 사용자뿐 아니라 '매의 발톱단' 팬들도 즐길 수 있도록 세심하게 준비했습니다.
앞으로도 폰타 패스에서는 매일 바뀌는 쿠폰이나 읽을거리 콘텐츠가 제공될 예정입니다. 이러한 영상 콘텐츠를 활용해 사용자에게 쉽고 친근하게 정보를 전달하고 싶습니다.
사노 마나부(이하 사노): 폰타 패스는 기존에 약 1,500만 명의 에이유(au) 회원이 이용하던 '에이유 스마트 패스'를 기반으로 합니다. KDDI가 로손에 출자하고 제휴를 맺으면서 2024년 10월 새롭게 개편했습니다.
이전보다 일상적으로 서비스를 더 쉽게 이용할 수 있게 되었고, 로손의 인기 상품 '가라아게 군' 등과 교환 가능한 쿠폰을 중심으로 유료 구독 회원에게 새로운 혜택을 제공하고 있습니다.
하지만 서비스로 제공하는 정보가 많아지면서 "유용한 정보가 너무 많아 오히려 전달하기 어렵다"는 문제도 생겼습니다. 그래서 이번에 AI 버튜버를 활용한 영상 형식을 도입했습니다. 사용자가 일부러 쿠폰을 찾아다니지 않아도 영상을 보는 것만으로 유용한 쿠폰 정보를 알 수 있는 경험을 제공하고 싶었습니다.
또한, 지금까지는 에이유(au) 매장 등에서의 안내가 중심이었지만, 더 폭넓은 고객층에게 인지도를 높이고자 했습니다. 인기 IP인 '비밀결사 매의 발톱단'의 '요시다 군'과 협력하여 서비스 인지도를 확대하는 것을 목표로 했습니다.
가와모토: 폰타 패스 프로모션에서는 이전부터 웹3 기술을 활용하는 등 기술을 적극적으로 도입해 왔습니다. 하지만 "이렇게 대단한 기술을 사용하고 있습니다!"라고 요란하게 내세우기보다는, 어디까지나 '자연스럽게' 기술을 활용하는 방식을 중요하게 생각합니다. 이번 AI 버튜버도 AI 챗봇 같은 방향으로 치우치지 않고, 친숙하면서 매일 부담 없이 볼 수 있는 간단한 영상 콘텐츠로 만든 것이 핵심입니다.
ーーDLE가 이번 실증 실험에 참여하게 된 배경을 설명해주시겠어요?
프로그맨: DLE는 종종 애니메이션 회사로 오해받곤 합니다. 하지만 저희가 정말 중요하게 생각하는 것은 새로운 기술을 발 빠르게 도입하고, 아직 아무도 시도하지 않은 일에 도전하는 자세입니다. 이 점은 창업 이래 변함이 없습니다.
예를 들어 20년 전, '플래시'가 인터넷에서 즐길 거리로 사용되던 시절이 있었습니다. 그때 저희는 플래시를 이용해 TV 애니메이션을 방송했는데, 이는 당시로서는 전례 없는 도전이었습니다. 그 후에도 유튜브에 일본 애니메이션을 처음으로 공식 업로드하는 등, 항상 한발 앞선 미래에 도전해 온 역사가 있습니다.
그리고 지금 AI 시대가 도래하면서 엔터테인먼트 업계에서는 "AI가 우리 일자리를 빼앗을 것이다", "저작권 문제가 더 복잡해질 것이다"와 같은 우려의 목소리가 많습니다. 하지만 저 자신은 AI로 인한 변화를 오히려 환영합니다. 제 경력의 시작이 실사 영화였기 때문입니다. 게다가 필름 촬영이 당연시되던 시절부터 HD나 디지털 기술로 넘어가는 과정을 실시간으로 경험했습니다.
영화가 디지털화되던 전환기에는 "디지털 같은 건 쓸 수 없다"며 반발하는 목소리도 많았습니다. 하지만 지금은 필름을 고집하는 사람이 거의 사라졌고, 애초에 필름 자체가 시장에서 찾아보기 어렵게 되었죠. 이러한 과거를 돌이켜보면, AI도 마찬가지로 '새로운 표준'이 될 것이라고 생각합니다
그리고 이에 대해 긍정적으로 대처하는 자세가 중요하다고 느낍니다. 저 또한 지금까지 여러 기술의 등장을 직접 지켜봐 왔습니다. 그래서 기술 혁신이 새로운 '구조'나 '문화' 자체를 만들어간다는 것을 실감하고 있습니다. 이번 AI에 대해서도 "이 흐름을 놓치면 안 된다"고 강하게 생각했기 때문에 꼭 함께하고 싶었습니다.
나루시마 고헤이(이하 나루시마): AI 기술은 매일 발전하고 있으며, 애니메이션 사업에서도 AI는 필수적인 존재가 되어가고 있다고 느낍니다. 저희도 이러한 변화를 진지하게 받아들이고 있습니다. AI와 어떻게 공존하며 더 나은 미래를 만들 수 있을지 모색하고 도전하는 과정에 있습니다. 그러던 중 KDDI와 함께 '캐릭터와 AI'의 가능성을 탐구하고자 이번 실증 실험에 참여하게 되었습니다.
저희가 특히 주목하는 점은 'AI에 캐릭터성을 부여하는 것'이 매우 중요하다는 사실입니다. 이번 실증 실험도 그 일환입니다. 저희는 이미 다른 IP를 통해서도 AI 캐릭터가 사용자와 실시간으로 대화하며 방송을 진행하는 '완전 자립형 소통 방송' 같은 시도를 하고 있습니다.
AI 버튜버 '요시다 군'의 경우, 말투에 개성을 부여하는 것처럼 AI에 캐릭터의 성격을 어떻게 반영할지가 중요했습니다. 또한 AI가 만드는 하나의 콘텐츠로서 '요시다 군'다움을 어디까지 살릴 수 있을지도 핵심 과제였습니다.
앞으로 저희가 그리는 미래에는 AI 캐릭터들이 스스로 이야기를 구상하고 대화할 것입니다. 또한 짧은 연극이나 프로그램 같은 콘텐츠를 자동으로 연출하고 생성하게 될 것이라고 생각합니다. 인간은 단지 그것을 촬영하기만 하는, 그런 제작 방식의 근본적인 변화가 곧 다가올 것이라고 느낍니다.
이번에는 폰타 패스 뉴스와 같은 형태로 진행했지만, 이를 더욱 발전시켜 AI 캐스터가 진행하는 아침 뉴스 프로그램 같은 콘텐츠도 실현할 수 있을 것으로 기대합니다. 예를 들어 '요시다 군'이 메인 캐스터로 등장할 수도 있습니다. 그리고 다른 캐릭터들과 함께 AI끼리 자연스럽게 대화를 주고받으며 프로그램을 진행하는 미래의 모습도 그려볼 수 있습니다.
저희는 '비밀결사 매의 발톱단' 캐릭터를 사용해 뉴스나 사회 문제를 쉽게 설명하는 영상도 많이 제작해 왔습니다. 하지만 지금까지는 사람이 시나리오를 쓰고 성우의 역할을 배분했습니다.
만약 이 모든 과정이 미래에 AI만으로 가능해진다면, 등장하는 AI 캐릭터의 개성이나 입장을 더욱 명확히 할 수 있을 겁니다. 이를 통해 각자 다른 의견을 가지고 토론하는 '토론 프로그램' 제작도 가능해질 것입니다.
AI 캐릭터끼리의 토론 프로그램도 가능, DLE가 전망하는 차세대 엔터테인먼트란?
ーーAI 캐릭터끼리 토론하는 프로그램이 생긴다면, 기존 예능 프로그램과는 또 다른 재미를 줄 수 있겠네요.
가와모토: 이번 프로젝트에서 특히 흥미로웠던 점은 AI 캐릭터들의 대화극이 중심이 되었다는 것입니다. 역시 '주고받는 대화의 재미'야말로 콘텐츠의 매력을 좌우하는 핵심 요소라고 생각했습니다. 물론 영상 품질을 높이는 접근도 중요합니다. 하지만 이번 영상처럼 대화가 중심이 될 때는 반드시 고화질 애니메이션이 아니어도 괜찮습니다. 캐릭터 간의 대화 내용이나 개성이 잘 전달된다면 충분히 매력적인 콘텐츠가 될 수 있다고 생각합니다.
그렇기 때문에 DLE와 함께 캐릭터의 매력을 살리면서, 대화만으로도 흥미로운 콘텐츠를 만들고 싶다는 마음이 있었습니다.
프로그맨: AI가 진정으로 바꾸는 것은 '표현의 문법'이라고 생각합니다. 즉, 기존 애니메이션이나 캐릭터 제작 방식에 AI를 단순히 적용하는 것이 아닙니다. 그보다는 AI를 전제로 한 완전히 새로운 형태의 엔터테인먼트가 등장할 것이라는 의미입니다.
물론 AI 덕분에 작업이 수월해지는 부분도 있을 겁니다. 하지만 그보다 더 중요한 것은 '지금까지 애니메이션을 만들 수 없었던 사람들이 만들 수 있게 된다'는 점입니다.
최근 유행하는 쇼트 드라마(단편 드라마)도 AI를 활용하면 편당 10만~20만 엔 정도의 낮은 예산으로 제작할 수 있게 되었습니다. 게다가 실사 드라마 제작 경험이 없는 사람이라도 괜찮습니다. 스태프를 모으거나 배우를 섭외할 필요도 없고, 직접 촬영하지 않아도 됩니다. AI 사용법만 조금 배우면 쇼트 드라마를 만들 수 있는 시대가 온 것이죠.
저 자신도 몇 분짜리 풀 애니메이션을 AI로 만들어 봤습니다. 이를 기존 방식대로 제대로 만들려면 수백만 엔이 들고, 아무리 적게 잡아도 40~50명의 스태프가 필요합니다. 하지만 AI의 힘을 빌리니 단 혼자서, 그것도 30시간 정도 만에 완성할 수 있었습니다. 그림은 단 한 장도 그리지 않았습니다. 이처럼 AI를 활용해 누구나 부담 없이 엔터테인먼트를 창작할 수 있는 시대가 다가오고 있는 것입니다.
ーー지금 이야기를 듣고 나니 궁금한 점이 생겼습니다. 어떤 기준으로 기술을 선택하고 엔터테인먼트에 적용하시는지요? 특히 AI 버튜버 분야는 여러 회사에서 각자의 방식으로 시도하고 있지만, 아직 확실한 성공 공식은 없는 것 같습니다. 이 부분에 대해서는 어떻게 생각하시나요?
시이키 히데키(이하 시이키): 현재 버추얼 인플루언서 시장을 보면, 버튜버와 비인간형 인플루언서의 비율이 대략 7대 3 정도인 것으로 파악하고 있습니다. 후자는 유튜브보다는 인스타그램 등을 중심으로 활동합니다.
주로 일러스트 풍의 비주얼이나 패션 모델 같은 모습으로 등장하는 캐릭터들입니다. 이들이 전체 시장의 약 30%를 차지한다고 알려져 있습니다. 여기에 이른바 AI 캐릭터라는 흐름도 더해지고 있습니다. 하지만 아직 시장 전체에 큰 영향을 미칠 정도는 아니라고 보고 있습니다.
그렇지만 버튜버의 눈부신 성장이나 비인간형 인플루언서의 부상을 보면 알 수 있듯이, AI 캐릭터도 앞으로 확실히 존재감을 키워갈 것입니다. 관련 시장 역시 크게 확대될 것으로 예상합니다. 각 유형 간에는 뚜렷한 차이가 있습니다. 그렇지만 공통점은 '나카노히토(소위 '안에 있는 사람')'가 전면에 나서지 않거나 아예 존재하지 않는다는 점일 것입니다.
저희 회사 캐릭터의 경우 나카노히토가 있지만, 어디까지나 뒤에서 지원하는 역할을 하며 겉으로 드러나지는 않습니다. 저희가 목표하는 것은 AI 캐릭터 자체가 자립적으로 활동할 수 있도록 발전시키는 것입니다. AI와 캐릭터를 결합함으로써 지금까지 없었던 새로운 형태의 엔터테인먼트가 탄생할 것이라고 생각합니다. 이를 실현하기 위해 AI 캐릭터를 어떻게 설계하고 육성할지에 대해 여러 시행착오를 거치고 있습니다.
AI 캐릭터의 퀄리티 관리, '재미'와 '안전성'의 균형이 핵심
ーー한편, 기존 설정을 가진 캐릭터의 경우 이를 무시할 수 없을 텐데요. 예를 들어 "이런 말은 하지 않는다"거나 "정치적 언급은 피한다" 같은 규칙이 있을 겁니다. 이런 품질 관리는 아직 AI에게 어려운 문제라고들 합니다.
나루시마: 바로 지금 문제에 직면한 사례가 있습니다. 유튜브 구독자 100만 명이 넘는 인기 채널 '소로타니의 아니멧치'의 사례를 보면요. 이곳의 버튜버 캐릭터 '게츠아고 언니'가 콘텐츠 방향성을 신중하게 재검토해야 하는 상황에 놓였습니다. 너무 과격한 발언을 한 것이 원인인 듯한데, 이는 예상치 못한 큰 착오였습니다(웃음).
원래대로라면 이미 수익화가 안정되었어도 이상하지 않은 상황이었습니다. 그래서 현재는 '어떻게 하면 너무 과격하지 않으면서 캐릭터의 매력을 잃지 않을까' 하는 균형을 맞추기 위해 매일 노력하고 있습니다.
시이키: 맞습니다. 나루시마 씨가 언급했듯이 '게츠아고 언니'는 재미를 너무 추구한 나머지 좀 '지나치게 자극적인' 콘텐츠가 되어버렸습니다(웃음). 그 표현 수위를 어디까지 조절해야 할지가 현재 과제입니다.
현재 LLM을 컨트롤하는 몇 가지 방법이 있습니다. 외부 데이터베이스를 참조하는 RAG(검색 증강 생성) 방식도 있고, 파인튜닝을 통해 전용 모델을 만들거나 프롬프트를 조정하는 방법도 있습니다.
'게츠아고 언니'는 IP로 만들어진 지 얼마 되지 않아 정보량이 적습니다. 그래서 우선은 프롬프트 기반으로 상황 설정만 하고 대화를 컨트롤하는 것이 현재 상황입니다. 물론 그만큼 제어가 어려운 부분도 있지만, 가능한 범위 내에서 재미와 균형을 찾으려 노력하는 단계입니다.
하지만 이미 오랫동안 운영해 온 IP의 경우에는 RAG 데이터베이스를 함께 사용하여 더욱 캐릭터에 맞는 반응을 하도록 만들고 있습니다. 물론 반응 속도나 비용 면에서는 단점이 있지만, 캐릭터의 특징을 살리거나 제어의 정확도는 크게 향상됩니다.
앞으로는 적절한 파인튜닝을 포함해 IP의 성장 정도나 사업의 미래 전망을 고려할 것입니다. 그리고 어떤 기술을 어떻게 도입할지는 그때그때 판단해 나갈 생각입니다.
ーー이번 AI 버튜버 '요시다 군' 영상은 자동 생성으로 만들어졌다고 들었습니다. 제작 과정에서 특별히 신경 쓴 점이나 중요하게 생각한 부분이 있나요?
가와모토: 이번 작업 과정은 다음과 같습니다. 먼저 저희가 '전달하고 싶은 내용'을 기업과 협의해 글로 정리합니다. 다음으로 DLE 측에서 이 내용을 캐릭터에 맞게 각색하고, 합성 음성을 사용해 음성 파일을 만듭니다. 마지막으로 이 음성을 기반으로 움직임을 더해 영상을 완성하는 순서입니다.
이 시스템 덕분에 캐릭터 하나가 뉴스 프로그램처럼 정보를 전달할 수 있게 되었습니다. 기업이 전달하고자 하는 내용을 자연스러운 말투로 이야기하는 스타일을 구현할 수 있었다고 생각합니다. 이런 방식으로 '기업의 정보를 일상생활 속에서 친숙하게 전달하는' 새로운 정보 전달 방식을 더욱 확산시키고 싶습니다.
또한 AI와 영상 콘텐츠가 앞으로 더욱 일상적으로 활용되면서 '통신' 인프라의 중요성이 그 어느 때보다 커질 것이라고 생각합니다. 그렇게 되면 5G처럼 빠르고 안정적인 통신 환경이 사용자 경험의 질을 크게 좌우하게 됩니다. 이번 프로젝트에서는 매일 영상을 배포해야 했습니다. 그렇기 때문에 콘텐츠의 '양'과 '질' 모두 통신 환경이 뒷받침되어야 했습니다. 따라서 AI 기술과 통신 인프라의 연동 또한 중요한 과제로 인식하고 있었습니다.
AI 시대, 모든 콘텐츠에 엔터테인먼트를 결합하는 'EoT' 개념 중요
ーー감사합니다. 마지막으로 앞으로의 전망에 대해 말씀해주세요.
가와모토: 저희 회사에서는 이전에 '스마파 과장'이나 '스마파 부장' 같은 사례가 있었습니다. 실제 직원을 캐릭터로 만들어 영화관 상영 콘텐츠에 등장시킨 것이죠. 이런 사례처럼 새로운 오리지널 캐릭터를 만들어 정보를 전달하는 방식도 고려하고 있습니다.
일본의 뛰어난 캐릭터 자산이나 IP와 기술을 결합하고 싶습니다. 이를 통해 국내외 기업들이 '일본 콘텐츠는 재미있다'고 느낄 만한 매력적인 콘텐츠를 만들고 싶습니다.
시이키: 이번 작업은 PoC 성격으로 진행했습니다. 그래서 음성 생성이나 원고 작업은 기본적으로 자동화했지만, 일부 영상 부분에는 어쩔 수 없이 사람의 손길이 필요했습니다. 하지만 시스템적으로는 거의 구축 가능한 상태입니다. '게츠아고 언니' 사례에서 개발한 시스템을 응용하면, 곧바로 자동화 과정을 실행할 수 있을 것으로 기대하고 있습니다.
최종적인 목표는 다음과 같은 시스템입니다. 원고를 입력하면 음성이 자동으로 생성됩니다. 그리고 그 음성에 맞춰 움직임도 자동으로 반영되어 영상이 완성되는, 이 모든 과정을 한 번에 완료하는 시스템을 만들고자 합니다.
프로그맨: 저희 전임 대표가 'IoT(사물 인터넷)'에 빗대어, 모든 콘텐츠에 엔터테인먼트를 결합한다는 의미의 'EoT(Entertainment of Things)'라는 말을 사용하곤 했습니다.
AI가 발전하는 시대에는 그러한 접근 방식이 더욱 중요해질 것이라고 생각합니다. 이번 KDDI와의 협력도 그 일환이었습니다. 원고 생성 등 AI를 다방면에 활용해서 저희가 어디까지 작업을 효율화할 수 있을지 시험해보는 도전이기도 했습니다.
그 과정에서 많은 것을 깨닫고 배울 수 있어서 정말 가치 있는 시도였다고 생각합니다. 앞으로도 항상 시대의 흐름을 앞서가는 자세로 새로운 엔터테인먼트의 형태를 추구해 나가고 싶습니다.
본 콘텐츠는 2025년 5월 14일에 Real Sound에서 발행한 "「秘密結社鷹の爪」の吉田くん、なぜAIVTuber化？ 仕掛け人に聞く、AI×IPが生み出す“新たなエンタメのカタチ” 아티클을 번역한 것입니다.
저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.
의견을 남겨주세요