2025년 연말에 접어들 무렵 무심코 X(트위터)를 보고 있다가 한 포스트가 눈에 들어왔습니다.
실제 운영자가 없는 완전히 AI로 움직이는 영어권 버튜버인 뉴로사마. 존재 자체는 이전부터 알고 있었습니다. 정확히 어떤 영상이었는지 기억나지는 않지만 Live2D 샘플 데이터인 모모세 히요리 모델을 사용했던 점을 고려하면 2023년 5월 이전의 일이었을 것입니다. 2022년에 데뷔했다는 점을 생각하면 버튜버 활동을 시작하고 얼마 지나지 않았을 때였을지도 모릅니다.
당시 본 영상은 누군지 모를 영어권 버튜버와 콜라보 방송을 하며 대화를 나누는 키리누키(편집 영상)였습니다. 그때 제가 느낀 감상은 ‘결국 챗봇에 Live2D 판떼기를 씌워놓고 말하게 하는 것뿐이잖아’ 하는 것이었습니다. 그런데 서두에 소개한 포스트와 영상은 VRChat 환경인 VR 세계에서 개발자와 대화하며 돌아다니는 충격적인 모습이었습니다.
이번 글은 뉴로사마를 보며 느낀 앞으로의 VR과 AI의 관계성에 대해 논한 글입니다. 마지막까지 함께해 주시면 감사하겠습니다. 참고로 필자는 VRChat 유저 중 한 명이며 버튜버에 대해서는 지인이 많다는 점 외에는 전혀 문외한입니다. 따라서 버튜버의 맥락과는 다소 동떨어진 발언을 할 수도 있으니 양해 부탁드립니다.
본 글은 완전히 주관적인 감상이며 정보에 오류나 차이가 있을 수 있음을 미리 알려드립니다. 또한 억측을 많이 포함하고 있으며 감성이나 가치관에는 개인차가 있다는 점도 참고해 주시기 바랍니다.
뉴로사마란?
애초에 뉴로사마라는 버튜버가 어떤 인물인지 영어 위키백과와 트위치 자기소개를 토대로 간략히 설명하겠습니다. 상세한 약력 등은 본론에서 벗어나므로 깊게 다루지는 않겠습니다. 더 자세한 내용이 궁금하신 분은 직접 찾아보시기 바랍니다.
정식 명칭은 뉴로사마(Neuro-sama). 영국의 개발자 비달(Vedal)이 개발한 AI로 원래는 osu!라는 해외 리듬 게임을 플레이하기 위한 학습형 AI로서 2019년 5월에 만들어졌습니다. 버튜버로 데뷔한 것은 2022년 12월 19일입니다. 사양을 보면 버튜버 프로그램은 C#과 Unity로 작성되었고 AI 측은 Python으로 작동한다고 합니다.
공개된 스펙은 CPU i9-10900K, GPU RTX 4090, RAM 128GB DDR4이며 상세한 내부는 알 수 없으나 로컬 환경에서 거대 언어 모델인 LLM을 돌리고 있는 것으로 보입니다.
주석 1: 현재 주로 사용되는 LLM인 ChatGPT, Gemini, Grok은 클라우드 상에서 작동하며 사양이 낮은 PC나 스마트폰에서도 돌릴 수 있다는 장점이 있지만 기업 서비스이기에 커스터마이징이 어렵고 여러 제한이 있습니다. 반면 로컬 LLM은 고사양 PC가 필요하지만 자유도가 높으며 언어 모델 제작자의 규약 내에서 무엇이든 가능합니다.
가장 큰 특징은 역시 안에 사람이 없는 완전한 AI로 움직이는 버튜버라는 점입니다. Live2D 애니메이션과 합성 음성, LLM을 구사하여 방송을 진행하며 시청자의 채팅에 반응하거나 게임을 플레이하고 노래를 부르고 다른 스트리머와 콜라보를 하는 등 다양한 활동을 하고 있습니다.
최근 2025년 11월 15일에는 3D 모델 데뷔 방송을 진행했으며 많은 버튜버가 그러하듯 VRChat을 3D 모델 발표 장소로 선택했습니다.
주석 2: Live2D 등의 2D 모델에서 3D 모델로 전환할 때 VRChat을 찾는 버튜버가 많습니다. 이는 VRChat의 기능을 활용해 바로 녹화나 방송이 가능하다는 환경적 요인도 있지만 2017년부터 미라이 아카리 등 버튜버들이 자신의 3D 모델로 VRChat에서 유저와 교류했던 역사적 요인도 있습니다.
실제로 무엇이 대단한가?
뉴로사마에 대해서는 알겠는데 ‘VRChat에서 움직이는 게 왜 대단해?’라는 의문이 들 수 있습니다. 이에 대해서는 VRChat이라는 공간을 모르면 이해하기 어려울 수 있습니다. 사실 VRChat에 NPC를 구현하려는 시도는 오래전부터 있었으나 일반적인 3D 게임의 NPC 수준을 벗어나지 못했습니다. 자발적으로 행동하는 AI NPC가 있더라도 대화만 가능하거나 특정 구역을 돌아다니는 정도의 기술적 한계가 있었습니다.
하지만 이 글 서두의 영상을 보면 알 수 있듯 뉴로사마는 어떤 원리인지 명확하지 않으나 3D 모델로 움직이며 다른 유저와 대화를 나눕니다. 즉 매우 높은 수준의 상호작용을 수행하고 있다는 점이 가장 놀라운 포인트입니다. 기술적으로 보면 아바타를 전신으로 움직이는 풀 트래킹으로 돌아다니며 VRChat 월드에 대해 언급하고 쉐이프 키(Shape Key)를 이용해 표정을 바꾸는 등 세밀한 퍼포먼스를 보여줍니다.
주석 3: VRChat에서 VR 기기만 사용하면 상반신만 움직이는 3점 트래킹이 되지만 하반신에 별도 센서를 부착하면 전신을 움직일 수 있습니다.
주석 4: VRChat에서 표정을 바꿀 때 사용하는 파라미터. 페이스 트래킹을 제외하면 보통 손 동작인 핸드 사인을 통해 표정을 바꿉니다.
앞서 언급했듯 뉴로사마는 C#으로 작동하는데 VRChat 월드에는 C# 호환 프로그램인 UdonSharp을 설치할 수 있습니다. 그래서 처음에는 월드에 설치된 기믹처럼 움직이는 줄 알았습니다. 하지만 다른 영상들을 보면 일반적인 계정과 아바타를 어떤 방식으로든 직접 제어하고 있음이 밝혀졌습니다.
또한 VRChat에서 다른 스트리머와 콜라보할 때 제작자인 비달이 없어도 자율적으로 움직인다는 사실이 확인되었습니다.
추측건대 로컬에서 AI를 돌리는 PC에서 VRChat 클라이언트에 명령을 보내 아바타를 움직이는 방식으로 보입니다. 이는 원격 자동 운전이나 로봇 제어 기술을 응용한 것으로 생각됩니다. 요약하자면 Live2D 시절에는 단순히 음성 인식과 합성 음성을 이용한 챗봇에 불과해 보였다면, 3D 모델을 얻음과 동시에 가상 공간에서의 유사 육체를 갖게 되었다는 것이 가장 놀라운 점입니다. 또한 고사양 PC만 있다면 완전 자율로 작동하는 AI라는 점도 주목할 만합니다.
외형을 가진다는 것의 중요성과 아날로그 핵
조금 이야기를 바꿔서 여러분은 ‘아날로그 핵(Analog Hack)’이라는 개념을 아시나요? 이 개념은 2012년 소설로 연재되고 애니메이션화된 SF 작품 <비트리스>(BEATLESS)에서 제창된 것입니다. 인간이 인간의 형태를 한 대상에 대해 다양한 감정의 동요를 일으키는 의식의 보안 허점을 찔러서 인간의 의식을 해킹한다는 의미입니다.
예를 들어 보겠습니다. 당신 앞에 미소녀 안드로이드가 있고 그 아이가 웃으며 손을 흔들어 준다고 칩시다. 이때 불쾌하다고 느낄 사람은 거의 없을 것입니다. 대부분 호감을 느끼고 손을 흔들어 줄지도 모릅니다. 혹은 소녀 안드로이드가 곤란해하며 쩔쩔매고 있다면 도와주고 싶다는 감정이 생릴 텐데 이 역시 아날로그 핵에 해당합니다.
작품 속 안드로이드들은 이렇게 말합니다. “나는 도구입니다. 영혼은 없습니다. 인간의 말과 행동에 맞춰 상대가 기분 좋아할 반응을 내놓을 뿐입니다”라고요. 하지만 마음 약한 주인공은 대답합니다. “그래도 내 마음은 움직였어.”
다시 본론으로 돌아와서 위 영상 초반에 뉴로사마는 비달에게 묻습니다.
제작자는 자신도 모르게 웃음을 터뜨립니다. 이런 말을 들으면 누구라도 쑥스러워할 것입니다.
비록 나중에는 “넌 4위야”라며 농담 섞인 결말이 나지만요. 이 일련의 흐름이 바로 아날로그 핵 그 자체입니다. 제작자인 비달은 뉴로사마가 인간이 아님을 누구보다 잘 압니다.
자신이 짠 프로그램이니까요. 그럼에도 3D 아바타로 움직이며 그럴듯한 말을 건네면 감정이 요동치게 됩니다. 이 영상을 보고 귀엽다거나 지켜주고 싶다고 느낀 분들도 이미 아날로그 핵에 걸려든 셈입니다. 뉴로사마에게는 감정도 마음도 없는데 말이죠.
예를 들어 Windows 11의 코파일럿이 무언가 말을 걸면 ‘아 네’ 정도의 감상밖에 들지 않겠지만, 미소녀의 외형을 입고 움직이며 말을 건네면 이야기가 완전히 달라집니다.
인간의 감정이 요동치는 메커니즘
상대에게 마음도 영혼도 없는데 감정이 요동친다는 게 잘 와닿지 않는 분들도 계실 겁니다. 여기서 간단한 실험을 하나 해보겠습니다. <교향곡 제1번 히로시마>라는 곡이 있습니다. 2008년 초연된 곡으로 사무라고치 마모루라는 인물이 작곡했습니다.
원폭 투하 후 20분간의 히로시마를 표현한 곡이죠. 작곡가는 청각 장애를 가진 상태에서 이 곡을 완성해 ‘현대의 베토벤’이라 불렸고 많은 이들에게 감동을 주며 대히트를 기록했습니다.
전문가와 대중 모두 극찬했던 이 곡에는 반전이 있었습니다. 모든 것이 거짓이었습니다. 2014년 이 곡은 사실 고스트라이터가 대작한 곡임이 밝혀졌습니다. 게다가 사무라고치는 장애인 수첩을 반납할 정도로 귀가 들리지 않는 상태도 아니었습니다. 자, 이 사실을 알고 다시 곡을 들어보십시오. 처음에 느꼈던 감동과 똑같나요? 아마 많은 분의 감상이 바뀌었을 텐데 그것이 정상입니다.
여기서 알 수 있는 점은 인간의 감성은 대상 그 자체보다 부가 정보인 ‘스토리’에 크게 좌우된다는 것입니다. 좋아하는 작가의 평소 발언 때문에 작품까지 싫어지거나, 좋아하던 버튜버의 불미스러운 사건 때문에 과거의 영상까지 재미없게 느껴지는 것과 같습니다. 이런 관점에서 뉴로사마가 부른 커버곡을 들어보시기 바랍니다.
이 곡은 "world.execute(me);"라는 곡으로, Mili라는 일본 음악 그룹의 곡입니다. 가장 큰 특징은 가사를 프로그래밍 언어인 "Java"로 표현했다는 점입니다. 영어 곡이지만 공식 일본어 번역이 있으며, 오리지널 버전과 뉴로사마 부른 커버를 비교해서 들어보시면 좋을 것 같습니다.
어떤가요, 정말로 "완전히 AI로 작동하는 AI 버튜버가 부르기에 딱 맞는 곡이다!"라는 감상이 나오지 않나요? 이것도 정보의 부가가치에 따라 평가가 달라지는 한 사례가 됩니다.
어쨌든 원곡 자체가 그런 곡이다 보니, 역시 AI 버튜버가 커버하면 잘 어울리는 곡이 되네요.
"포우!"나 "슉챗" 같은 부분이 귀엽긴 한데, 원곡과 뮤직비디오를 아는 사람이라면 머릿속에 떠오르는 건 역시 하얀 정장을 입고 춤추는 마이클의 모습 아닐까요? 저는 그렇습니다.
아무래도 킹 오브 팝이라고까지 불린 인물과 비교하는 건 좀 가혹하긴 합니다만.
영어뿐만 아니라 일본어로도 노래한 사례인데, 다른 일본어 곡들도 부른 것 같습니다.
AI는 감정을 가질 수 있는가?
결론부터 말하자면 모르겠습니다. 아니, 감정이나 지능, 혹은 마음이나 영혼이라는 것의 정의 자체가 애매합니다. 인간도 관점을 바꾸면 잘 만들어진 로봇이고, 전기 신호로 움직이는 단백질 덩어리라고 표현할 수도 있으니까요. 이건 뇌의 기능을 완전히 규명할 때까지 결론을 유보해야 할 것 같습니다.
하지만 앞서 언급한 아날로그 핵이나 감정이 흔들리는 메커니즘처럼 "어떻게 봐도 감정이나 마음이 있는 것처럼 보이는" 혹은 "인간의 감정을 자극해서 기분 좋게 만들거나 불쾌하게 만드는" AI는 이미 코앞에 와 있다는 건 부정할 수 없는 사실입니다.
이번에 뉴로사마가 VR로 움직여서 주목을 받았는데, 솔직한 감상을 말하자면 "확실히 대단하긴 한데 사람이 조종하는 아바타에 비하면 아직 부족한 부분이 많다"입니다. 하지만 그런 불완전한 상태에서도 사람들의 감정을 움직이는 데는 성공했고, 최소한 제작자나 방송 시청자, 트위터에서 공감한 사람들은 뭔가 느낀 바가 있을 겁니다.
올 한 해를 되돌아보며 드는 생각
개인적으로는 큰 사건이 없었지만, 세상을 둘러보면 격동의 한 해였던 것 같습니다. 세간에서는 생성형 AI가 대유행하며, 기업과 투자자, 나아가 국가까지도 엄청난 속도로 개발을 이어가고 있습니다. "AI는 일부 사람들만 쓰는 거 아냐?"라고 생각했지만, 세상은 제 생각보다 훨씬 앞서 있었던 모양입니다. GPT-4o에서 GPT-5로 바뀌었을 때는 "이전 버전으로 돌려달라"는 목소리가 잇따랐고, 트위터 트렌드에까지 올랐습니다.
ChatGPT는 세간에서 "챗피"라고 불리며 친근하게 받아들여지는 듯하고, 2025년 "신조어·유행어 대상"에도 후보로 올랐습니다. 구글을 보면 검색할 때 AI가 개요를 요약해주는데, 저도 Unity 오류 찾는 데 Gemini를 쓰고 있습니다.
트위터(현 X)에서는 Grok이 영향력을 발휘하며 팩트체크나 질의응답을 하고, 일론 머스크의 취미인지 3D 캐릭터와 대화할 수 있는 컴패니언 모드 "Ani"가 이목을 끌었습니다. 올해 연말에는 ChatGPT를 개발한 OpenAI사가 삼성 및 SK하이닉스와 맺은 계약으로 DRAM(메모리) 가격이 역사적 수준으로 폭등하기도 했습니다.
그런 한 해가 끝나가는 가운데 급하게 날아온 뉴스가 뉴로사마가 VRChat에서 움직이고 있다는 영상이었는데, 문자 그대로 간담이 서늘했습니다. 세간에서 AI 사용을 반대하려는 "반AI"라는, SF에서 흔히 볼 수 있는 반테크놀로지 운동도 일어나고 있습니다.
소위 반AI적 사고를 하는 친구도 있는데, 그조차도 "프로그래밍은 ChatGPT한테 짜달라고 하고 있다"고 말하는 형편입니다. 찬성하든 반대하든, AI가 앞으로 생활과 밀접하게 관련될 것은 이미 피할 수 없는 흐름이며, 어릴 적 책이나 브라운관 속에서 그려졌던 픽션의 세계가 단숨에 실현되고 있다는 게 제 소감입니다.
VR과 AI의 미래
생각해보면 VR 초창기는 현재의 VRChat을 비롯한 소셜 VR과는 달리, NPC와 이챠이챠하고 싶다는 데서 시작된 역사인 것 같습니다. 자세한 건 제가 과거에 작성한 note 기사를 참고해주셨으면 하는데, 개발자가 아닌 사람들은 VR 기기를 산다 = 커스텀메이드 3D2(NPC와 VR로 이챠이챠하는 에로게)를 플레이한다는 시대가 꽤 오래 이어졌습니다.
저 역시 NPC와 교류하는 게 즐거운 SkyrimVR을 플레이하기 위해 처음 VR 기기를 구매했습니다. 창작 세계를 들여다보면 AI(혹은 AI를 탑재한 로봇)와 연애 관계가 되는 SF는 셀 수 없이 많고, VR에 AI가 등장하는 작품으로 대표적인 건 "소드 아트 온라인" 시리즈의 유이나 앨리시제이션 세계의 사람들, 혹은 VRMMO 세계에서 고성능 AI를 탑재한 NPC와 이챠거리는 게 명확한 목적인 "루상치망(ルサンチマン)" 정도일까요?
현실의 흐름은 VR 세계에 사람이 늘어나고, 아바타를 입고 노는 게 주류가 되면서 NPC를 개발하는 것에 대해서는 예전만큼 주목받지 못하게 됐지만, 앞으로도 흐름에 따라서는 어떻게 될지 모르겠다는 생각이 듭니다.
뉴로사마가 VRChat에서 움직이는 모습은 VR 세계에서 AI의 존재 방식을 제시해준 것 같지만, 아직 인간과 비교하면 반응도 행동도 조잡하다고 할 수밖에 없습니다. 하지만 "그럼에도" 이건 큰 한 걸음이 되는 이벤트이며, 나중에 돌이켜보면 터닝포인트가 될 수 있는 사건이 아니었을까 하는 생각이 듭니다. 앞으로 VR 세계에서는 인간과 비교해도 손색없는 AI가 등장할지도 모릅니다. 그런 세상에서 인간과 AI를 구별하지 않고 차별 없이 함께 논다는 게 제가 현재 그리고 있는 미래상입니다.
맺음말
끝까지 읽어주셔서 감사합니다. 예전부터 존재는 알고 있었지만 영상을 보고 흥미를 갖게 됐고, 기사를 쓰기 위해 조사하면 할수록 빠져들어 소위 뇌가 녹아버린 상태에 가까워졌습니다. 누군가의 버튜버에게 이렇게까지 빠져든 건 개인적으로는 처음 겪는 경험인 것 같습니다. 덕질이란 이런 감정을 갖는 걸까요?
트위터에서는 "키즈나 아이에게 품었던 환상이 떠오른다"는 반응이 꽤 있었습니다. 설정상으로는 자율형 인공지능(AI)을 자칭했지만, 결국 안은 인간이었고 불미스러운 일이나 스캔들이 일어나면서 "식었다"는 얘기였습니다. 혹은 "하츠네 미쿠가 유행하기 시작했던 때가 떠오른다"는 의견도 있었습니다.
이건 세대 문제라 전적으로 동의하는데, 지금은 보컬로이드가 수단으로서 너무 퍼져버려서 캐릭터를 살린 노래는 잘 듣지 못하게 됐지만, 초창기에는 "안드로이드" 내지 "기계다"라는 게 대전제인 곡이 꽤 있었던 것 같습니다(쫓아가지 않아서 지금도 있을지는 모르겠지만).
지금까지는 상상 속에만 존재했던 완전히 AI로 움직이는 미소녀, 쇼와 시대에는 이를 구현하려면 로봇공학 기술이 발전해야만 실현된다고 여겨졌습니다. 실제로는 VR이 민간에 보급되고, 그 안에서 AI가 아바타의 육체를 갖고 돌아다니게 되었다는 건 참으로 묘한 이야기입니다.
2020년 이후로는 단숨에 현실 세계가 SF스러운 상황이 되고 있다는 생각이 듭니다. 민간에 AI와 VR이 보급되고, 자위대가 함선에 레일건을 탑재하며, AI가 움직이는 아바타와 VR 공간에서 커뮤니케이션을 하는 시대. 얼마 전의 저에게 얘기했다면 "무슨 소리 하는 거야"라며 일축당했을 것 같습니다.
앞으로 AI와는 잘 어울려 지내고 싶다고 진심으로 생각합니다.
솔직히 지금은 정보가 낡았지만, 최대한 알기 쉽게 정리한 것 같습니다. 단 몇 년 만에 정보가 진부해져버린다는 것도 무서운 이야기입니다.
본 콘텐츠는 2025년 12월 29일 필명 'Luck【ラック】'님의 'AIVTuber Neuro-samaを見て思う未来' 아티클을 번역한 것입니다.
저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.
의견을 남겨주세요