[번역] 버튜버를 리얼하게 "존재"시키는 기술이 여기까지 왔다! 니지산지 MR 신기술 실증 실험에서 카가미 하야토의 토크와 라이브 체험

이 이벤트, 팬들에게는 자극이 너무 강한 것이 아닐까...!?

니지산지 라이버 팬들을 자연스럽게 걱정하지 않을 수 없을 정도의 실재감을 동반한 초근접 거리. 무대 위의 라이버와 "눈이 마주쳤다"고 착각할 정도의 가까운 거리에서 퍼포먼스를 볼 수 있는 실증 실험 이벤트가 도쿄도 토시마구 모처에서 개최되었습니다.  

직전까지 비밀로 유지되었던 '신기술' 실증 실험 이벤트란?

"애니컬러/니지산지 신기술 실증 실험 이벤트 ver.2025.01"이라는 제목으로, 신기술의 실증 실험을 위해 개최된 본 이벤트. 참가 신청이 가능했던 것은 니지산지 종합 팬클럽 가입자뿐이었으며, 구체적인 내용은 당일까지 보도진에게도 공개되지 않았습니다.

사전 공지에서 알 수 있었던 정보는 다음 4가지뿐입니다.

구체적으로 무엇을 하는지에 대한 언급은 없었지만, 어느 정도는 추측할 수 있는 부분도 있었습니다. 키워드는 "MR". 현실 세계에 가상의 존재나 오브젝트를 투영하고 융합시키는 '복합현실' 기술입니다. 현재로서는 메타 퀘스트 3나 피코 4 울트라 등의 디바이스로 구현되고 있는 것으로, 자신의 방에 가상 캐릭터를 소환하거나 대형 유튜브 화면을 천장에 붙이는 등의 활용법이 있습니다.

즉, 이 이벤트는 헤드셋을 착용하고 영상을 봄으로써 '카가미 씨와 료란 씨가 같은 공간에 서 있는 것처럼 보이는' 상태를 만들어내는 MR 토크 이벤트일 것이라는 예상이 있었습니다. "혹시 라이브도...?"라는 기대감도 있었습니다.

결론부터 말하자면, 이벤트 내용에 관해서는 거의 사전 예상대로였습니다. 하지만 동시에, 여러 가지 예상치 못한 일들도 있었습니다. 이벤트의 내용이나 진행, 헤드셋을 통해 보이는 광경은 예상대로였음에도 불구하고, 기다리고 있었던 것은 "상상"을 크게 뛰어넘는 이벤트 체험이었던 것입니다.

무대 위에서 움직이고, 말하고, 노래하고 춤추는 라이버의 모습을 보는 것—. 문장으로 읽는 한에서는 기존의 온라인 라이브나 현실 세계의 회장에서 열리는 토크 이벤트와 비교해도 전혀 차이가 없습니다. 하지만 "MR"이라는 표현이기에 느낄 수 있는, VR 체험과도 조금 다른 "출연자와의 가까움"이 상상 이상으로 자극적이어서, "팬들이 이런 걸 경험하면 큰일 나는 것 아닌가!?"라는 이상한 걱정을 하게 될 정도였습니다.

카가미 사장이 눈앞에! 버튜버가 정말로 그곳에 "있는" 것처럼 보이는 이벤트

1월 8일과 9일 이틀간 총 5회 공연이 개최된 이번 실증 실험. 토크 이벤트와 미니 라이브를 결합한 이벤트 구성으로, 1회 공연이 약 40~50분 정도의 분량이었던 것 같습니다.

방문객들은 각자 지정된 좌석에 착석하고, 공연 시간이 되면 MC인 햐쿠카 료란 씨가 등장합니다. 사전 설명과 함께 HMD(메타 퀘스트 3) 착용 방법을 배웁니다.

이미 작동 상태인 헤드셋을 착용하고, 주변 상황이 보이는 것, 무대 위에 파란색 오브젝트가 떠 있는 것을 확인할 수 있으면 준비 완료. 이벤트 중에는 착용한 채로, 관객 측에서 별도로 조작할 필요는 없습니다. 헤드셋을 처음 경험하는 사람도 부담 없이 즐길 수 있을 것 같은 인상을 받았습니다.

드디어 이벤트가 시작됩니다! 료란 씨의 소개로 카가미 하야토 씨가 등장합니다. 무대 옆에서 자연스럽게 걸어 등장한 카가미 씨는 평소 방송이나 라이브에서도 익숙한 모습(3D 모델)—일텐데, 속으로는 이렇게 외치지 않을 수 없었습니다.

—얼굴, 작고 좋아!!!!!!! 팔, 길어!!!!!! 다리, 길어!!!!!!!!

분명히 평소 방송에서 익숙한 "평소의 카가미 사장"의 모습이지만, 실제 "공간"에서 보니 이상하게도 받는 인상이 달랐습니다. 그의 얼굴의 작음이나 스마트함이 더 높은 해상도로 느껴졌다고 할까요. "모델을 가까이서 보면 잡지나 TV보다 얼굴이 작게 보인다"는 것과 비슷한 감각에 가까울지도 모릅니다.

동시에 눈에 띈 것은 카가미 씨가 사람이나 물건 앞을 지날 때, 거의 위화감 없이 자연스럽게 보였다는 점입니다. 현실 세계의 공간 위에 "덮어씌우는" 방식으로 영상이나 3D 모델을 표시하는 AR/MR 콘텐츠에서는 현실의 오브젝트와 가상의 오브젝트 간의 "깊이" 표현의 유무가 몰입감을 크게 좌우합니다.

예를 들어, 출시 직후의 "포켓몬 GO"에서는 화면에 표시되는 포켓몬이 "나무나 물건 뒤에 숨는" 같은 표현이 불가능해서, 그대로 물체 위에 표시되었습니다. 이렇게 되면 명백히 깊이감이 느껴지지 않고 "화면 위에 단순히 표시되고 있다"는 것을 알게 되므로, "그곳에 있다"는 실재감을 별로 느낄 수 없습니다. (※"포켓몬 GO"는 나중에 AR 블렌딩 기능이 구현되어 이런 종류의 표현이 가능해졌습니다)

하지만 이번 이벤트에서는 그런 일이 거의 없었고, 계속해서 "카가미 사장이 그곳에 있다"고 느껴졌습니다.

특히 필자의 경우, 앞뒤 2열로 배치된 좌석의 뒷줄에 앉았기 때문에, 어쩔 수 없이 앞자리 사람의 머리가 시야에 들어와 카가미 씨의 모습이 가려지는 경우가 있었습니다. 이때, 만약 앞사람의 머리 앞에 카가미 씨의 모습이 표시된다면 "그곳에 있다"는 실재감이 떨어질 것입니다. 하지만 본 이벤트에서는 그런 현상이 없었고, 후반의 라이브 파트를 포함해 "어? 이상하다"고 위화감을 느끼는 장면은 전혀 없었습니다.

전반부 토크 파트에서도 실제(라는 표현도 이상할 수 있지만) 료란 씨와 나란히 있어도 부자연스럽지 않았고, "키가 큰(182cm) 남성"으로서 항상 자연스럽게 보였던 것 같습니다. 버튜버와 실제 사람이 같은 화면에 출연하는 기획이나 TV 프로그램도 이제는 드물지 않지만, 화면으로 보는 그것들보다 더 자연스럽게 느껴질 정도였습니다.

"테스트 파일럿"으로서의 자부심과 설렘이 엿보인 토크 파트

이벤트는 술통 개봉식(가가미)으로 시작됩니다. 무대 중앙에 놓인 술통 뒤에서 카가미 씨가 나무망치를 꺼내 료란 씨와 함께 "요이쇼!"라는 구호와 함께 통을 두드립니다.

스태프가 술통을 무대 뒤로 내린 후, 무대 위의 두 사람은 의자에 착석합니다. 료란 씨의 진행으로 토크 파트가 시작됩니다. —별 일 아닌 것처럼 적고 있지만, "가상 라이버인 카가미 씨가 나무망치로 통을 두드리는" "무대 위의 의자에 위화감 없이 앉아 있는" 광경이 실현되고 있다는 것 자체가, 냉정히 생각해보면 대단한 일입니다.

먼저 모니터에 표시된 것이 다음의 토크 주제입니다. "이왕이면 관객 여러분께 선택해 달라고 합시다"라는 흐름이 되었는데, 우연히 그곳에서 지목된 것이 필자였습니다. 료란 씨의 권유로, 카가미 씨의 시선을 느끼며, 속으로 살짝 당황하면서 ①을 선택합니다.

"2024년에 가장 열심히 한 이야기"로 카가미 씨가 들려준 것은 특히 바빴던 어느 날의 이야기. 미니 4WD 대회에 출전하고, 로후마오 학원 녹화를 하고, 유희왕 강사를 맡고, 아침 4시 출근으로 오하스타에 출연하고, 귀가 후에는 유희왕을 가르치는 방송에 참여했다고 합니다.

그 방송 후에도 유희왕을 가르치는 다른 방송이 있었고, 게다가 방송 외에도 유희왕을 가르치는 시간이 틈틈이 있었다고 하여, 듣고 있던 료란 씨로부터 "제조사 분이신가요?"라는 돌직구를 맞았습니다.

유희왕에 관해서는 이디오스의 이름을 언급하며 "마음에 남는 대격전을 펼쳐주어서 매우 기뻤습니다"라고도 말하는 등, 카가미 씨 스스로도 즐기면서 큰 충실감을 얻을 수 있었다고 합니다. 료란 씨도 말했듯이, 놀이에 전력을 다하는 모습이 전해져 오는 이야기였습니다.

이어서, 모니터 상의 선택지에서 다음 토크 주제를 선택하게 될 것 같았지만, 카가미 씨의 "이왕이면"이라는 제안으로 손을 들어 질문을 받는 방식으로 바뀌었습니다. 그곳에서 회장에서 던져진 질문은 "이번 실증 실험 참가가 정해졌을 때, 어떤 생각이 들었는지, 소감을 듣고 싶습니다"였습니다.

이에 대해 카가미 씨가 "정말 솔직한 소감이어도 괜찮을까요?"라고 양해를 구하며 말한 것은 "로봇 애니메이션의 신형 기체 테스트 파일럿이 된 느낌"이라는 한마디.

"건담의 기체 중에 'NT-1 알렉스'라는 게 있는데요(웃음). 그 테스트 파일럿으로, 기체에 완전히 휘둘리는 크리스티나 매켄지라는 캐릭터가 있는데, 그런 기분이었습니다."

이 대답에 대해 "조금 마니악한 기사가 될 것 같으니, 좀 더 쉽게 풀어서 설명해 주실 수 있을까요!?"라는 료란 씨의 돌직구를 받고, 고개를 갸웃거리며 생각하다가 "토, 톨기스...?"라고 답하는 장면도 있었고, "테스트 파일럿이란 역시 멋있잖아요"라고 기쁜 듯이 말한 카가미 씨.

이어서 다음과 같이 말한 것도 인상적이었습니다. "날 선택해줬구나, 라는 마음도 있고, 지금 이렇게 이벤트를 해보고 느낀 것이—구속 시간 및 가동 등을 고려하면—저 이상의 적임자는 없을지도 모르겠네요. 저로 다행이었다는 생각이 듭니다"

연초에 방송된 "아베마에서 니지산지! 신춘 SP"에서도 2025년 목표로 "이 몸 전체로 팬들에게 은혜를 갚아 나갈 것"이며 "애니컬러 및 니지산지의 라이버 분들에게 최대의 이익을 가져다 드리고 싶다"고 말했던 카가미 씨지만, "실증 실험"이라는 제목의 본 이벤트는 바로 그 "이익"을 가져다주기 위한 방안이라고 할 수 있습니다.

팬들을 생각하면서도 플레이어로서 전체를 조망하는 넓은 시야도 겸비하고 있는 모습. 카가미 씨의 매력과 특기가 충분히 발휘된 토크 파트가 되었습니다.

https://x.com/H_KAGAMI2434/status/1868510336401420672

정말로 "눈이 마주쳤다"고 확신할 정도의 실재감

토크 파트가 끝나면 바로 라이브 파트로 넘어갑니다. 료란 씨의 안내에 따라 일어서서 잠시 기다리면 곧바로 라이브가 시작됩니다.

로후마오의 "DiVE !N"으로 시작해, 카이다 하루 씨의 "투명한 심장이 울고 있었다", 그리고 레인 드롭스의 "VOLTAGE" 3곡을 연이어 선보였습니다.

본 기사 서두에서 "상상을 크게 뛰어넘는 이벤트 체험이었다"고 적었는데, 특히 "상상을 뛰어넘었다"고 느껴진 것이 바로 이 라이브 파트입니다. 과거에 참가했던 버튜버의 실제 라이브는 물론, 좋아하는 버튜버를 더 가까이서 볼 수 있는 VR 라이브와도 또 다른 라이브 체험이 거기에 있었습니다.

우선, 행사장 무대 위에는 노래하는 카가미 씨의 모습이 투영되어 있고, 헤드셋을 통해 봄으로써 관객들은 그가 그곳에 "있다"고 인식할 수 있습니다. 헤드셋을 벗으면 당연히 그 모습은 보이지 않고, 무대는 무인 상태에서 조명만 깜빡이는 것처럼 보입니다.

헤드셋을 착용한 집단이 무인 무대를 향해 손을 흔드는 모습은 옆에서 보면 초현실적으로 보일 수도 있습니다. 하지만 지금까지의 토크 파트에서 "있다"고 인식했던 우리로서는 오히려 "없는" 광경에 더 위화감을 느낄 정도였습니다.

(이벤트 중에 필자는 헤드셋을 착용하면서 손에 든 카메라로 사진을 찍고 있었는데, 이 라이브 파트에서는 "헤드셋으로는 보이는 카가미 사장의 모습이 카메라 디스플레이에는 비치지 않는" 것에 오히려 위화감을 느낄 정도였습니다)

"현실 세계의 무대에서 노래하는 모습에 위화감이 없다"는 상태가 가장 놀라운 점일지도 모릅니다. 본래는 그곳에 존재하지 않는 3D 모델을 헤드셋 화면에 투영하고, 그 움직임을 실시간으로 행사장에 비추는 것이라면, 움직임이 흔들리거나, 떠 있는 것처럼 보이거나, 또는 반대로 묻혀 있는 것처럼 보이는 등 어딘가에 문제가 생겨도 이상하지 않기 때문입니다.

라이브 중에는 카가미 씨도 일반 라이브처럼 무대 위를 격렬하게 돌아다녔고, 헤드셋을 쓰고 있는 관객들도 각자 다른 위치에서 무대를 보고 있었습니다. 그 중에서도 남들보다 텐션이 올라간 필자는 보통 라이브와 같은 감각으로 몸을 흔들고 손을 휘저으며 즐기고 있었지만, 동기화가 어긋나는 장면은 한 번도 없었습니다.

굳이 말하자면, 무대 전방에 설치된 스피커 위에 카가미 씨가 발을 올리고 노래하는 장면에서 발이 약간 떠 있는 것처럼 보였을 정도입니다. 하지만 발이 묻혀 보일 가능성을 생각하면, 오히려 "약간 떠 있나?"라고 느껴지는 정도가 위화감이 더 적을 것입니다. 그보다도 "거기에 발을 올릴 수 있구나!"라는 놀라움이 더 컸기 때문에, 과도하게 신경쓰일 정도의 차이는 아니었던 것 같습니다.

더불어 특히 주목할 만한 것은 행사장의 조명입니다. 본래 무대 위에 존재하지 않는 라이버의 모습은 당연히 실제 행사장의 조명 빛을 받을 수 없습니다. 그럼에도 불구하고, 노래하면서 돌아다니는 카가미 씨의 몸은 조명에 비춰져 색이 변하는 것처럼 보였고, 뒤쪽 모니터가 특히 밝게 빛나는 장면에서는 역광을 받아, 그의 그림자가 객석까지 뻗어있는 것이 보였습니다.

(자세히 보면, 실제 행사장 조명 외에도, 가상 조명이 오브젝트로 무대에 배치되어 있는 것을 알 수 있습니다. 이것도 행사장 조명과 연동하여 깜빡이는 것처럼 보였습니다)

아마도 이러한 위화감 없는 "빛"과 "그림자"의 표현이 3D 모델의 실재감에 한몫했을 것입니다. 무대 통로로 뻗은 그림자와, 객석을 향해 걸어오며 노래하는 카가미 씨의 모습을 직접 목격한 것으로, 이제 완전히 "그곳에 있다"고 뇌가 인식하게 되었습니다.

평소에는 인터넷으로, 화면을 통해 보던 버튜버가 실제로 현실 세계의 무대에 서 있습니다. 손을 뻗으면 닿을 것 같은 거리에서, 관객인 우리를 향해, 같은 공간에서 노래를 전달하려 하고 있습니다. "눈이 마주쳤다"고 착각할 정도의—아니, 정말로 눈이 마주쳤다고 확신할 정도의 실재성을 가지고, "카가미 하야토"가 그곳에 있었습니다.

(라이브에서 "사람에 가려서 무대가 보이지 않는 경우"는 당연하고, 그것이 스트레스가 되는 경우도 있지만, 이번 MR 라이브에 관해서 말하자면, "보이지 않기" 때문에 오히려 "정말로 그곳에 있다"고 느껴지는, 그 독특한 감각도 약간 재미있었습니다)

모든 것은 "라이버를 현실 세계에 존재시키기" 위해

분량으로는 수십 분 정도였지만, 상상을 크게 뛰어넘은 실증 실험. "체험"으로서의 밀도가 높아, 매일같이 헤드셋을 쓰는 필자조차도 "내가 평소에 사용하는 헤드셋으로 이런 체험을 할 수 있구나...!"라고 감동할 정도의 이벤트였습니다.

한편으로는, 버튜버와 XR 기술을 결합한 시도는 이외에도 많이 있고, 버튜버가 실제로 접객 판매를 하는 "미래 V 상점" 등, MR 활용 자체는 드문 일이 아닙니다. 하지만, 이번과 같은 "많은 관객이 함께 즐길 수 있는, 실시간 토크 & 라이브" 스타일로 MR을 활용한 버튜버 이벤트는 과거에도 예가 없었던 것 같습니다.

그렇다면, MR 기술을 활용함으로써, 이 이벤트에서는 무엇을 "실험"하고, 무엇을 "실현"하려고 했을까요. 애니컬러사로서는 앞으로를 내다본 여러 목표가 있을 것이지만, 무대를 지켜본 필자의 눈에는 무엇보다도 "라이버를 현실 세계에 존재시키는" 것에 주력했던 것으로 보였습니다.

"복합현실"이라는 표현이 가리키듯이, MR을 사용하면, 현실의 빌딩 그림자에서 고질라를 등장시키거나, 실제 퍼포머의 움직임에 가상 연출을 가하는 등, 현실에서는 어려운 다양한 표현이 가능합니다. 그런데 이번 이벤트에서는 라이브 파트를 포함해, 그러한 특별한 연출은 전혀 없었습니다.

현실에서는 있을 수 없는 표현으로 관객을 놀라게 하거나, 화려한 연출로 라이브를 장식하는 것이 아니라, "라이버를 자연스러운 모습으로, 위화감 없는 존재로, 보고 있는 관객들과 같은 공간에 세우는" 것에 모든 노력을 기울였던 것이 아닐까요. "그곳에 있다"는 생생한 실재감을 느끼게 하기 위해, 가상 연출은 의도적으로 배제한 것이 아닐까 싶습니다.

(한 가지 보충하자면, 이번 이벤트는 MC인 햐쿠카 료란 씨가 맡은 역할도 컸던 것 같습니다. 헤드셋을 착용한 관객과는 달리, 료란 씨의 눈에는 카가미 씨의 모습이 보이지 않았을 텐데요. 그럼에도 불구하고, 이벤트 중에는 계속 "일반 토크 이벤트처럼, 무대 위에서 두 사람이 시선을 교환하며 대화하고 있는" 것처럼 보였기 때문입니다. 모니터 등으로 위치를 확인했을 수도 있지만, "보이지 않는다"는 것을 눈치채지 못하게 하고, "그곳에 있다"고 느끼게 하는 시선의 움직임과 토크 진행은 역시 대단하다는 말밖에 나오지 않습니다)

돌이켜 보면, 원래부터 애니컬러/니지산지는 이러한 "라이버를 존재시키는" 것에 꾸준히 힘을 쏟아 왔습니다. 예를 들어, 2021년의 "니지산지 AR STAGE "LIGHT UP TONES""나, 매년 개최되는 "니지산지 페스티벌(니지페스)"에서의 AR 콘텐츠.

또한, 전국 각지에서 전개한 4주년 기념 광고에 대해 다음과 같이 코멘트했던 것에서도, 그 일관된 자세가 전해지지 않을까요.

이러한 과거의 시도와 자세를 고려하면, 이번 이벤트도 아마도 그 연장선상에 있다는 것을 알 수 있습니다.

AR 라이브가 있고, 기념 광고가 있고, 니지페스의 플라네타리움이나 귀신의 집 같은 어트랙션이 있고, 현실 세계에서 로케이션을 진행하는 영상 기획이 있고—그것들을 거쳐, "라이버를 현실 세계에 존재시키는" 새로운 방법으로 진행된, MR 기술을 활용한 실증 실험.

이번에는 카가미 씨가 그 "테스트 파일럿"으로서의 임무를 수행했지만, "이 기술을 사용해서 다른 어떤 일이 가능할까?"라고 생각해보면...

시스터 클레어 씨에게 고해실에서 이야기를 들을 수 있을지도 모릅니다. 하나바타케 차이카 씨에게 바 카운터 너머로 인생 상담을 받을 수 있을지도 모릅니다. 샤치쿠 씨의 방에 놀러 가서 함께 게임을 할 수 있을지도 모릅니다. 쿠로이 시바 씨와 함께 도그런을 뛰어다닐 수 있을지도 모릅니다.

라이버마다 다른 "방"은 이벤트 장소에 물리적으로 재현해도 좋고, MR로 공간을 중첩해서 표시해도 좋을 것 같습니다. 바로 그것이 니지페스의 어트랙션 중 하나로, 이번 실증 실험을 바탕으로 한 체험이 가능해질지도 모릅니다.

니지페스에도 헤드셋을 사용한 귀신의 집 어트랙션이 이미 있지만, 이번 MR 기술이 만약 넓은 공간에도 구현 가능하다면, "라이버와 함께 대화하면서 귀신의 집을 탐색하는" 것도 가능할지도 모릅니다.

그런 의미에서, 앞으로의 가능성을 느낄 수 있었던 이번 이벤트. 어디까지나 "실험" 단계의 시도이지만, 버튜버 팬으로서는 꿈이 있는 기술임과 동시에, 7주년을 맞이하는 니지산지의 새로운 도전이라고도 느꼈습니다. 소수 한정 이벤트로 끝나버리는 것은 너무 아쉬우니, 여기서의 성과가 다음으로 이어지길 기대합니다.

본 콘텐츠는 2025년 2월 19일 모구라이브에서 발행한 "VTuberをリアルに“存在”させる技術はここまで来た！ にじさんじMR新技術実証実験で、加賀美ハヤト社長のトークとライブを体感" 아티클을 번역한 것입니다.

저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.