🎮 AI는 게임을 옛날부터 바꾸고 있었다. 그리고

오늘도 창조의 길을 선택한 오리너, 구독자 님 안녕하세요!

이번 뉴스레터는 AI가 바꿀 게임의 현재와 미래에 대한 내용을 담았습니다. 제가 게임 회사에 다니다보니, 꼭 다뤄보고 싶은 주제라서 호기롭게 다뤄봤는데, 생각보다 방대하고 어려워서 굉장히 고민을 많이 했답니다. 전에 쓰던 레터 대비, 조금 더 좁고 깊은 내용이지만 최대한 쉽게 써보고자 노력했습니다. 아마 한국어로 AI와 게임으로 이정도로 포괄적으로 담은 단일 아티클은 없다고 호기롭게 던져봅니다.

참고로, 내용이 깁니다. 웹버전으로 목차를 확인하시면 발췌독 하시는 데 도움이 될겁니다. 제작과 컨텐츠를 한편씩 시리즈로 나눠볼까 생각해봤지만, 좁혀들어간 컨텐츠인 만큼 한 편에 싣는게 더 좋겠다고 판단해서 욕심을 부려봤습니다. 

구독자님이 AI 게임의 미래를 상상해보는 데 도움이 되시길 바랍니다.😎
게임업계 종사자가 아니시더라도 AI의 활용범위에 대해 예측해보는 데 도움이 되실거에요.

🐥 이런 아싸이트를 드릴게요

게임과 AI의 만남은 오래된 일입니다.

게임은 AI가 이정도로 핫하기 전부터, AI가 가장 미리, 상용화된 분야였어요. 구글은 아주 예전부터 지금까지 인간같은 인공지능을 구현하기 위해 게임을 연구해왔고요, 심지어 1970년대에 나온 아타리의 Pong과 같은 고전 게임에서조차 우린 컴퓨터랑 게임을 할 수가 있었어요.

그 시절의 대전상대가 되어준 컴퓨터는 현대에 우리가 생각하는 AI와는 조금 다릅니다. 사고하는 상대라기보단, 게임 기획자가 만든 스크립트에 따라 움직이는 개체였을 뿐이죠. 플레이어가 어떻게 움직이는 지 학습하진 못했고요, 그 게임의 개발자보다 게임을 더 잘할 일은 없었을겁니다.

Microsoft Flight Simulator 제작에도 AI가 크게 기여했습니다. 게임으로 지구 전체, 5조 1400억 km²을 날아다닐 수 있게 하는 경이로운 게임입니다.  Microsoft는 blackshark.ai와 협력하여 2D 위성 이미지에서 사실적인 3D 세계를 생성하도록 AI를 학습 및 구현했다고 합니다.

월드 구현 자체도 AI가 도움을 주었겠지만, 업데이트도 쉬워집니다. 예를 들어, "고속도로 교차로" 모델을 강화하고 전체 빌드 프로세스를 다시 실행하면 전 세계의 모든 고속도로 교차로가 한번에 개선되는 거죠.

그렇다면 생성형 AI가 생활화된 지금, AI는 게임을 어떻게 바꿀까요.

가장 먼저 와닿는 것은 “게임 개발의 생산성이 높아졌다”라는 측면일겁니다. 미래 전망이아니라, [현재의 일]입니다. 생산성이 높아졌다 = 개발 비용(시간 포함)이 줄 것이다 = 더 많은 게임을 낼 수 있다 = 비용 절감으로 수익성이 좋아진다 = 새로운 게임을 만든다 라는 가정까지 가능할까요.

지난 레터에서 AI 프로덕트가 버티컬한 접근으로 들어가는 것이 타당하다고 말씀드렸는데요, 이번 레터는 저의 본업인 게임 업계로 좁혀서, AI가 게임업계를 어떻게 바꿀 지 살펴보고자 합니다.

게임에 진심인 구글

구글은 AI와 게임의 결합에 대해 오래전부터 꾸준히 관심을 갖고, 연구해왔습니다.

특히 2014년 딥마인드를 인수하면서 게임과 AI를 결합한 연구가 가시적으로 드러났는데요. 아마 구독자님이 기억하시듯 2016년 알파고와 이세돌 9단과의 매치로 세상에 존재감을 제대로 각인 시켰습니다.

이 시절에는 주로 AI 에이전트 vs 인간의 구도로 AI의 지능을 테스트하는 도구로서, 그리고 대중에게 쉽게 관심을 끄는 목적으로 게임을 이용했습니다. 그리고 2017년에는 스타크래프트2를 플레이하는 ‘알파스타’로 영역을 확장해나갔죠. AI를 연구하고 적용함에 있어, 게임은 아주 훌륭한 테스트 베드였던 겁니다.

생성형 AI가 상용화된 오늘날에 와선, 몇단계 진화된 형태의 서비스를 게임 제작과 에이전트 영역에 나누어 공개하고 있습니다. (따끈따끈합니다)

AI는 게임 개발의 리스크를 줄인다

이미 62%의 스튜디오에서는 이미 AI를 게임 개발에 적극적으로 활용하고 있습니다. (유니티에서 발간한 2024 Unity Gaming Report)

현 시점에서 AI를 활용하는 목적은 결과적으로 프로토타입 제작에 소요되는 시간을 단축하는 데 있습니다. 요즘들어 프로토타이핑이 중요해졌거든요. 플레이어들의 높아진 기대에 맞출라면 미리 검증을 해야 추가 개발비를 보전하고 갈지 말지를 선택할 수 있는데, 검증 작업에 대한 중요성이 높아지면서 개발 비용도 기간도 예전보다 높아지고 있던겁니다. (2022년 평균 218일, 2023년 평균 304일)

AI를 통해 프로토타이핑을 쉽고 빠르게 할 수 있다면, 빠르게 검증해서 불필요한 시간이나 리소스를 절약할 수도 있고, 개발사 입장에서 게임 개발에 대한 리스크를 많이 줄여줄 수 있습니다. 리스크가 줄어들었으니 예전보다 새로운 시도를 조금 더 부담없이 할 수 있는 방향이길 희망합니다.

흥미로운 것은, 게임 개발 내 직군에 따라 AI 활용에 대한 견해가 다르다는거에요. GDC에서 게임업 종사자를 대상으로 AI에 관한 설문조사를 했는데, 내러티브, 아트, QA 분야 종사자는 부정적인 영향을 미친다고 답한데 반해, 사업, 마케팅, 프로그래밍 분야에 종사하는 근로자는 대체적으로 AI에 대해 긍정적인 반응을 보였습니다. (그러고보니 저도 사업…) 최근 전 세계에 걸친 게임 업계의 정리 해고의 여러 이유 중에 AI가 미치는 영향이 없다고 보긴 사실 어렵지 않을까… 조심스럽게 생각합니다.

[개발의 생산성이 높아지면] 

반드시 먼저 짚고 넘어갈 5가지 문제

AI 게임을 본격적으로 다루기 전에, 먼저 짚고 넘어가야할 이슈가 있습니다. 원래 이 파트를 마지막에 넣었지만, 생각할 수록 주의 사항을 먼저 명시하는게 적절하다고 생각이 들더라구요. AI 게임이 인류의 오랜 디지털 숙원 사업을 해결하는 일인 것은 분명하지만, 문제 또한 하나하나 가볍지 않습니다.

1. 비용

AI로 돌아가는 세계를 구현하는 데 소모되는 컴퓨팅 비용이 상당하기 때문에 수지타산을 맞추는게 쉽지 않습니다. 뒤에 소개할 구글의 시뮬레이션 연구의 경우, 2일 동안 운영하는 것 만으로도 수천 달러의 컴퓨팅 비용이 들었어요. 이런 게임이 매일 글로벌로 라이브 서비스가 된다면, BM을 어떻게 짜야할까요. AI 컴퓨팅 비용 등의 문제로 클라우드가 아닌 온디바이스로 옮기려는 노력은 유망하지만, 아직 그 때가 언제인지 알 수 없습니다. 그래도 확실한 것은, AI 모델의 비용은 점점 줄어들 것이라는 거에요.

2. 법

물론 "공정 사용" 저작권 원칙을 준수하며 운영되고 있다고 주장하고 있지만, 아직 법적인 검토가 마무리된 것은 아닙니다. 개발자가 모델 학습에 사용된 모든 데이터의 소유권을 입증할 수 있는 경우를 제외하고는, AI가 생성한 컨텐츠가 포함된 게임의 법적 소유권과 저작권 보호가 대체로 불분명하거든요. 때문에 기존 IP 홀더는 타사 AI 모델을 활용하는 데 보수적일 수밖에 없겠죠.

3. 이익 분배

학습 데이터의 원작자에 대한 보상 방법도 우려됩니다. 사실 현존하는 AI 모델의 대부분은 인터넷에 공개된 데이터를 저작권과 상관없이 스크래핑된 형태거든요. 생성형 모델은 아티스트 고유의 스타일까지 다른 형태로 재현할 수 있지만, 이렇게 생성된 컨텐츠가 상업적으로 활용되더라도 원작자는 어떠한 보상도 받기 어려운 구조죠. 따라서 AI 컨텐츠 생성이 지속 가능하려면 창작자에 대한 보상 시스템이 적절하게 갖춰져야 합니다.

4. 신뢰

AI가 게임 제작에 관여하게 적극적으로 관여하고, 또 게임 속 캐릭터가 AI가 만든 무언가라면, 플레이어가 감정적으로 느낄 불안감과 불신을 해소해 줘야 합니다. 게임 속 AI 에이전트는 반드시 특정 AI 모델을 기반으로 하고 있으며, 부패 없이 실행된다는 사실을 보장해줘야합니다. 그렇지 않으면 게임은 진정성을 잃게 될 것입니다.

게임에 들어가는 요소가 모두 AI로부터 만들어진다고 한다면, 플레이어는 그 AI 게임 제작자가 다른 의도없이 신뢰할 만한 중립적인 존재인지 확실히 하고 싶어 할 것입니다. 여기서 크립토는 AI 게임 제작자가 믿음직한 존재임을 보장 해주는 매개체가 되어야 합니다. AI의 실수를 알아채 진단하고, 바로잡을 능력을 포함해서 말입니다.

5. 윤리

AI 에이전트와 관계를 형성함에 따른 다양한 종류의 윤리적 문제도 반드시 고민해볼 문제입니다. AI가 게임 월드에 개입되면서 몰입감이 높아지는 일은 제작자의 입장에서 좋은 일이지만, 정서적으로 교감하던 AI 에이전트가 게임 내에서 사망한다면? 이 죽음에 대한 적개심을 활용한다면? 가상 세계라는 방패를 무기로 봉인되어 있던 인간의 가학적 본능이 정당화될 수도 있습니다.

때문에 연구자들은 AI 게임의 과몰입 부작용을 조절하기 위해 반드시 컴퓨터적 존재임을 상기시켜야 하고, 사랑 고백에 응답하는 등의 선을 넘는 반응을 통제해야 한다고 말합니다. AI 게임이 윤리적으로 위험한 이유에 대한 부분은 이준호의 루돌로지 영상에서 심도깊게 다루고 있으니, 꼭 한번 시청을 권합니다.

Part 1. 게임 컨텐츠의 변화

Part 1에서는 게임 그 자체로서, 플레이어 관점에서 AI와 게임과의 결합을 살펴보고, Part 2에서 제작 관점에서의 AI 적용을 살펴보겠습니다. 앞서 말했듯, AI가 제대로 도입되려면 아직 해결해야할, 현실적인 문제가 많이 있음을 꼭 염두에 두시고 읽어주세요 :)

1. 인공지능 에이전트의 활약

가장 먼저 & 광범위하게 떠오를 수 있는 분야가 캐릭터를 입은 AI와 교감하는 일입니다. “기계와 인간을 구별할 수 있는가” 판별하고자 했던 튜링테스트가 1950년에 이뤄진 것을 보면, 사실 상당히 오래된 영역이죠.

앞서 언급했듯, 구글이 AI와 게임을 결합할 때도 알파고 - 알파스타 - SIMA까지 AI 에이전트를 중심으로 연구 개발을 진행했으니까요. 그만큼 굉장히 잠재력이 큰 분야입니다. 엄청난 수요가 있을 것 또한 자명한 사실이구요.

a16z의 최근 설문 조사에 따르면, 게임 스튜디오의 61%가 AI NPC를 도입할 계획이라고 합니다. 우리는 AI 친구가 곧 익속해질 것이고, 일상의 영역으로 들어올 것이라고 봅니다.

게임에 도입되는 AI 에이전트의 영역을 다음과 같이 나눠봤습니다. 각 영역은 완전히 독립적이지 않고, 점점 몇 가지 기능이 결합된 형태로 발전될 것 같구요.

1) 교감을 나눌 수 있는 _______ (친구, 연인, 가족, 조언자…)

AI 친구 앱 Replika는 음성, 비디오, AR/VR을 통해 AI 친구와 대화할 수 있게 해줍니다. 아직은 챗봇 수준에서 크게 벗어나지 못하지만, 3D 캐릭터에 감정과 주체성을 담아 최대한 인간과 교류할 정도의 레벨까지 갈겁니다. 앞으로는 전화나 화상 채팅을 통해 일상적으로 에이전트와 연락을 하고, 필요할 땐 더 몰입도 높은 형태로 에이전트를 만나게 될겁니다. 영화 Her에서 이 미래를 가장 명확하게 보여줍니다. AI 에이전트들이 사용자의 성향을 학습하여 계속 맞춤형으로 응답해주고, 같이 사회적 관계를 맺고, 게임도 하죠.

2) 세계관과 나를 제대로 반응하는 배우

AI 캐릭터 플랫폼 Character.ai, InWorld, Convai에서는 세계관, 성격, 행동 제어를 가진 맞춤형 캐릭터를 만들 수 있습니다. 내가 좋아하는 특정 세계관 또는 새로운 세계관에서 더 광활하게 “만약에” 놀이를 할 수 있게 되는 겁니다. 해리포터와 룸메이트인 호그와트 생활을 해볼 수도 있고, 어벤져스 월드에 피카츄로 놀게될 수도 있습니다. 이 부분은 뒤에 나올 바로 다음 나올 [IP확장의 신세계]에서 더 자세히 살펴보겠습니다.

3) 내 수준과 상황에 맞춰주는 게임 친구

구글이 최근에 발표한 SIMA (Scalable Instructable Multiworld Agent - 확장과 건설이 가능한 멀티월드 에이전트)가 이쪽과, 4번에 표기한 가이드의 역할을 공략한 것 같습니다. 솔로 플레잉이 편해진 세상이긴 하지만, 게임은 함께하는 사람이 있어야 재미의 폭이 넓어지잖아요.

같이 게임할 친구가 없을 때 파트너 역할을 할 수 있고, 피파같은 1대1 게임에서 상대편이 될 수도 있습니다. 다른 플레이어와 레이싱하기 위해 호출될 수 있으며 승리에 대한 크레딧까지 얻을 수 있습니다. AI게임 친구는 언제든 불러 올 수 있고, 이기거나 져도 감정적으로 깔끔하고, 못한다고 해도 구박하지 않을거에요. 또 내 수준을 학습하면서 조정되기 때문에 점점 더 내 성향에 맞추겠죠.

게임 친구로서의 AI가 똑똑해질 수록 지금의 솔로/멀티 플레잉이 아닌 다른 형태가 더 생겨야 할지도 모르겠습니다. 피지컬이 좀 떨어지더라도 프롬프트 작성 전략으로 승패가 판가름 나는 일이 일어날 수도 있겠죠. 저같은 발컨이더라도 배그를 잘 할 수 있는 날이 오려나요.

4) 게임의 룰을 잡아주고 가이드해주는 GM

AI가 도입된 게임 월드라고 해도, 플레이어가 모든 것을 마음대로 생성하는 마법사가 된다면 게임의 본질과는 닿지 않는 것일 수도 있습니다. 게임은 엄연히 룰이 있고, 그 제약성 안에서 문제를 해결해 나가는 것이 묘미거든요. 그런 측면에서 NPC의 역할이 지금보다 훨씬 커질거에요. 그저 숙제 퀘스트따위를 던져주는 정도가 아닌거에요. 무한한 세계에서 중심을 잡아주는 역할을 해줄겁니다. 지금보다 훨씬 똑똑하고 친절한 튜토리얼을 진행해줄 수도 있구요.

마인크래프트, 로블록스와 같은 샌드박스 게임은 재료와 기술만 있으면 거의 모든 것을 만들 수 있지만, 진입 장벽이 높은데요. 마이크로소프트는 이미 마인크래프트를 위한 AI 코파일럿 작업을 하고 있습니다. 자연어 프롬프트를 통해 애셋과 로직을 쉽게 설계할 수 있는거죠. (DALL-E와 Github Copilot 사용)

1~4 중 어떤 형태의 에이전트이던 간에, AI 에이전트와 더 몰입감있는 관계를 형성하려면, 텍스트 외에도 오디오, 3D 비주얼 등과의 일체감도 중요할텐데요. 지금의 수준으로도 ElevenLabs의 모델을 사용하면 텍스트나 목소리로 꽤 자연스러운 음성을 만들 수 있구요. 입모양도 점점 음성과 3D 비주얼이 뻐끔이 수준에서 진화하고 있습니다. Convai라는 회사에서 엔비디아와 파트너십을 맺고 공개한 영상을 보면, AI 라면 셰프 NPC와 자연스러운 음성 대화를 나누는 모습을 확인할 수 있습니다. 대화와 일치하는 얼굴 표정이 실시간으로 생성되는거에요.

게임이 차세대 소셜 네트워크로 진화함에 따라, AI 에이전트가 점점 더 두드러진 사회적 역할을 할 것같습니다. 친구와 함께 게임을 하면 최대 5배 더 높은 잔존률을 보이는데요, AI 게임 친구가 보편화되면, 게임의 잔존율에도 기존과 다른 패턴을 보이겠군요.

혹시 아나요, 여기에 AR까지 합쳐지면 메타버스의 부흥기가 다시 올 지.

2. IP 확장의 신세계

좋아하는 IP 유니버스에서 원하는 대로 원하는 만큼 그 세계를 깊은 몰입감으로 경험할 수 있습니다.

해리포터 세계관에 들어가 해리포터와 슬리데린에 배정될 수도 있고, 볼드모트의 시점으로 같은 게임을 경험할 수도 있습니다. 플레이어의 상상을 실현하는 “만약에” 게임을 경험하기도 수월하고, 그게 아니더라도 내가 좋아하는 IP 세계관의 진짜 일부가 되기 때문에 관여도의 비약적 상승이 가능해집니다.

다른 종류의 IP와의 콜라보레이션에도 더 다양한 시도를 해볼 수 있습니다. 다른 세계관이 겹쳐질 때 발생하는 더 많은 변수들을 전보다 더 그럴듯하게 컨트롤할 수 있거든요. (라이센싱 문제는 별도)

물론 지금까지도 오랫동안 이런 시도를 했지만, 몰입감있는 경험을 구현하기 어려웠습니다. 그저 NPC가 등장인물이었고, 익숙한 대사를 하고, 상징적인 사건이나 물체가 있는 정도의 수준이었을 뿐이었죠.

IP 세계관에 몰입하려면, 맞춤형 서사가 가능해져야 합니다. 내가 어떤 행동을 하느냐에 따라 다른 사건이 발생하고, 다른 말을 하고, 다른 등장인물이 나와야 하겠죠. 맞춤형 스토리텔링의 열쇠는 1974년 출시된 던전 앤 드래곤(이하 D&D)에서 찾아볼 수 있습니다. D&D는 TRPG(테이블탑 롤플레잉 게임)라는 독특한 장르인데요. 쉽게 말해 정교한 규칙이있는 어른판 소꿉놀이랄까요. 원래는 종이, 펜, 대화로만 이뤄지는 게임입니다. 사실상 판타지 세계관을 게임화한, 지구상 모든 RPG의 뿌리기도 합니다.

한 사람이 '던전 마스터'의 역할로 이야기를 준비하고, 나머지 사람들은 각자 캐릭터를 맡아 그 이야기 속에서 역할극을 펼치는 게임입니다. 즉흥 연기와 RPG 요소가 결합된 형태로, 매 게임마다 유일무이한 이야기가 만들어지는 셈이죠. 놀랍게도 D&D는 여전히 인기가 높으며, 디지털화된 게임은 물론, 영화, 애니, 드라마, 소설 등 다양한 확장이 이뤄진 IP입니다.

그래서 D&D의 스토리텔링 모델을 모티브로 LLM을 적용하는 케이스들이 나오기 시작했습니다. Latitude의 *AI Dungeon*은 AI가 던전 마스터 역할을 하는 텍스트 기반 어드벤처 게임입니다. GPT-4를 활용해 D&D를 플레이하는 사례도 공유 되고 있고, Character.AI의 텍스트 어드벤처 게임 또한 인기 있는 모드 중 하나입니다. HiddenDoor는 오즈의 마법사와 같은 특정 원작을 학습시켜 IP의 세계관 내에서 플레이어가 모험할 수 있게 했어요. 엔터테인먼트 스튜디오 Scriptic은 DALL-E, ChatGPT, Midjourney, Eleven Labs, Runway를 활용해서 Netflix에서 제공되는 대화형 게임을 만들었습니다.

AI를 통해 IP의 확장의 새로운 범위가 생기게 될겁니다. IP 홀더와 협력하면, 지금까지 없던 새로운 형태의 브랜드 확장이 가능해질거에요. 팬 경험에 대한 수요도 상당히 높아지고 있기 때문에, 사업적인 측면에서도 더 많은 기회가 생겨날 수 있습니다. 꺼진 IP도 다시 볼 수 있고, 도전적인 형태의 IP 콜라보레이션도 가능해질겁니다.

물론, AI발 스토리텔링을 게임에 실시간으로 적용시키기엔 여전히 고려할 점이 많습니다. 통제 범위를 벗어난다는 점에서 재미를 줄 수 있지만, 게임 기획에는 통제가 핵심이기도 하기 때문이죠.

3. 시뮬레이션 2.0: 현실 사회의 재현

전 세계적으로 무려 7천만 명 이상의 플레이어 있던 시뮬레이션의 근본 심즈. 심즈에 AI가 붙으면 어떻게 될까요? 올해 초, 무려 우리나라 연구자 박준성님이 이끈, 구글 X 스탠포드가 발표한 굉장히 흥미로운 논문 하나 소개해드릴게요.

제목은 “Generative Agents: Interactive Simulacra of Human Behavior”. LLM이 게임 내 에이전트에 어떻게 적용될 수 있는지에 대한 주제입니다. 픽셀 아트로 샌드박스 월드를 만들어 25명의 심즈와 유사한 에이전트를 넣었는데요. 에이전트는 ChatGPT가 다음과 같이 지시한대로 행동하게 했습니다.

쉽게 말해, 에이전트가 인간처럼 자신의 경험을 기억하고, 그로부터 배우며, 필요할 때 그 기억을 활용하여 행동할 수 있도록 하는 거죠.

에이전트 중 하나가 발렌타인데이 파티를 열고 싶어 하는 걸로 게임은 시작됩니다. 그러자 에이전트들은 알아서 독립적으로 파티 초대장을 퍼뜨리고, 새로운 친구 관계를 만들며, 서로 데이트를 신청하고, 이틀 후에는 친구들과 파티에 참석하기 위해 일정을 조율했습니다. 진짜 사람들이 파티를 계획하고 참석하는 것 처럼 말이죠.

어떻게 이렇게 인간과 똑닮은 사회적 행동 패턴을 보인걸까요. 대규모 언어 모델(LLM)이 소셜 웹의 데이터로 학습되었기 때문입니다. 사람들이 관계 안에서 어떻게 대화하고 상황에 따라 어떻게 행동하는지에 대한 기본적인 패턴을 학습하게 된거에요.

꽤 깊은 인간의 본능적 영역도 시뮬레이션이 가능해질겁니다. 강압, 기만, 유혹, 동맹, 리더십, 집단 압력, 영향력, 도덕성 등 인간이 가진 복잡성이 게임에 녹아들어 내러티브와 상호작용이 더 사실적으로 구현될 수도 있겠네요.

이런 게임을 관찰하는 것은 꼭 직접 플레이하지 않더라도 마치 오징어 게임이나 트루먼 쇼같은, 시뮬레이션된 사회에 대한 관음의 욕망을 깨울지도 모릅니다. 이렇게 되면 사전 제작된 TV나 영화로는 물리적으로 불가능한 지속 가능한 즐거움을 줄 수 있습니다. 이 세계에서 플레이어는 마치 신같은 경험을 할 수 있을테니까요.

4. 실시간으로 바뀌는 반응형 월드

지금 실현 가능한 것은 아니지만, 실시간으로 레벨과 컨텐츠를 생성하는 게임도 생각해볼 수 있습니다. Ender’s Game의 마인드 게임입니다. 플레이어의 관심사, 행동, 그로 인해 AI가 추론할 수 있는 다른 심리 정보에 따라 세계가 실시간으로 진화합니다.

Valve의 Left 4 Dead도 마인드 게임과 유사합니다. 게임 진행 속도와 난이도가 유동적으로 바뀌는데 AI Director를 활용합니다. AI Director는 플레이어의 상태, 기술, 위치에 따라 다양한 위치와 수의 좀비를 배치해서 다양한 경험을 줄 수 있는데요. 상황에 따라 시각 효과와 음악으로 게임의 분위기 동적으로 설정할 수도 있습니다. EA의 데드 스페이스 리메이크도 공포 경험의 극대화를 위해 유사한 시스템을 사용합니다.

Townscaper는 블록 배치와 색상만 입력하면 즉석으로 멋진 마을 풍경으로 바줍니다. Part 2에서 말씀드릴 프로시저럴 시스템과 AI가 결합된 형태인데요. 자연어 프롬프트를 써서 플레이어가 더 아름다운 창작물을 계속 만들 수 있도록 도와줍니다.

궁극적으로는 플레이에 따라 실시간으로 월드가 바뀔 수 있도록 AI 모델을 사용하는 것입니다. 정해진 리소스를 렌더링하는 방식이 아니라, 신경망을 사용해서 실시간으로 월드가 생성되는 거죠. NVIDIA의 DLSS 기술은 이미 고성능의 GPU가 아니더라도 즉석에서 새로운 고해상도 게임 프레임을 생성할 수 있습니다. 언젠가는 넷플릭스에서 "인터랙션" 모드가 활성화 돼서, 개인화된 모든 장면이 즉석에서 생성되는 세계로 들어갈 수 있을지도 모릅니다.

물론, 실시간으로 월드 빌딩이 기술적으로 가능하다고 해서, 그것이 정말 좋은 게임인가 하는데는 고민할 필요가 있습니다. SF 어드밴쳐 게임인 노 맨즈 스카이는, 게임 역사상 가장 넓은 맵에 플레이어가 세계를 계속 확장할 수 있었지만, 멀티 게임이 무색하게도 다른 플레이어를 만날 수가 없어 지루했다는 비평이 있었거든요. AI로 내 세상을 만들 수 있다는 신기함에서 나아가, 게임다운 세계를 만들기 위해서는 개인화, AI 에이전트, 스토리텔링 등 게임적 요소가 유기적으로 결합되는 고민이 더 필요할거에요.

5. 생성형 RPG

대부분의 RPG는 캐릭터 생성시 외모, 성별, 클래스 등을 선택할 수 있는데요. 지금도 커마가 중요해지면서, 캐릭터의 외모를 상세하게 빚어낼 수 있기도 하지만, 이렇게 만든 캐릭터 커마는 내 만족의 영역 밖으로 확장되긴 어렵습니다. 내가 만들어낸 컨텐츠가 월드에 개입되기는 어려운거죠. AI가 개입되면 월드의 밸런스를 해치지 않는 범위에서 외형뿐만 아니라 캐릭터, 무기, 방어구 등의 아이템들도 유저가 생성하고 능력치를 붙이고, 다른 유저와 거래하게 만들 수 있습니다.

이쪽 분야로 가장 주목할 사례는 Arrowmancer라는 수집형 RPG 게임(개발: Spellbrush) 입니다. 이 게임에서는 플레이어가 애니메이션 풍의 캐릭터를 직접 생성할 수 있습니다. 애니메이션 리소스를 토대로 자체 개발한 GAN(Generative Adversarial Network) 기반 모델로 구동되는데요. GAN은 서로 경쟁하는 두 신경망(생성자와 판별자)을 활용해 실제와 유사한 콘텐츠를 생성하는 AI 기술입니다.

1) 캐릭터 생성

2) 확률 시스템 + 캐릭터 강화

Arrowmancer는 AI로 만든 캐릭터를 수집하고 강화하는 재미를 제공함과 동시에, 이를 게임의 수익 창출 모델과 연결시킨 사례라고 할 수 있습니다.

Part 2. 게임 제작 분야별 AI 도입

Part 1에서 살펴본 게임 컨텐츠의 변화는 다소 먼 미래라면, Part 2에서 살펴볼 게임 제작은 [이미 진행 중인 현재]의 영역과 가깝습니다. 게임 제작은 다양한 분야가 유기적으로 협업하면서 진행되는 만큼, 현존하는 게임 제작 AI 서비스들을 분야별로 살펴보겠습니다.

1. 2D 이미지

2D 이미지를 생성하는 것은 [이미] 널리 활용되는 영역이죠. 현재 시점 기준, 생성형 AI가 가장 많은 기여를 하고 상용화 레벨까지 준하는 영역이 2D 이미지일겁니다. AI 컨셉 아트와 스토리보드에 주로 많이 사용되고 있구요. 원화와 같은 최종 결과물, 3D로 추가 디자인이 되어야할 각종 아이템이나 캐릭터, 월드 디자인같은 것들이 모두 미드저니, Stable Diffusion 등에서 생성되는 2D 이미지에서 초안 작업이 시작됩니다.

게임 기획자나, 사업, 마케팅 등 아티스트가 아닌 직군이더라도, 전문 아티스트에게 요구사항을 전보다 명확하게 전달할 수 있습니다. “느낌 아시죠”의 레벨이 아닌, 실질적으로 내가 원하는 바를 가장 명확하게 보여주는 수단이 생긴거죠. 사실, 저는 현업에서 이와 같은 업무를 수행하고 있는데요, 나중에 기회가 되면 경험을 공유 드릴 수 있으면 좋겠네요.

[2D 리소스 작업 과정]

2. 3D 아트워크

간편하게 누구나 만들 수 있는 2D리소스와 달리, 3D 리소스를 만드는 것은 훨씬 더 복잡합니다. 3D 모델링 생성 부터, 텍스쳐, 효과 등 여러 단계가 포함되어야 하거든요. 움직이는 캐릭터의 경우, 골격을 만들고 애니메이션을 만드는 작업도 포함됩니다.

Luma는 neural radiance fields (NeRFs)라는 기술을 사용하면 아이폰에서 캡처한 수준의 2D 이미지에서 사실적인 3D 에셋을 구성할 수 있습니다. Kaedim은 이미 225명이 넘는 게임 개발자들이 사용하고 있는 3D 메시 도구를 만들고 있구요. CSM은 최근 동영상과 이미지 모두에서 3D 모델을 생성할 수 있는 독점 모델을 출시했습니다.

모델 생성, 캐릭터 애니메이션, 레벨 구축을 포함하여 이 3D 에셋 생성 각 단계를 AI로 해결하려는 시도는 이곳저곳에서 이뤄지고 있지만, 아직까지는 문제가 해결된 단계는 아닌 듯 합니다. 현존하는 솔루션 중 어떤 것도 3D 에셋을 한 곳에서 만들 수 없거든요. 각 기능이 분산되어있는데다가, 각 기능이 직접 작업보다 더 효율적이라고 보기도 어려운 경우도 많습니다.

1) 3D 모델링

3D 모델링을 개발하는 스타트업으로는 Kaedim, Mirage, Hypothetic 등이 있습니다. Nvidia의 Get3D와 Autodesk의 ClipForge와 같은 대기업도 3D 모델링 제품을 개발하고 있습니다.

2) 3D 텍스쳐

3D 모델이 얼마나 사실적으로 느껴지느냐 결정하는 것은 메시에 적용된 텍스처나 재질에 있다고 해도 과언이 아닙니다. 예를 들어, 같은 성 모양 3D 모델링이라고 해도 이끼가 낀 풍화된 돌 텍스처가 적용된 성과 매끈한 대리석 텍스쳐가 적용된 성은 느낌이 완전히 다르겠죠.

텍스처에는 빛이 재질에 따라 어떻게 반응하는지에 대한 메타 데이터(예: 거칠기, 광택 등)가 포함되어 있습니다. 굉장히 섬세하고 중요하며 복잡한 작업이죠. 아티스트들이 텍스트나 이미지 프롬프트를 기반으로 텍스처를 쉽게 생성할 수 있다면, 창작 과정에서 반복되는 일에 대한 속도를 비약적으로 높여줄거에요.

3. 애니메이션

애니메이션은 게임 제작 과정에서 가장 시간이 많이 걸리고, 비싸며, 어려운 영역 중 하나입니다. 사실적인 움직임을 위해, 배우나 무용수에게 모션 캡처 슈트를 입힌 후, 특수 계측된 모션 캡처 무대에서 움직이는 모습을 캡쳐하는 장면을 어디선가 보신 적이 있을 거에요. 영화에서 그런 효과를 쓰는 것처럼, 게임도 마찬가집니다.

만약, 비디오에서 바로 동작 요소를 캡처하고 구현할 수 있는 생성형 AI 모델이 있다면 어떨까요? 비용이 많이 드는 모션 캡처 장비가 필요 없어질 뿐만 아니라 훨씬 더 빠르고 효율적일 거에요. 또 우리가 영상이나 사진에 빛에 대한 필터를 씌우는 것 처럼, 외형에 움직임에 대한 필터를 씌울 수도 있습니다. 춤을 추거나, 술에 취했거나, 행복한 것처럼 보이게 만들 수 있는 거죠.

4. 월드, 레벨 디자인

일반적으로 게임 제작 효율화를 생각하실 때, 앞서 말씀 드린 것과 같은 [아트] 영역에 대해서 가장 먼저 떠오르셨을텐데요, 레벨 디자인과 같은 게임 기획 영역 또한 카테고리를 분류할 수 있을 만큼 중요한 분야라고 볼 수 있습니다.

1) 현존하는 프로시저럴 기술

마인크래프트, 노 맨스 스카이, 디아블로와 같은 게임들은 이미 레벨을 생성하기 위해 Procedural(절차적, 프로시저럴) 기술을 사용하는 것으로 유명한데요. 간단하게 설명하자면, 게임 레벨, 맵, 그래픽, 캐릭터 생성 등을 일정 방정식과 규칙에 따라 자동화하고 동적으로 만드는 방법을 의미합니다. 게임의 반복성을 줄이면서 다양성을 확장하고, 개발자들이 효율적으로 큰 규모의 게임 세계를 만들 수 있도록 도와주죠.

요즘에는 게임엔진에서 프로시저럴 생성을 위한 라이브러리를 제공하고 있어요. Unity의 SpeedTree는 개발자가 아바타의 숲이나 엘든 링의 풍경에서 보이는 가상 나무를 생성하는 데 도움을 줬고요, 언리얼 5 게임 엔진도 마찬가지로 나뭇잎 배치와 같은 오픈 월드 디자인을 위해 프로시저럴 도구를 제공하고 있습니다.

2) 생성형 AI + 프로시저럴 기술

기존의 프로시저럴 기술에 생성형 AI가 결합된다면 지금보다 훨씬 더 다양한 스타일로, 빠르고 쉽게 게임의 월드를 구현할 수 있게될 것 같아요.

이렇게 되면 기획자는 레벨 디자인을 할 때 처음부터 할 필요 없이 유사한 레벨 디자인으로 학습된 모델을 사용하여 간편하게 지속적인 레벨 디자인 기획을 할 수 있을겁니다. Shyam Sudhakaran은 코펜하겐 대학교 팀과 슈퍼 마리오 1과 2의 원본 레벨로 학습된 모델을 통해 슈퍼 마리오 레벨을 생성할 수 있는 GPT2 도구인 MarioGPT를 만들었습니다. 2018년 이 프로젝트를 포함하여 Generative Adversarial Networks (GAN)를 사용하여 1인칭 슈팅 게임 DOOM의 레벨을 설계하는 등 이 분야에 대한 학술 연구는 한동안 있어 왔습니다. 마인크래프트를 위한 생성 기술이나 둠의 레벨 디자인도 마찬가지구요.

3) NPC 대화와 내러티브

유비소프트가 개발한 Ghostwriter는 NPC 대화 생성에 특화된 AI 스크립트 작성 도구입니다. 각종 상황과 이벤트에 따라 NPC 대화의 초안을 작성해서, 작가가 더 중요한 내러티브에 집중할 수 있게 에너지를 아껴줍니다. “초안”이기 때문에 작가는 생성된 샘플을 선택하고 다듬어서 최종적 대화는 직접 컨트롤 해야하지만, 그래도 NPC 대화 작성 프로세스를 간소화할 수 있습니다. 일자리 대체 문제나, 내러티브 품질 저하등의 문제로 우려하는 작가들이 있지만, 그래도 대체보다 효율성과 창의성을 향상시키는 방향임을 강조하고 있습니다.

5. 사운드

사운드와 음악은 컨텐츠 경험에서 그래픽만큼 큰 부분입니다. 음향 효과, 음악, 음성으로 나뉘어 볼 수 있어요.

1) 음향 효과

음향 효과는 AI 생태계에 매력적인 블루오션입니다. 영화에서 "폴리"(예: 발자국 소리)를 생성하기 위해 AI를 사용하는 아이디어를 탐구한 학술 논문은 있었지만, 게임에서는 아직 상용 제품이 거의 없거든요.

정적 사운드 효과("스타워즈 스타일의 레이저 총 소리")와, 실시간 대화형 사운드 효과를 생성하는 것 모두 포함됩니다.

캐릭터가 걷고 있는 발자국 소리를 구현한다고 가정해볼게요. 지금은 미리 녹음된 몇 가지의 발자국 소리 리소스(잔디 위를 걷는 소리, 자갈 위를 걷는 소리, 잔디 위를 달리는 소리, 자갈 위를 달리는 소리 등)를 돌려 쓰겠죠? 매번 맞춤형 폴리 사운드를 생성하긴 어려운 노릇일거고, 한 게임에서 반복적인 소리를 듣기 때문에 몰입감은 떨어질 수 있습니다.

AI를 여기에 적용할 경우, 상황에 맞는 적절한 사운드 효과를 그때 그때 만들 수 있게 됩니다. 지면 표면, 캐릭터 무게, 걸음걸이, 신발 등 다양한 변수에 따라 생동감 있는 소리를 만들 수 있을 거에요.

2) 음악

음악은 감정과 밀접하게 연결된, 엔터테인먼트에 있어 아주 중요한 영역입니다.

그러나 게임은 다른 엔터 분야와 조금 다른 면이 있습니다. 게임 플레이 시간이 훨씬 깁니다. 수백 시간 또는 수천 시간 동안 지속될 수도 있죠. 그렇기 때문에 음악은 반복될 수밖에 없습니다. 거슬려서 꺼두는 경우도 많습니다. 또 장면에 따라 섬세하게 편집되는 다른 영상 미디어물과 대비할 때, 게임에서 발생하는 대화나 사건은 음악과 정확히 일치하기 어려울겁니다.

때문에 Adaptive Music(적응형 음악: 상황에 따라 바뀌는 음악)은 20년 이상 게임 사운드 분야의 숙원이었어요. Microsoft에서 나온 "DirectMusic" 시스템이라는 것이 있었는데요. 인터랙티브한 음악을 만들기 위한 시스템이었습니다. 그러나 DirectMusic은 대중적 선택에는 실패했습니다. 그 형식으로 작곡하는게 어려웠거든요. Monolith의 No One Lives Forever와 같은 소수의 게임만이 적용되었다고 해요.

3) 음성 및 대화

옛날부터 TTS는 있었어요. 굉장히 기계다운 목소리였지만, 처음 들었을 땐 참 신기했더랬죠. 지금도 유튜브에서 어렵지않게 기계 합성된 목소리를 찾을 수 있습니다. (좋아하진 않습니다.)

생성형 AI를 게임에서 음성에 사용할 때는 다음과 같은 이점이 있어요.

올인원 플랫폼

지금까지 2D, 3D, 애니메이션, 사운드, 월드 설계에 이르기까지 게임 제작에 다양한 분야가 AI와 어떻게 결합되고 있는지 살펴봤는데요. 각 분야별로 꿈틀 거리고는 있지만, 아직 제대로 시작도 안한 상태입니다. 게임 제작에 각종 AI툴이 정말 생산성 향상에 실질적 효과를 거두려면 다음과 같이 올인원 플랫폼이 필요합니다.

이 분야에서는 로블록스가 빠른 편입니다. 로블록스는 GDC 2024에 AI 기반 3D 콘텐츠 제작 기술 2종을 공개했는데요. 앞서 살펴본 3D 모델링, 애니메이션, 텍스쳐까지 AI로 컨트롤이 가능합니다. 로블록스는 "모든 사용자가 창작자가 될 수 있도록" 하는 사명 하에 생성형 AI 도구를 적극적으로 통합하고 있습니다.

🦝 구독자님을 위한 오너의 몇마디

🔜 준비중인 아싸이트 예고

Reference: 다수의 아티클을 참고하여 본 레터를 작성했습니다. 주요 레퍼런스는 하단에 있고, 본문에도 출처를 밝혔습니다.