초록
가상현실(VR)은 일터와 놀이, 학습 현장에서 활용되는 새로운 매체다. 우리는 지난 30년간 진행된 VR 심리학 실험 연구들을 살펴봤다. 모든 연구를 망라하기보다는, 심리학 여러 분야에서 균형 있게 뽑아낸 핵심 심리학 발견들을 깊이 있게 다루는 것이 우리 연구의 특별한 가치다.
우리가 주목한 다섯 가지 발견은 다음과 같다. 현장감의 효과는 활동 종류에 따라 달라진다는 점, 자신의 아바타가 행동 방식을 바꾼다는 점, 실습 위주 훈련이 이론 학습보다 효과적이라는 점, 바디 트래킹이 VR만의 특별함을 만든다는 점, 그리고 사람들이 VR 속에서 거리감을 실제보다 가깝게 느낀다는 점이다.
이런 발견들은 VR을 처음 다루는 사회과학자들이나, VR을 연구해봤지만 특정 심리학 분야(사회심리학, 인지심리학, 지각심리학 등)에만 매달렸던 연구자들에게 도움이 될 것이다. 우리는 연구자들과 일반 사용자들이 알아둘 점들을 살펴보고, 앞으로 인간 행동 연구가 나아갈 방향을 제시한다.
가상현실(VR)은 사용자를 감싸면서 자연스러운 몸동작에 반응하는, 감각적으로 풍부한 다중 감각 가상 환경을 만드는 기술이다. 초기에는 주로 기술 개발에 매달린 엔지니어들이 이 분야를 이끌었지만, 이들 역시 사용자 행동을 관찰하고 기록하는 일을 함께 했다(가령 VR 멀미 현상 연구 등).
하지만 1992년부터 본격적인 사회과학 교육을 받은 학자들이 이 분야에 적극적으로 뛰어들기 시작했다. 대표적으로 VR 분야의 주요 학술지인 프레즌스(PRESENCE) 창간호에는 심리학과 커뮤니케이션 과정을 다룬 여러 논문들이 실렸다. 그때부터 지금까지 VR은 하나의 매체로서도, 행동과학자들이 탐구하는 연구 분야로서도 꾸준히 성장해왔다.
매체로서 VR 기술은 대학 연구실을 벗어나 일반 가정으로 들어왔다. 현재 전 세계에서 2,500만 대 이상의 헤드셋이 쓰이고 있으며, 메타가 이 분야에 500억 달러 이상을 쏟아붓는 등 기업들의 대규모 투자가 이어지고 있다. 메타를 비롯한 여러 회사들은 VR과 증강현실, 스마트 글래스 같은 관련 기술들을 오락과 소통, 업무용 매체로 자리매김하려 하고 있다.
요즘 학자들은 다양한 가상 체험을 가리키는 용어로 혼합현실부터 공간 컴퓨팅, VR까지 여러 표현을 쓰고 있다. 이 글에서 우리가 VR이라는 용어를 쓰는 이유는 두 가지다. 첫째, 우리는 현실 세계에 무언가를 덧씌우는 체험보다는 완전히 몰입할 수 있는 체험에 집중하고 있다. 둘째, 수십 년에 걸친 발견들을 다루다 보니, 이 용어가 우리가 살펴보는 전체 기간을 가장 잘 아우른다. 그림 1은 VR 분야에서 중요한 연구 사건들의 흐름을 보여준다.
연구 분야로서 VR 행동과학은 크게 세 갈래로 나눌 수 있다. 첫째, VR을 기본적인 심리학 과정을 살펴보는 도구로 활용하는 것이다. 학자들은 엄격한 실험 조건을 유지하면서도 사람들이 자연스럽게 반응할 수 있는 생생하고 현실적인 실험 환경을 만들어낼 수 있다.
둘째, VR 자체를 연구 대상으로 삼는 것이다. 학자들은 이 매체를 바탕으로 이론을 세우고, 기술이 가진 가능성을 하나의 독립된 학문 영역으로 탐구해왔다. 마지막으로, 이 매체는 정신건강과 훈련을 포함해 행동과 관련된 다양한 응용 분야에서 풍부한 역사를 쌓아왔다. 우리는 이 세 가지 접근법을 각각 간략하게 살펴본다.
초기 논문에서는 저자들이 '몰입형 가상환경 기술'이라고 부른 VR을 기본적인 심리학 과정을 연구하는 도구로 활용하는 장점을 설명했다. 그들은 컴퓨터가 정해진 순서로 글과 이미지, 영상을 보여주고 반응시간 같은 결과를 측정해서 심리학 연구를 완전히 바꿔놨듯이, VR도 이 분야를 혁신할 것이라고 내다봤다.
컴퓨터는 실험을 매우 세밀하게 조절할 수 있게 해주지만, 화면에서 깜빡이는 영상 클립을 보고 마우스를 누르는 것은 사람들이 실제 세상에서 행동하는 방식과는 거리가 멀다. 반면 VR은 연구자가 실험을 정교하게 통제하면서도 참가자들에게는 현실적인 체험 환경을 제공할 수 있다. 이런 대담한 전망을 내놓은 초기 학자들 이후로 VR을 연구 도구로 쓰는 심리학자들이 늘어났지만, 여전히 기존의 2차원 화면에 비해서는 활용도가 낮은 편이다.
VR은 기존 매체와는 확연히 다르다. 많은 연구자들이 이 매체만의 사용자 경험 이론을 세우고 실제 데이터를 모으는 전문 연구를 진행하고 있다. 초기 연구자들이 주목한 개념 중 하나가 바로 '현장감(presence)'이다.
현장감은 다양하게 구현되고 정의되지만, 핵심은 '매체를 느끼지 못하는 착각'이다. VR을 사용할 때 매체 자체는 사라지고, 사람들은 현실에서와 비슷하게 행동한다. 연구자들은 현장감을 느끼는 과정, 이를 만들어내는 기술적·서사적 요소, 그리고 현장감이 VR 시뮬레이션 결과에 미치는 세부적 영향을 연구한다.
세 번째 연구 분야는 현실 문제 해결에 VR을 활용하는 것이다. VR 기술은 최근 몇 년간 비용, 접근성, 하드웨어와 소프트웨어 품질에서 혁신적 변화를 겪었지만, 학계는 이미 이런 시점을 내다보고 있었다. VR 초기 연구 중 상당수는 심리학 여러 분야에서 이 매체를 어떻게 써먹을지에 집중했다.
예를 들어, 미국 9·11 테러 이후 심리학자들은 첫 대응요원들의 외상 후 스트레스 장애 치료를 위해 비행기가 타워에 충돌하는 1인칭 시점의 VR 재현 장면을 만들었다. 임상 활용 외에 VR의 가장 큰 쓰임새 중 하나는 훈련 시나리오였다. 매체의 체감적 특성을 살려 학습 효과를 높이는 것이다.
초기 비행 시뮬레이터부터 가상 해부용 시신까지, 훈련과 반복 연습을 위한 VR 활용 역사는 실증 사례가 풍부하다. VR 대표 학술지 《프레전스》 창간호가 나온 1992년을 VR 행동과학 연구의 출발점으로 본다면, 지금까지 정리할 수 있는 연구가 32년치나 된다.
헤드셋 착용자를 대상으로 한 인간 참여 실험 수에 대한 가장 정확한 추정치는 자연어처리와 생성형 AI를 활용해 VR과 증강현실 실험을 다룬 2만 개 이상의 행동과학 연구 논문을 분석한 연구에서 나왔다. 그림 2에서 보듯 지난 10년간 실증 연구가 크게 늘어났다.
이번 리뷰의 범위
이번 연구에서는 VR에서 일관되게 나타나는 발견들에 주목했다. 두 가지 기준으로 이를 정했다. (1) 메타분석에서 안정적인 효과 크기를 보이거나 오랜 기간 연구된 것들, (2) 이 분야 핵심 학자들이 안정적이고 일관된다고 인정하는 것들이다.
리뷰를 쓰면서 3단계를 거쳤다. 먼저 VR을 연구해온 우리의 경험을 바탕으로 심리학 여러 분야에서 확실하다고 보는 발견들을 정리했다. 다음으로 가능한 한 기존 메타분석으로 각 발견을 뒷받침했다. 마지막으로 빠뜨린 주제가 없는지 확인하기 위해 감사의 글에 나열된 11명의 기존 VR 학자들(남녀 동수, 광고·커뮤니케이션·컴퓨터과학·정부·간호학·의학·심리학 분야)에게 비공식적으로 연락해 우리 목록을 보완하고 검증할 확실한 발견들을 제안해달라고 했다.
연구진으로서 그들의 답변에 대해 반복적으로 질적 논의를 거쳐 목록을 다듬고 발견들에 대한 설명을 개선했다. 이 과정에서 일부 학자들이 확실성을 의심하는 발견들을 제거해 목록을 줄일 수 있었다. 예를 들어 처음에는 시뮬레이터 멀미의 성별 차이를 발견으로 포함하려 했지만, 최근 연구에서 이에 대한 여러 대안적 설명이 제기되고 있다.
또 다른 예로, 처음에는 VR에서 아이들의 특별함을 고려했다. 이것이 중요한 주제라는 데는 동의했지만, 피드백을 바탕으로 아직 하나의 명확하고 방향성 있는 발견이 없다는 이유로 해당 부분을 제거했다. 다섯 가지 발견 각각을 설명할 때도 학자들의 피드백이 우리가 제시하는 실험들이 이 분야를 잘 대표하도록 하는 데 도움이 됐다.
그 결과 나온 다섯 가지 발견은 지각심리학, 학습과학, 신경과학, 사회심리학을 포함한 심리학의 다양한 하위 분야 학자들과 관련 연구 결과들을 특징으로 한다. 다섯 가지 발견은 표 1에 정리되어 있다.
VR을 주요 연구 영역으로 하는 사회과학자들에게는 이 다섯 가지 발견이 익숙할 수 있다. 하지만 그림 2에서 보듯 이 새로운 매체를 받아들이는 신진 학자들이 많다. 이 리뷰가 그런 신진 학자들이 자신의 연구 질문을 구성하고 자리매김하는 데 도움이 되는 귀중한 연구 도구가 되길 바란다.
더 나아가 이 리뷰는 연구에서 심리학 분야를 넘나들고자 하는 경험 있는 학자들에게도 도움이 될 것이다. 예를 들어 지각심리학자는 사람들이 VR 헤드셋에서 거리 단서를 어떻게 처리하는지는 매우 익숙하지만, 아바타를 체화하는 사회심리학적 의미에는 그리 익숙하지 않을 수 있다.
마찬가지로 교육학 학자는 VR에서 가장 효과적인 학습 시나리오 유형에는 정통하지만, 다른 하위 분야 학자들은 종종 학습을 종속변수로 측정하며 절차적 학습 대 추상적 학습에 대한 우리 논의에서 도움을 얻을 수 있다. 노련한 VR 학자들도 추적 데이터의 신체 움직임이 사용자를 식별할 수 있는 정도에 대한 최근 연구의 깊이를 보는 것에서 도움을 얻을 수 있다.
따라서 이 다각적 리뷰가 다양한 독자들에게 접점을 갖고 유용할 것이라고 본다. 다섯 가지 발견을 차례로 살펴보겠다.
다섯 가지 핵심 발견
현장감의 효과는 활동에 따라 달라진다
현장감은 흔히 '그곳에 있다는 느낌'으로 표현된다. VR의 경험적이고 직관적인 특성을 다룬 가장 초기 연구 중 하나는 VR의 대표적 시연을 검증했다. 가상의 절벽 위에서 널빤지를 걸을 때, 사람들은 실제 고소공포증을 보였고 시뮬레이션을 진짜처럼 받아들였다. 오늘날 기준으로는 조악한 하드웨어에서도 그랬다.
현장감은 VR을 다른 매체와 구분 짓는 핵심 특징이다. 하지만 모든 매체 경험이 현장감을 똑같이 활용할 수 있는 건 아니다. 높은 현장감은 어떤 매체 경험에는 더 적합하고 다른 것들에는 그렇지 않다.
VR 역사상 아마 최고의 활용 사례는 훈련이다. 여기서 강한 현장감은 특히 유용하다. 여러 메타분석들이 의학, 항공, 군사 절차 같은 분야에서 VR이 훈련생들로 하여금 위험 부담 없이 현실적이고 긴장감 높은 상황을 경험하게 한다는 것을 보여줬다. 이를 통해 사용자들은 실제 상황에서처럼 자료에 몰입할 수 있고, 기술을 단단히 하며, 학습 전이를 촉진하고, 의사결정을 연마할 수 있다.
현장감은 임상 적용에서도 큰 이점이 있다. 노출 치료법은 정신건강에서 가장 검증된 VR 치료 중 하나다. 환자들이 두려움에 맞서고 둔감화를 통해 두려워하는 대상, 상황, 활동을 회피하는 것을 줄이도록 돕는다. 초기 연구는 VR 노출 치료법이 환자들의 고소공포증 극복에 도움이 될 수 있음을 보여줬다.
비행공포증 치료를 생각해보자. VR 치료는 실제로 공항을 방문하는 비용을 줄이고, 난기류 같은 드문 상황을 시뮬레이션할 수 있으며, 환자를 신체적으로나 심리적으로 보호한다. 실제로 2003년의 초기 연구는 치료 3년 후 환자들을 추적했고, VR 단계적 노출 치료를 받은 참가자들이 3년 시점에서 비행공포증 재발을 전혀 보이지 않았다고 보고했다. 최근 메타분석들은 VR 노출 치료법의 지속적인 효능을 확인했다.
현장감에서 벗어나는 것(즉, 현재의 물리적 위치와 구별되는 VR 세계에서의 높은 현장감으로 촉진되는 현실 세계로부터의 심리적 분리)은 통증 관리에 도움을 준다. 이 주제에 관한 가장 초기 연구 중 하나는 VR이 화상 환자의 통증을 완화한다는 것을 보여줬다. 비약물학적 개입으로서 고통스러운 시술로부터 주의를 효과적으로 돌린다. 실제로 여러 메타분석들이 통증 감소에 대한 중간에서 큰 효과 크기를 보여준다.
반대로 아직 일관된 효능을 보여주지 못한 두 영역은 커뮤니케이션과 엔터테인먼트다. 먼저 커뮤니케이션은 우리 목적상 메타버스에서 소셜 VR 시스템을 사용해 회의와 사회적 상호작용을 촉진하는 것으로 정의되는데, 제한적인 채택만을 경험했다. 몇몇 VR 경험이 견인력을 얻었다는 점은 주목할 만하다.
예를 들어 2023년에 가장 큰 소셜 VR 플랫폼 중 하나인 VR챗은 9만2천 명 이상의 동시 사용자에 도달했다. 플레이어들이 고릴라 아바타를 쓰고 팔을 앞뒤로 흔들어 다른 고릴라들과 함께 놀이하는 VR 술래잡기 게임인 고릴라 태그는 일일 사용자 100만 명과 활성 사용자 300만 명을 기록했다.
동시에 많은 VR 학자들은 팬데믹 동안 채택된 매체가 더 몰입적인 시스템이 아닌 화상회의였을 때 놀랐다. 로블록스 같은 메타버스는 아이들에게 인기가 있지만, 비즈니스 회의 중에 심리적 현장감을 활용하기 위해 헤드셋을 착용하는 성인은 거의 없다. 사회적 맥락에서 그렇게 하는 사람들은 정기적으로 괴롭힘에 직면한다.
마찬가지로 초기 학자들은 엔터테인먼트에서의 성공 경로를 제시했고, 페이스북의 오큘러스 인수 후 활발한 움직임이 있었지만, 영화제들은 최근 이 매체에서 멀어지고 있다. 부분적으로는 VR에서 시청자 주의와 관련된 어려움 때문이다.
VR에서 연구를 설계하는 학자들은 높은 현장감이 항상 목표라고 가정해서는 안 된다. 특정 연구를 위해 하드웨어와 콘텐츠를 선택할 때, 높은 몰입감(즉, 매체의 기술적 측면)과 현장감(즉, 그곳에 있다는 심리적 느낌)으로부터 도움을 받는 활동 유형과 그렇지 않은 유형을 강조하는 연구 결과와 소비자 트렌드 모두에 주의를 기울여야 한다.
미디어 소비자들에게는 대부분의 VR 헤드셋 소유자들이 구매 후 기기를 자주 사용하지 않는다는 점을 이해하는 것이 중요하다. 피트니스나 소셜 게임 같이 VR을 정기적으로 사용하고 싶은 이유에 대한 목표를 염두에 두는 것이 사람들이 구매를 최대한 활용하는 데 도움이 될 것이다.
자기 아바타가 행동에 영향을 미친다
아바타는 VR에서 사람을 나타내는 것이다. VR의 미디어 심리학 연구에서 상당한 흐름이 아바타가 인간 행동을 어떻게 형성하는지 조사해왔다. 아바타는 VR 사용자 경험의 중심이며, 가상 세계와의 주요 인터페이스 역할을 한다.
시각운동 동기화는 모션 트래커를 사용하여 물리적 움직임이 아바타의 움직임과 실시간으로 동기화되는 것으로, 잘 기록된 심리학적 효과를 가진 이 매체의 지각적 특성이다. 예를 들어 신체 소유권 착각이 VR에서 발생할 수 있다. 이 심리학적 현상은 신체가 아닌 개체를 자신의 신체 일부로 경험하는 지각적 착각이 특징이다.
규범적 연구는 물리적 고무 손의 신체 소유권을 보여줬다. 보이는 고무 손과 숨겨진 실제 손의 동시적 시각촉각 자극이 고무 손이 진짜라는 감각을 유도했다. 학자들은 VR에서 가상 신체에 대한 소유권 착각을 탐구하여 이 연구를 확장했다.
한 연구는 VR에서 고무 손 착각을 재현했다. 헤드셋을 통해 보는 동작 동기화된 가상 사지에 대한 신체 소유권의 증거를 동시적 시각촉각 자극을 사용하여 제공했다. 신체 소유권은 촉각 피드백이 없는 상태에서도 입증되었다. 이는 이 지각적 착각에서 VR의 시각운동 동기화의 중요성을 강조한다.
자기 아바타의 구현은 인지적 의미도 가진다. 렌더링된 손 움직임을 가진 아바타를 갖는 것이 통제 조건보다 회상을 개선했다.
신체 소유권 연구의 전신은 프로테우스 효과였다(ref. 49에 의해 처음 보여졌지만, 최근 예시는 ref. 50 참조). 개인의 행동이 자신의 아바타 표현에 부합한다는 것이다. 초기 연구 세트에서 더 키 큰 아바타를 체화한 참가자들은 더 키 작은 아바타를 체화한 참가자들에 비해 협상 과제에서 더 자신감 있게 행동했다.
이 효과는 다양한 맥락에서 탐구되었다. 자신의 아바타의 시각적 특성이 신체 활동, 태도, 대인 커뮤니케이션에 영향을 미칠 수 있음을 보여준다. 메타분석은 효과 크기가 평균 0.22에서 0.26 사이라는 것을 발견했다. 이는 다른 디지털 미디어 효과보다 비교적 큰 효과 크기다. 더욱이 이 주제에 대한 두 번째 메타분석은 프로테우스 효과가 2D 스크린보다 몰입형 VR에서 더 강하다는 것을 보여줬다.
VR 관점 취하기는 개인이 다른 사람의 관점을 취하는 연습으로, 공감을 촉진할 수 있다. 과거 연구는 암묵적 편견 감소, 친사회적 행동, 감정 인식에 대한 효과를 기록했다.
이 노력은 어려움이나 비판 없이 진행되지 않았다. 공감에 대한 VR 관점 취하기의 효과는 맥락에 좌우되는 경향이 있고 장기적 증거가 부족했다(하지만 장기 효과의 예시는 ref. 62 참조). 학자들은 또한 공감 기계로서 VR의 과장을 비판했다. 공감의 복잡성, 시뮬레이션의 한계, 그리고 관여된 관찰자성을 언급하면서 말이다.
연구를 설계하는 학자들은 아바타에 초점을 맞추도록 설계되지 않은 VR 연구에서도 자기 표현이 참가자 행동에 얼마나 강한 영향을 미칠지 인식해야 한다. 그러한 선택이 의도적이든 단순히 주어진 플랫폼에서 제한된 옵션 가용성의 부산물이든, 아바타 선택에 신중한 주의를 기울여야 한다.
학자들은 참가자들이 어떻게 표현되는지뿐만 아니라, 개인차가 자신의 아바타에 대한 인식과 이 표현을 맞춤화하는 데서의 주체성 정도를 어떻게 형성할 수 있는지도 고려해야 한다. 소비자들은 오랜 시간 아바타를 사용하는 것이 결과를 가진다는 것을 이해해야 한다. 심지어 2D 비디오게임 맥락에서도 아바타 체화는 시간이 지나면서 행동에 영향을 미칠 수 있다.
실습 위주 훈련이 이론 학습보다 효과적이다
VR의 가장 인기 있고 유망한 활용 사례 중 하나는 학습 및 훈련 등의 교육 영역이다. 여러 메타분석들이 VR의 특성이 교실, 박물관, 기타 맥락에서 학습에 미치는 영향을 조사했다. 연구는 몰입형 가상환경이 제공하는 높은 몰입감, 충실도, 참여도가 학습에 독특한 이점을 제공한다는 것을 확인했다.
이러한 특성은 향상된 공간 지식의 발달을 이끌고, 경험적 학습을 촉진하며, 동기와 즐거움을 증가시키고, 더 풍부하고 효과적인 협력 학습을 촉진하는 것으로 나타났다.
하지만 이 분야의 여러 한계들이 일반적인 교실 학습 도구로서 VR의 효과성에 대해 미미하거나 결정적이지 않은 결과를 낳았다(초기 예시는 ref. 75 참조). 이러한 한계들에는 적절한 VR 학습 결과를 측정하는 어려움, VR 학습 애플리케이션을 만들기 위한 기초로서 학습 이론 기반 연구의 고려 부족, 그리고 데스크톱 VR 같은 비몰입형 기술에 적용되는 몰입형 기술이라는 용어의 일관성 부족이 포함된다.
더 나아가 일부 연구는 가상 경험의 독특한 강점이 학습을 방해할 수 있다는 것을 확인했다. 예를 들어 몰입형 VR은 더 큰 현장감 같은 긍정적 결과를 이끌 수 있지만, 더 적은 학습과 더 높은 인지 부하를 야기할 수도 있다.
VR에서 고도로 다감각적이고 상호작용적인 학습 경험이 요구하는 처리가 사람들의 인지 시스템의 처리 용량을 초과할 수 있어 인지 과부하를 초래한다. 특히 학습 과제가 잘못 설계되면, 새로운 정보를 이해하는 데 필요하지 않은 인지 과정인 관련 없는 처리를 야기하여 학습자들이 인지 용량을 낭비하게 만들 수 있다.
학습 경험에 영향을 미치는 다른 요인들도 확인되었다. 개인차(예: 성별이나 신경다양성), 학습 수준과 과목, 그리고 사전 훈련 같은 것들이다. 일반적으로 발견들은 같은 방향을 가리킨다. VR이 학습에 유망한 독특한 특성을 제공할 수 있지만, 누가 배우는지, 어떤 맥락에서 배우는지, 어떤 자료를 사용하는지의 질문들이 그러한 특성이 의미 있는 학습을 촉진할 수 있는지 결정하는 데 중요하다.
VR에서 연구를 수행하는 학자들은 학습에 대한 이전 연구로부터 두 가지 방식으로 도움을 받을 수 있다. 첫째, 학자들은 2D 미디어에서 VR로 학습 자료를 옮기는 것이 인지 과부하로 인해 역효과를 낼 수 있다는 것을 이해해야 한다. 둘째, VR에서 보내는 시간은 편안함을 최대화하기 위해 일반적인 학습 미디어보다 짧아야 한다.
학교에서 VR을 관리하는 교사들에게는 커리큘럼의 일부로 VR 콘텐츠를 구현할 때 분별력을 갖는 것이 중요하다. VR 학자들에게는 당연하게 들릴 수 있지만, 전문성이 없는 교사들은 종종 콘텐츠에 관계없이 단순히 헤드셋을 착용하는 것이 더 많은 학습을 야기한다고 믿게 된다. VR을 생산적인 방식으로 활용하는 콘텐츠로 헤드셋 사용을 제한하는 것이 중요하다.
바디 트래킹이 VR을 독특하게 만든다
VR은 트래킹, 렌더링, 디스플레이의 순환으로 구성된다. 이것들은 실시간으로 지속적으로 일어나 사용자를 독특하게 식별 가능하게 만든다. 순환은 트래킹으로 시작된다. 트래킹은 센서가 사람의 움직임을 감지하고 그것을 VR 콘텐츠를 업데이트하는 데 쓸 수 있는 데이터로 바꾸는 것을 포함한다.
역사적으로 트래킹은 기계식부터 자기식까지 다양한 센서를 사용했지만, 오늘날의 트래킹은 대부분 컴퓨터 비전 시스템으로 이루어진다. 이 시스템들은 헤드셋 안에 내장된 카메라를 포함한다. 이 카메라들은 방을 촬영하여 사용자가 어디를 보고 있는지, 그들의 몸이 어떻게 움직이는지 정확하고 빠르게(즉, 낮은 지연시간으로), 그리고 자주(즉, 높은 업데이트율로) 파악할 수 있다.
트래킹 정보는 중요하다. 시스템이 누군가가 어디를 보고 있는지, 그들의 몸이 어떻게 위치하고 있는지 알아야 그들의 가상 위치를 제대로 표시할 수 있기 때문이다. 한 메타분석은 트래킹의 개선이 VR 경험에 작은 것에서 중간 정도의 효과 크기를 갖는 경향이 있음을 보여줬다.
인지가 몸에 의해 형성되고 체화된 경험과 그 맥락에 기반을 둔다는 점에서, VR은 몸과 인지 사이의 관계를 이해하기 위한 좋은 환경을 제공한다. 이 매체는 연구자들이 트래킹된 동작이 개인들에게 지각적으로 어떻게 반영되는지 조작함으로써 경험의 특징을 분리할 수 있게 한다.
연구는 정확한 실시간 신체 동작이 자기 자신과 타인의 아바타의 사회적 단서에 중요하다는 것을 보여줬다. 동작이 가상 신체에 어떻게 매핑되는지 바꾸는 개념은 호문쿨러 유연성으로 알려져 있다. 이는 이 분야에서 이루어진 많은 연구를 포착하고 새로운 신체 부위를 제어하거나 비인간 형태를 채택할 가능성을 제시한다.
물리적 행동을 트래킹하는 것은 또한 인간 행동의 심층 분석을 가능하게 한다. VR은 이 목적에 잘 작동한다. 머리, 손, 눈 움직임이 헤드셋과 컨트롤러에 의해 세밀하게 트래킹될 수 있고, 추가 센서들이 심박수와 피부 전도도 같은 생리학적 데이터를 포착할 수 있다.
개인이 머리와 손을 어떻게 움직이는지, 어디를 보고 있는지 같은 물리적 움직임은 그들의 의도와 주의 수준을 드러낼 수 있고 체화를 예측하는 데 효과적일 수 있다. 트래킹 데이터는 또한 VR 헤드셋을 사용하여 어린이의 주의력 결핍 과잉행동 장애를 진단하기 위한 평가 도구를 만드는 데 쓰일 수 있다. 추가로 심박수와 피부 전도도는 심리적 상태를 특성화할 수 있다.
개인들의 그룹이 같은 가상환경을 공유하는 네트워크 VR에서는 분석이 신체 움직임의 사회적 역학에 초점을 맞출 수 있다.
중요하게도 동작 트래킹 데이터는 특히 재식별 위험과 관련하여 개인정보 보호 우려를 제기한다. 사용자가 가상환경에서 어떻게 움직이는지에 대한 정보는 훈련, 360도 영상 시청, 게임을 포함한 다양한 설정에서 반복적으로 식별되는 것으로 발견된다.
딥러닝 모델을 사용한 연구는 사용자당 5분의 머리와 손 동작 데이터로 훈련된 모델을 사용하여 5만 명 이상의 사용자 중에서 VR 사용자를 90% 이상의 정확도로 독특하게 식별할 수 있음을 보여줬다. 그렇긴 하지만 VR 트래킹 데이터의 식별 가능성 위험은 맥락에 따라 다를 수 있다. 모델 훈련과 테스트 사이의 시간 지연이 길수록 식별 가능성이 감소하고, 트래킹 데이터의 효과적인 동작 마스킹이 익명성을 증가시킨다.
물리적 행동으로부터 개인차를 모델링하는 능력이 사회과학 연구에 새로운 기회를 만들어내지만, 신원 기반 공격의 가능성은 추가적인 정밀 조사를 요구한다.
VR에서 연구를 수행하는 학자들은 신체 움직임에 대한 이전 연구로부터 두 가지 방식으로 도움을 받을 수 있다. 첫째, VR 콘텐츠를 설계할 때 높은 참여가 목표라면, 학자들은 일반적으로 풍부한 사용자 움직임을 촉진하는 가상 세계와 VR 경험 동안 타임라인을 따라 의도적으로 특정 사용자 움직임을 야기하는 순간들을 만들어야 한다.
둘째, VR에서 연구를 수행하는 모든 학자들은 트래킹 데이터가 독특하게 식별 가능하다는 것을 이해하고 데이터 저장과 익명화의 내부 관행에 따라 그에 맞게 진행해야 한다.
실무자들에게는 인간 행동의 더 나은 실시간 모델링이 아마도 웨어러블 센서의 사용으로 강화될 수 있는 더 적응적이고 개인화된 몰입 경험을 제공할 것이다. 여기서 과제는 물론 개인화의 이점과 프라이버시 위험의 균형을 맞추는 것이다(VR의 위험에 대한 철저한 논의는 ref. 112 참조).
이 분야가 개인정보 보호를 위한 솔루션의 효능에 대한 이해를 발전시키면서, 자신의 지각적 경험에 대한 잠재적 하위 변화가 심리학적 및 사회적 과정에 어떻게 영향을 미칠 수 있는지 정량화하는 것도 중요하다.
사람들은 VR에서 거리를 과소평가한다
VR은 근본적으로 공간적인 매체다. 사람들은 장면을 탐색하기 위해 몸을 움직인다. 시각적, 청각적 디스플레이는 일반적으로 스테레오로 렌더링된다. 그리고 장면의 자연스러운 탐색은 데스크톱 컴퓨터 같은 전통적인 2D 디스플레이 시스템과 달리 VR을 사용하는 이유 중 하나다.
사용자들이 환상적인 VR 세계에서 높은 현장감을 경험할 때, 거리의 정확성을 평가하는 것은 아마도 그들의 첫 번째 우선순위가 아닐 것이다. 하지만 사람들이 실제로 물체가 얼마나 멀리 있는지 평가하는 과제를 받았을 때, VR에서 거리는 상당히 과소평가될 수 있다. 이 지각적 단점은 걷기, 점프, 물체 던지기 같은 공간적 행동에 영향을 미치며, VR 기반 훈련의 효능을 의문시하게 만든다.
이러한 효과들은 초기의 저품질 헤드셋뿐만 아니라 오늘날의 현대적인 것들에서도 일관되게 나타났다. 메타분석은 제한된 시야각, 머리의 무게, 불완전한 깊이 단서, 그림자, 렌더링 품질 같은 가능한 원인들을 지목했다(ref. 114도 참조).
3D 콘텐츠를 제시하기 위해 VR 헤드셋은 인간 머리의 자연스러운 눈 위치를 모방하는 관점에서 각 눈에 두 개의 구별되는 이미지를 보여주는 스테레오 디스플레이를 사용한다. 버전스-어코모데이션 충돌로 알려진 문제는 각 눈을 해당 디스플레이에 초점을 맞추는 것(어코모데이션)과 물체의 올바른 깊이에 맞춰 양쪽 눈을 조정하는 것(버전스) 사이에 불일치가 있을 때 발생한다.
이 충돌은 뇌가 부자연스럽게 느껴지는 방식으로 적응하도록 강요하고 시각적 움직임 단서에 부정적으로 영향을 미칠 수 있다. 이는 이 광학적 문제를 해결하는 것이 VR 설정에서 거리 과소평가의 지속적인 문제를 해결하는 데 중요하다는 것을 시사한다.
심리학과 컴퓨터 그래픽스의 이전 연구들은 그림자가 지면 접촉을 나타내는 귀중한 단서라는 것을 보여줬다. VR 시스템은 일반적으로 그림자를 포함하지 않지만, 참가자들이 깊이를 평가해야 하는 학습 같은 응용에서는 중요하다.
VR 물체와 그림자에 대한 최근 연구들은 밝은 그림자를 가진 어두운 물체가 어두운 그림자를 가진 어두운 물체나 어둡거나 밝은 그림자를 가진 밝은 물체에 비해 지면까지의 거리를 판단할 때 정확성을 향상시킨다는 것을 발견했다. 더 나아가 그림자가 밝아질수록 깊이 단서가 약해지는 반면, 색깔이 있는 그림자는 VR에서 3D 물체의 깊이 지각을 개선할 수 있다.
거리 과소평가는 물체가 더 멀리 있을 때 증가한다. 이 효과는 실제 세계의 소위 패스스루 영상을 보여주는 헤드셋에서도 발생한다. 한 연구는 사람들이 카메라 없이 물리적 세계를 볼 때와 비교하여 패스스루에서 거리를 과소평가하는 경향이 있다는 것을 발견했다. 또 다른 연구는 참가자들이 패스스루에서 거리를 과소평가했고 목표 거리가 증가할 때 덜 정확했다는 것을 보여줬다.
VR을 연구하는 연구자들에게 거리 과소평가는 공간적 관계에 의존하는 변수들에 영향을 미칠 수 있다. 예를 들어 VR을 연구하는 사회심리학자들은 종종 연구에서 대인 거리나 상호 시선을 변수로 사용한다(검토는 ref. 95 참조). VR 헤드셋이 거리의 절대적 측정치를 바꾼다는 점에서, 심리학자들은 특히 가상 결과를 물리적 세계의 규범과 비교할 때 이를 고려해야 한다.
더욱이 이 문제를 개선하는 해결책들이 있다. 일반적인 VR 시뮬레이션을 깊이 카메라 같은 다른 센서로 보강하거나, 눈 높이를 조정하거나, 가상 아바타를 사용하는 것 등이다.
실무자들에게는 공간 컴퓨팅의 최신 발달이 헤드셋 스크린에서 가상환경과 물리적 환경 모두의 통합을 가능하게 하여, 전문적 및 여가 활동 모두에서 확대된 사용을 제공한다. 실제로 애플이 2024년에 마침내 VR 헤드셋을 출시했을 때 이 장치를 공간 컴퓨터라고 불렀다. 거리 과소평가 오류는 인지 성능에 부정적으로 영향을 미치고 이러한 맥락에서 헤드셋 내 경험의 질을 떨어뜨릴 수 있다.
박스 1 : VR 학자들을 위한 향후 연구 권고사항
VR을 연구하기 전에 VR을 사용하라. 웹페이지, 영상, 오디오 파일, 소셜 미디어 및 실험 콘텐츠를 전달하는 다른 방식들과 함께, 연구에 새로운 학자들은 일반적으로 매체 자체에 대한 수년간의 경험을 가지고 있다. VR은 복잡하고, 하드웨어, 플랫폼, 콘텐츠, 그리고 전체적인 VR 경험에 대해 더 많이 알수록 더 좋다. 연구자들은 엄격한 연구를 수행하는 데 드는 수백 시간을 보내기 전에 적어도 수십 시간을 헤드셋 안에서 보내야 한다.
모든 VR 학자는 지각심리학자다. VR은 다른 매체와 근본적으로 다른 방식으로 지각 시스템을 직접적으로 활용한다. 작은 세부사항이 참가자 경험에 엄청나게 중요하고, 소비자 기술은 다양하다. 예를 들어 소리가 공간화되어야 할까(즉, 물체의 가상 위치에서 나오는)? 이는 현장감을 증가시키지만 종종 오디오 이해를 희생한다. 처리 능력으로 인해 상충하는 시각적 특징들을 어떻게 우선순위를 정할까?
정상적인 인간 시야에 접근하는 높은 시야각을 가진 헤드셋은 매우 매력적이지만, 주변부를 렌더링하는 것은 장면 전체에 걸쳐 더 낮은 시각적 충실도를 요구할 수 있다. 마찬가지로 참가자들이 스테레오를 보는 능력에 차이가 있고 스테레오로 렌더링하는 것(특히 영상에서)이 인공물을 생성할 수 있다는 점에서, 각 눈에 동일한 이미지를 보내는 것과 달리 항상 입체적으로 렌더링해야 할까?
더욱이 손 트래킹의 경우 어색하고 부자연스러운 손 컨트롤러를 사용해야 할까, 아니면 덜 정확할 수 있는 컴퓨터 비전을 사용해야 할까? VR은 많은 지각 과정들의 복잡한 집합이다. 플랫폼의 기본 설정에 기반하지 않고 이러한 결정들을 신중하게 내려야 한다.
장기적 연구가 중요하다. VR 연구의 압도적 다수는 단일 시점만을 본다. 시간에 걸친 행동 연구는 어떤 매체든 이해하는 데 중요하지만, 특히 많은 참가자들에게 독특하고 새로운 경험인 VR에서는 더욱 그렇다. VR의 장기적 연구는 종종 시간이 변수로서 실험 처치 자체만큼 결과의 분산을 설명한다는 것을 보여준다.
대표적인 표본을 연구하라. 모든 심리학 연구가 편의 표본에서 대표적인 표본으로 나아가기 위해 노력해야 하지만, VR은 다양한 참가자들을 모집해야 하는 독특한 이유들이 있다. 헤드셋은 머리의 크기와 모양에 따라 사람들에게 다르게 맞는다. 더욱이 모든 사람이 30분 동안 서 있거나, 양손을 사용하거나, 스테레오 이미지를 처리하거나, 목 근육을 사용하여 상당히 무거운 장치를 들고 있을 수 있는 것은 아니다. 실험에 다양한 표본을 포함하는 것은 작동하는 심리학적 메커니즘을 완전히 이해하고 연구 결과가 모든 사람에게 일반화되도록 보장하는 데 중요하다.
행동적 측정을 포함하라. VR에서 연구되는 많은 구성개념들은 추상적이고 혼란스럽다. 예를 들어 VR 콘텐츠에서 현장감을 느낀다는 것은 무엇을 의미하며, 참가자들이 현실이라고 여기는 것을 어떻게 측정할까? VR 연구 공동체 내에서 설문지는 여전히 정기적으로 사용되지만, 영향력 높은 연구는 일반적으로 행동도 측정한다. 예를 들어 트래킹 시스템에 의해 수집된 언어적 및 비언어적 행동을 분석하거나 VR 사용자들이 이후 현실 세계에서 무엇을 하는지 조사하는 것이다. 행동 데이터를 처리하는 것은 노동 집약적일 수 있지만, 그렇게 하는 것은 VR 사용의 심리학적 과정과 의미를 이해하는 중요한 측면이다.
단점을 연구하라. VR의 부정적인 심리학적 결과를 조사하는 학술 연구가 부족하다. 하지만 소비자 환경에서 인기를 얻고 있는 활용 사례들을 고려할 때 중독, 괴롭힘, 부정적인 행동 모델링 같은 심리학적 문제들의 이해는 중요하다. 이러한 영역에서 실험 콘텐츠를 설계하는 것은 어려울 수 있고, 괴롭힘 같은 까다로운 구성개념을 연구할 때 참가자 안전을 적절히 관리해야 한다. 그러한 어려움에도 불구하고 이 연구 영역은 절실히 관심이 필요하다.
논의
VR에서 인간 행동 연구는 1992년 사회과학적 접근이 등장한 이후 번성해왔다. 실제로 그림 2에서 보듯 이 매체에 관한 전체 논문의 절반 이상이 2018년 이후 발표되었다. 이번 리뷰는 수년에 걸쳐 일관되게 재현되고 메타분석으로 검증된 발견들을 정리하여, VR 연구를 시작하는 학자들뿐만 아니라 일상에서 VR을 활용하는 소비자와 실무자들에게 유용한 실용적 지식을 제공하기 위해 작성되었다.
표 1에 나열된 메타분석들과 달리, 이 리뷰는 체계적이거나 엄밀한 실증 분석을 제시하지는 않는다. 우리의 목표는 앞서 설명한 기준에 부합하는 상위 5개 연구 발견에 대한 균형 잡힌 관점을 제시하는 것이었다. 발견들을 다듬고 정교화하기 위해 학자 패널로부터 피드백을 받았지만, 이는 엄격한 질적 연구나 설문조사가 아니라 우리 관점의 객관성을 높이는 데 도움을 주었다.
VR은 종종 비디오게임, 영화, 메타버스와 연결되며, 이 분야에서 어느 정도 성공을 거두었다. 이번 연구에서 우리는 더 심리학적으로 의미 있는 응용 분야에 초점을 맞춰 다섯 가지 확고한 발견을 검토했다. 그 중 일부는 훈련, 임상 치료, 공감 증진을 위한 아바타 활용 등 VR이 탁월한 성과를 낼 수 있는 영역들이다.
하지만 VR은 부작용이 없는 매체가 아니다. VR 사용은 시뮬레이터 멀미, 인지 부하, 추적된 신체 움직임으로 인한 개인정보 보호 문제를 일으킬 수 있다.
VR의 장단점을 다루는 한 가지 방법은 DICE라는 프레임워크를 활용하는 것이다. 이 접근법은 현실 세계에서 구현하기 어려운 위험하고(Dangerous), 불가능하고(Impossible), 역효과가 나거나(Counterproductive), 비용이 많이 드는(Expensive) 경험에 VR을 사용하도록 권장한다. 예를 들어 소방관 훈련, 뇌졸중 환자 재활, 조각 박물관을 통한 미술사 학습, 기후변화 이해를 위한 지구 미래의 몰입적 체험은 모두 DICE 기준에 정확히 부합한다.
반면 이메일 확인, 텔레비전 시청, 일반적인 사무업무를 위해 굳이 헤드셋을 착용할 필요는 없다. 이런 용도들은 2D 화면에서 더 효과적이다. 이러한 사용 사례들을 불필요하게 VR로 옮기지 않음으로써 사회는 VR의 부작용을 일부 피할 수 있다.
박스 1에서 우리는 향후 연구 방향을 제시한다. 이는 VR이 혁신적이고 명백히 최적의 매체인 영역에 집중해야 한다는 것이다.
연구 분야가 발전하면서 나타나는 두드러진 특징 중 하나는 행동을 장기적으로 추적하는 연구가 부족하다는 점이다(시간 경과에 따른 VR 사용 연구 조사는 ref. 136 참조). 마찬가지로 일부 학자들이 아동에 대한 매체의 심리적·사회적 효과를 조사했지만, 이는 더 많은 연구가 필요한 영역이다.
또한 자기공명영상(MRI) 같은 신뢰할 만한 뇌 활동 측정 도구를 사용한 VR 연구는 거의 없다. 이는 주로 몰입감 높은 VR 체험이 크고 갑작스러운 움직임을 수반하고, 최신 뇌과학 도구들도 극심한 머리 움직임이 있을 때 정확도가 떨어지기 때문이다(다만 VR에서 뇌과학 연구를 위한 기능적 근적외선 분광법 활용에 대한 최근 논의는 ref. 139 참조).
많은 학자들이 VR 연구에서 전통적인 심리측정 데이터와 접근법(예: 자기보고)을 타당한 이유로 사용한다. 예를 들어 자기보고 척도는 일반적으로 비VR 환경에서 타당하고 신뢰할 만하며 적용하기 편리하다. 하지만 VR에서는 이러한 측정에만 머무르는 것은 놓친 기회다(이 개념의 초기 설명은 ref. 140 참조).
VR 연구의 새로운 방향은 우리가 제시한 바와 같이 장기적이고 다방법적 평가를 우선시해야 할 뿐만 아니라, 인간 행동에 대한 이해를 얻기 위한 새로운 측정 도구와 방법론 개발도 포함해야 한다.
VR에서 인간 행동을 연구하는 학자들은 종종 언어보다 비언어적 행동과 자기보고 측정을 우선시한다. 하지만 언어는 감정적이고 인지적 과정을 보여준다. 게다가 많은 연구가 대화가 아닌 환경에서 단일 참가자를 대상으로 하는 경향이 있어서 언어는 거의 연구되지 않는다.
하지만 앞서 논의한 바와 같이 소비자 VR의 더 성공적인 활용 사례 중 하나는 아이들이 고릴라 태그를 하거나 성인들이 VR챗의 세계를 탐색하는 등의 사회적 상호작용이다. 향후 연구는 관심 있는 개념들을 측정하기 위해 커뮤니케이션과 인간 행동의 전체 영역을 활용하여 이러한 간극을 메워야 한다.
서덜랜드가 이 매체를 다룬 중요한 논문을 썼을 때, 그는 "물리적 세계에서 실현할 수 없는 개념들에 친숙해질 기회를 주는" 기술을 설명했다. "그것은 수학적 원더랜드로의 거울"이라고 말하면서 말이다. 실제로 심리학 연구는 이제 서덜랜드의 비전을 엄격하게 검증하고 있다. 학자들이 중요한 환경에서 시스템을 구축하고 테스트하고 있다.
이 매체에 대한 연구는 최근 학술 논문이 급증하면서 발전해왔고, 그 이전의 연구 성과를 바탕으로 하고 있다. 이제 하드웨어와 소프트웨어가 저렴하고 접근 가능해졌으므로, 이 매체가 확산됨에 따라 그것의 심리학적 과정과 영향을 이해하는 것이 중요하다. 우리는 접근성과 경제성이 계속 개선됨에 따라 이 분야가 인간 행동에 대한 통찰을 제공하고 가상성의 독특함에 대한 더 깊은 이해를 발전시킬 것이라고 기대한다.
본 콘텐츠는 2025년 5월 22일에 발행된 "Five canonical findings from 30 years of psychological experimentation in virtual reality" 논문을 번역한 것입니다.
저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.
의견을 남겨주세요