🧐 Summary
1️⃣ 아기의 손등 스와이프에서 시작된 관찰은, 인간이 어떻게 제스처를 통해 세상을 이해하고 상호작용을 시도하는지를 보여줍니다.
2️⃣ 제스처는 문화와 사회적 맥락에 따라 다른 의미를 갖기 때문에 인터랙션 설계시 섬세한 고려가 필요해요.
3️⃣ 제스처 인터페이스는 단순한 조작 도구를 넘어 인간의 감정과 의도를 담는 표현 수단이자 의미 기반의 설계 대상이에요.
침대에 누워 자는 척 눈을 감고 있으면, 작은 손이 내 얼굴을 스윽 스쳐갑니다. 손등으로, 아주 느리고도 조심스럽게요. 모르는 척 좀 더 눈을 감은 채 가만히 있으면, 이번에는 손가락으로 제 눈꺼풀을 열어보려 벌립니다. 요즘 제 스마트워치에 푹 빠진 저의 10개월 된 아기 이야기에요.
아마도 손등으로 스와이프해서 화면을 켜 본 적이 있었나 봐요. 제 워치에 대고 비슷한 동작을 반복하더니, 언젠가부터는 가끔 그 제스처를 제 얼굴에도 하더라고요. 혹시 엄마도 워치처럼 '깨울 수 있는 인터페이스'라고 생각한 걸까요?
이 작지만 소중한 동작은 저에게 제스처가 어떻게 의미를 갖게 되는지 다시 한 번 생각해보게 했어요. 그리고 동시에, 제스처 인터랙션을 처음 적용하며 진행했던 UX 리서치와 그 당시 고민들도 떠올리게 하더라구요.
사람은 제스처를 어떻게 배우고, 어떻게 의미를 부여할까
인간은 태어날 때부터 몸을 통해 세상을 인식합니다. 특히 유아는 주변의 행동을 모방하며 ‘A를 하면 B가 발생하는구나’라는 인과관계를 체득하죠. 생후 몇 개월 된 아기가 어른의 손짓이나 표정을 따라 하는 모습은 이미 언어를 배우기 전부터 뇌에 관찰-실행 연계(observation-execution linkage)가 존재함을 보여줍니다[1]. 심리학자 앤드류 멜초프는 이를 ‘나와 비슷한 타인(Like-Me)’ 이론으로 설명하며, 아이는 타인의 행동을 자신과 연결지으며 그 안에서 의미를 학습한다고 했습니다[1]. 러시아 심리학자 비고츠키 또한 아기의 손뻗기 같은 무의미한 동작이 어른의 반응을 통해 ‘가리키는 행위’로 사회적 의미를 얻는다고 했죠[2]. 아기도 무의미한 동작이었던 손등 스와이프가 우연히 워치를 켜는 것을 발견하고 그 의미를 학습해 반복하는 거겠죠. 이렇게 제스처와 인지의 연결은 사회적 상호작용 속에서 형성되며, 이후 내재화된 사고 도구로 발전하게 됩니다.
이러한 제스처의 인지적 기능은 전 생애에 걸쳐 지속됩니다. 심지어 태어나 한 번도 남의 손짓을 본 적 없는 시각장애인조차도 대화 중 자연스럽게 제스처를 사용하는데, 상대도 그 손짓을 볼 수 없는 맹인 대 맹인의 대화에서도 제스처를 사용한다고 해요[3]. 이건 제스처가 단지 보여주기 위한 행위가 아니라, 인간의 인지에 깊이 뿌리내린 아주 보편적인 사고 수단임을 보여주죠.
제스처는 문화적이고, 사회적인 코드다
하지만 제스처가 몸의 움직임으로만 구성되는 것은 아닙니다. 제스처는 한 사회가 공유하는 의미 체계이기도 해요.
꽤 오래전, 폰에 제스처 인터랙션을 적용하기 위해 국가별 사용자 리서치를 진행한 적이 있어요. 그때 인상 깊었던 건, 같은 제스처도 전혀 다른 의미로 해석될 수 있다는 점이었죠. 대표적인 예가 OK 제스처에요. 미국에서는 '좋아요'를 의미하지만, 프랑스나 브라질에서는 '형편없다' 혹은 모욕의 의미로 받아들여지기도 합니다. 엄지손가락을 치켜드는 손짓도 미국에서는 긍정의 의미지만, 일부 중동 국가에서는 불쾌한 욕설로 여겨지죠.
손짓으로 사람을 부르는 동작 역시 문화적 민감성이 큽니다. 서양에서는 손바닥을 위로 하고 손가락을 구부리는 방식이 일반적이지만, 아시아 일부 국가에서는 개나 동물을 부를 때 사용하는 무례한 동작으로 생각되기도 하죠.
종교적 맥락도 중요합니다. 예를 들어 이슬람권에서는 왼손을 사용하는 것이 금기이며, 두 손을 모으는 제스처도 힌두 문화권에서는 인사의 뜻, 기독교권에서는 기도의 의미를 가집니다. 하나의 제스처가 지역, 문화, 또 종교에 따라 이렇게 다르게 해석될 수 있다는 걸 보면 제스처는 그 자체로 세계관을 담고 있는 언어라고 볼 수도 있을 것 같습니다.
인터랙션으로서의 제스처, 그 디자인의 고민들
이처럼 제스처는 단순히 몸을 움직이는 동작이 아니라, 사회적 맥락과 인지적 의미가 엮여 있는 행위입니다. 그래서 제스처 인터랙션을 특정 기능의 트리거로 활용할 때는 많은 고민이 따르죠.
초기의 제스처 인터랙션은 직관성과 학습 용이성에 초점을 맞췄습니다. 손가락을 벌리거나 오므리는 핀치, 스와이프, 탭 등은 비교적 많은 사용자에게 빠르게 받아들여졌어요. 대부분은 실제 세계에서 사용되는, 또는 많은 문화권에서 동일한 의도로 활용되는 제스처와 예측 가능한 기능을 연결시켰기 때문이죠. 하지만 점점 복잡한 제스처 인터랙션이 추가되면서 ‘이런게 있는 줄 몰랐어요’라는 피드백이 늘어났어요. 결국 제스처 사용에 대한 가이드와 피드백을 강화하고, 제스처는 시각적 트리거와 함께 제공하는 방향으로 변화했습니다.
하지만 여전히 제스처 활용을 적극적으로 시도하는 기기들도 존재합니다. 스마트워치처럼 공간이 좁은 상황, 또는 AR/VR 기기처럼 제스처가 가장 직관적이고 자연스러운 상황이 있으니까요. 예를 들어 MS의 홀로렌즈는 에어탭/블룸 등 손가락을 활용한 제스처를 활용했어요. 실제 현실에서는 잘 사용되지 않는 제스처였기에 초기 학습을 위해 사용자 튜토리얼을 제공했지만, 많은 사용자가 이 제스처를 어려워했다고 해요. 그래서 이후 버전에서는 보다 학습이 쉽도록 현실과 동일한 제스처를 적용하게 되었습니다[4].
또한 앞에서 언급했듯, 제스처 인터랙션을 적용할 때에는 사회 문화적 요소의 고려가 매우 중요합니다. 그렇기에 대부분의 문화권에서 동일하게 받아들일 수 있는, 이질감이 가장 적은 제스처가 도입되는 것이 일반적이죠. 하지만 일부 사회에서 명확한 차이가 있는 경우 해당 문화권에만 현지화 된 제스처를 제공하기도 합니다. RTL 언어권(아랍어, 히브리어 등)에서는 스와이프 방향이 반대가 되도록 현지화 된 사례도 있죠.
아기의 손등 스와이프는 무의미한 움직임이 아니라, 자신의 의도를 전달하기 위한 손짓일거에요. 워치를, 그리고 엄마를 깨우고 싶고 눈을 마주치고 싶은 마음이 그 작은 손등에 담겨 있는거죠. 이렇게 제스처는 의사소통의 수단이자 감정의 표현 방식입니다.
UX 디자이너는 이 점을 잊지 않아야 해요. 제스처는 기능 실행을 위한 트리거일뿐만이 아니라, 감각적이고 정서적인 표현 수단이라는 점을요. 그렇기에 제스처 기반 인터페이스는 기능적 효율성 뿐 아니라 인간 중심의 의미 구조 안에서 섬세하게 설계하는 것이 중요합니다.
제스처는 언어보다 앞서 존재하는 원초적인 인터페이스입니다. 우리는 태어날 때부터 제스처로 세상을 인식하고, 사람과 관계를 맺으며, 결국 기계와도 상호작용하게 되었죠. 그렇기에 제스처를 설계한다는 건 단순히 손동작 하나를 고르는 일이 아니라 인간의 사고, 문화, 감정을 엮어내는 일이라고 생각합니다.
아기의 손등에서 시작된 오늘 뉴스레터가 우리가 디자인하는 제스처 인터페이스에 대해 조금 더 섬세한 관점을 만들어주기를 바라며, 다음주에 또 만나요!
Reference
[1] Marshall, P. J., & Meltzoff, A. N. (2014). Neural mirroring mechanisms and imitation in human infants. Philosophical Transactions of the Royal Society B: Biological Sciences, 369(1644), 20130620.
[3] Iverson, J. M., & Goldin-Meadow, S. (1998). Why people gesture when they speak. Nature, 396(6708), 228-228.
의견을 남겨주세요