창간의 말
「모달리티 연구노트」를 시작합니다. 격주 수요일 아침에 한 편씩, 감각과 기계에 관한 연구 메모를 정리해 보내드립니다. 학술지에 싣기에는 아직 이르고 강연에서 다루기에는 너무 긴 이야기를 이 자리에 둡니다. 첫 호의 주제는 연구소 이름에 들어 있는 단어 자체입니다. 이 말이 지금 어떻게 쓰이고 있는지, 그리고 원래 무엇을 가리켰는지를 다섯 학문 전통에서 차례로 확인해 보겠습니다. 다섯 전통을 나란히 놓으면 지금 통용되는 정의가 이 계보의 어디에 놓이는지가 드러납니다.
1. 공학의 정의와 그 한계
AI 공학에서 modality는 통상 입력 데이터의 유형을 가리킵니다. 텍스트, 이미지, 오디오, 비디오가 각각 하나의 모달리티이고, 여러 유형을 한 모델이 함께 처리하면 멀티모달 모델이라고 부릅니다. 이 정의는 실무에서 충분히 기능합니다. 데이터셋을 구분하고 인코더를 설계하고 벤치마크를 나누는 데 필요한 만큼의 해상도를 제공하기 때문입니다. 문제는 이 정의가 단어의 전부처럼 통용된다는 점입니다. 이 용법에서 modality는 세는 대상입니다. 몇 가지를 지원하는가, 어느 유형을 추가할 것인가가 질문의 형태를 결정합니다. 그런데 개수를 묻는 어휘로는 잡히지 않는 층이 있습니다. 몇 가지 유형을 지원하는지는 그 유형들이 서로 어떤 관계를 맺는지에 대해 아무것도 말해 주지 않습니다.
2. 어원 — 척도이자 방식
modality는 라틴어 modus에서 온 말입니다. modus는 척도, 범위, 분량을 뜻하면서 동시에 적절한 정도, 리듬, 노래, 그리고 방식과 양식을 뜻하는 명사였습니다. 후기 라틴어에서는 문법과 논리학의 용어로 쓰이며 서법을 가리키기도 했습니다. 여기서 파생된 중세 라틴어 형용사 modalis가 '방식에 관한'이라는 뜻을 담았고, 영어 modal은 1560년대에 등장했습니다. 주목할 점은 이 말이 처음 자리를 잡은 분야가 논리학이라는 사실입니다. 음악 용어로 쓰인 것은 1590년대부터이고, 문법 용어로 확장된 것은 1798년입니다. 명사형 modality는 1610년대에 프랑스어 modalité와 중세 라틴어 modalitas를 거쳐 영어에 들어왔습니다. 즉 이 말은 출발부터 대상을 세는 어휘가 아니었습니다. 어떤 명제가 어떤 자격으로 성립하는지를 따지는 논리학의 물음에서 시작했고, 그다음에 음악과 문법으로 번졌습니다. 데이터의 종류를 가리키는 용법은 이 계보에서 가장 늦게 갈라져 나온 갈래입니다.
3. 언어학 — 명제의 지위를 표시하는 문법
범주 언어학에서 modality는 명제의 내용이 아니라 그 명제가 놓이는 지위를 다루는 범주입니다. 팔머는 양상을 여러 언어에 걸쳐 성립하는 문법 범주로 다루면서, 시제와 상이 사건 자체의 성격에 관한 범주인 반면 양상은 사건을 기술하는 명제의 지위에 관한 범주라고 구분했습니다(Palmer, 2001). 팔머의 유형화는 양상을 두 갈래로 나눕니다. 명제 양상은 화자가 명제의 사실성을 어떻게 판단하고 무엇에 근거하는지를 표시하며, 판단을 표시하는 인식 양상과 근거를 표시하는 증거 양상으로 갈립니다. 사건 양상은 행위의 조건이 어디에 있는지를 표시하며, 조건이 화자 밖의 권위나 규칙에 있는 의무 양상과 조건이 행위자 안의 능력이나 의지에 있는 역동 양상으로 갈립니다. '회의가 끝났다'와 '회의가 끝났을 것이다'와 '회의가 끝나야 한다'를 비교해 보겠습니다. 세 문장이 가리키는 사태는 동일합니다. 달라지는 것은 그 사태가 어떤 자격으로 주어지는가입니다. 관찰인지, 추론인지, 요구인지가 문법 형식으로 표시됩니다. 이 유형화에서 특히 눈여겨볼 대목은 증거 양상의 하위 갈래입니다. 팔머는 근거의 출처를 전언과 감각으로 구분하고, 본 것과 들은 것을 감각적 증거로 따로 세웠습니다. 언어는 이미 오래전부터 어느 감각을 통해 알게 되었는지를 문법으로 구별해 왔다는 뜻입니다. 감각의 계통과 명제의 자격이 한 범주 안에서 만나는 지점입니다.
4. 지각심리학 — 감각 양상과 그 결합 지각
연구에서 modality는 시각, 청각, 촉각처럼 감각의 계통을 가리킵니다. 다만 이 분야가 축적한 결론은 각 계통이 독립적으로 작동하지 않는다는 쪽입니다. 맥거크와 맥도널드는 청각으로 들리는 음절과 시각으로 보이는 입술 운동이 불일치할 때, 피험자가 두 입력 중 어느 쪽도 아닌 제3의 음절을 보고한다는 사실을 확인했습니다(McGurk & MacDonald, 1976). 입력 두 개가 결합해 어느 입력에도 없던 지각을 산출한 셈입니다. 이 현상은 반세기 넘게 재현되어 왔고, 지각이 감각별로 처리된 결과를 단순 합산하지 않는다는 표준적 증거로 인용됩니다. 스펜스는 서로 다른 감각 계통의 단일 감각 특징들 사이에 일관된 대응 관계가 나타난다는 연구 계열을 정리했습니다(Spence, 2011). 예컨대 높은 음은 작고 밝고 공간적으로 높은 곳에 있는 대상과 짝지어지는 경향이 보고됩니다. 스펜스는 이런 대응을 의미의 일치나 시공간의 일치와 나란히, 서로 다른 감각 입력을 하나로 묶는 문제를 푸는 주요 제약으로 다루어야 한다고 제안했습니다. 더 강한 사례는 감각 대체 연구입니다. 바크이리타 연구진은 1969년에 텔레비전 카메라의 영상을 피부에 촉각 패턴으로 투사하는 장치를 보고하고, 이를 시각장애인을 위한 실용적 보조 수단으로 개발한다고 밝혔습니다(Bach-y-Rita et al., 1969). 이후 축적된 결과를 정리한 리뷰에 따르면, 자극점이 수백 개에 불과한 저해상도 장치로도 얼굴 인식과 손과 눈의 협응 과제가 가능했고, 훈련된 시각장애 피험자는 탁자에서 굴러 떨어지는 공을 방망이로 쳐 낼 수 있었습니다(Bach-y-Rita & Kercel, 2003). 같은 리뷰에서 가장 주목할 보고는 지각의 위치에 관한 것입니다. 훈련을 마친 피험자들은 이미지를 피부 위에서 느끼지 않고 몸 밖의 공간에 정위했으며, 자극 배열을 등에서 배나 이마로 옮겨도 그 정위가 유지되었습니다. 자극이 도착하는 표면이 바뀌어도 지각되는 세계는 그대로였다는 뜻입니다. 감각 계통이 정보의 종류가 아니라 정보가 도착하는 경로라는 논지의 가장 직접적인 근거입니다.
5. 생태심리학과 체현 인지 — 지각은 행위와 함께 성립합니다
체현 인지(embodied cognition)는 사고를 뇌 안의 계산으로 한정하지 않고, 몸과 환경을 인지 과정의 구성 요소로 포함하는 연구 노선을 가리킵니다. 깁슨은 지각을 감각 자료의 해석 과정으로 보는 관점을 비판하면서, 환경이 행위자에게 제공하는 행위 가능성을 지각의 단위로 제안했습니다(Gibson, 1979). 사람이 사물을 볼 때 먼저 파악하는 것은 성질의 목록이 아니라 그 사물이 무엇을 하게 해 주는지라는 것입니다. 계단은 오르기를 제공하고, 손에 맞는 공은 던지기를 제공합니다. 지각의 내용이 관찰자의 신체 조건과 분리되지 않는다는 주장입니다. 바렐라와 톰프슨과 로쉬는 이 노선을 인지과학 전반으로 확장했습니다. 인지를 이미 있는 세계를 표현하는 과정으로 보지 않고, 행위자와 환경이 서로를 규정하며 함께 만들어 가는 과정으로 기술했습니다(Varela, Thompson, & Rosch, 1991). 두 논의가 modality에 대해 알려 주는 바는 분명합니다. 감각 계통이 어떻게 구성되어 있는지는 무엇이 지각되는지를 함께 결정합니다. 몸이 다르면 같은 환경에서도 다른 세계가 성립합니다. 로봇의 감각 구성이 사람과 다르다는 사실은 성능 차이의 문제가 아니라 세계 구성의 문제입니다.
6. 매체 이론 — 전달 경로가 내용을 규정합니다
매클루언은 매체가 실어 나르는 내용보다 매체 자체가 사회에 미치는 영향이 크다고 주장하며, 매체를 인간 감각의 확장으로 규정했습니다(McLuhan, 1964). 이 주장은 종종 표어로만 인용되지만, 논지의 핵심은 전달 경로가 중립적 통로가 아니라는 지적에 있습니다. 같은 문장을 인쇄물로 읽을 때와 음성으로 들을 때 독자가 처리하는 것은 동일하지 않습니다. 경로가 속도와 반복 가능성과 몰입 방식을 규정하고, 그 규정이 이해의 형태를 바꿉니다.
7. 다시 공학으로 — 정렬이라는 관계
공학의 성과 가운데 이 원래 의미에 가장 가까이 다가간 사례를 하나 꼽을 수 있습니다. CLIP은 4억 쌍의 이미지와 텍스트 쌍으로 학습해 두 유형을 하나의 표현 공간에 정렬했습니다(Radford et al., 2021). 이 모델이 보여 준 것은 두 종류를 함께 다루는 능력이 아니라 두 종류 사이에 정렬 가능한 구조가 존재한다는 사실입니다. 성과의 실체는 항목의 합이 아니라 항목들 사이의 관계였습니다. 그런데 이 관계를 부를 이름이 업계 어휘에는 아직 없습니다. 관계를 다루는 성과를 종류를 세는 어휘로 보고하고 있는 셈입니다. 어휘의 해상도가 성과의 해상도를 따라가지 못하면 다음에 무엇을 시도해야 하는지도 흐려집니다.
8. 다섯 전통의 공통 구조
다섯 논의를 나란히 놓으면 겹치는 층이 드러납니다. 언어학은 명제가 화자에게 주어지는 방식을 다룹니다. 지각심리학은 감각 자료가 서로 결합하는 방식을 다룹니다. 생태심리학과 체현 인지는 몸의 구성이 세계를 규정하는 방식을 다룹니다. 매체 이론은 경로가 이해를 규정하는 방식을 다룹니다. 공학은 데이터가 모델에 입력되는 방식을 다룹니다. 다섯 경우 모두 대상 자체가 아니라 대상이 성립하는 조건을 가리킵니다. 조건은 내용을 담는 그릇이 아닙니다. 내용을 함께 만들어 내는 항입니다. 이것이 논리학의 물음에서 출발한 이 단어가 줄곧 유지해 온 초점이고, 공학의 용법만이 이 초점에서 벗어나 있습니다.
9. 왜 지금 이 구분이 필요한가
감각을 다시 설계하는 일 자체는 새롭지 않습니다. 영화의 미술은 없던 장소를 세워 한 장면 동안만 존재하게 만듭니다. 미디어아트 전시장은 물을 쓰지 않고 파도를 만듭니다. 다만 이 재설계에는 늘 경계가 있었습니다. 한정된 공간, 한정된 시간, 표를 산 관객이었고, 극장을 나오면 종료되었습니다. 지금 진행되는 변화는 그 경계가 사라진다는 점에 있습니다. AI가 로봇의 팔로, 차량으로, 벽의 센서로 생활 공간에 들어오고, 사람과 기계가 같은 장면을 공유하면서 서로 다른 방식으로 그 장면에 닿습니다. 커튼이 내려오지 않는 재설계입니다. 이런 상황에서 필요한 질문은 지원 형식의 개수가 아닙니다. 기계가 어떤 방식으로 세계에 접속하는지, 사람이 그 접속을 어떤 태도로 받아들이는지, 그리고 둘이 만나는 자리에서 무엇이 새로 생기는지입니다. 세 질문은 모두 modality의 원래 의미 범위 안에 있습니다. 좁혀진 정의로는 질문 자체가 만들어지지 않습니다.
10. 연구소가 하려는 일
모달리티연구소는 2026년 서울에 설립한 독립 연구소입니다. 성능 지표로 기록되지 않는 층을 기술할 어휘를 만드는 작업을 합니다. 저는 공간 디자인에서 출발했습니다. 사람이 어떤 공간에 들어섰을 때 무엇을 느끼고 그 느낌을 어떻게 의미로 바꾸는지를 연구했고, 이후 기호학으로 옮겨 왔으며, 지금은 그 장면에 기계가 함께 들어온 상황을 다루고 있습니다. 앞으로 이 연구노트는 modality를 네 갈래로 나누어 순서대로 다룹니다. 세계에 닿는 개별 창구, 창구들이 서로 결합하는 방식, 사람과 기계가 함께 만들어 내는 이해, 그리고 그 일이 벌어지는 조건입니다. 네 갈래를 구분하면 지금 뭉뚱그려 쓰이는 '멀티모달'이라는 말이 실제로는 서로 다른 층위를 지시한다는 점이 드러납니다. 다음 호에서 네 갈래에 각각 이름을 붙이겠습니다.
11. 이번 호의 제안
가장 자주 사용하는 AI 도구를 하나 고르시고, 그 도구를 쓰는 동안 자신이 무엇을 보고 무엇을 듣고 무엇을 느끼는지 세 문장으로 기록해 두십시오. 도구의 기능 목록이 아니라 자신의 감각을 적는 것이 요점입니다. 다음 호에서 이 기록을 네 갈래에 배치해 보겠습니다.
참고 문헌
Bach-y-Rita, P., Collins, C. C., Saunders, F. A., White, B., & Scadden, L. (1969). Vision substitution by tactile image projection. Nature, 221(5184), 963-964. https://doi.org/10.1038/221963a0
Bach-y-Rita, P., & Kercel, S. W. (2003). Sensory substitution and the human-machine interface. Trends in Cognitive Sciences, 7(12), 541-546. https://doi.org/10.1016/j.tics.2003.10.013
Gibson, J. J. (1979). The Ecological Approach to Visual Perception. Houghton Mifflin. (Classic Edition, Psychology Press, 2014) https://doi.org/10.4324/9781315740218
McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588), 746-748. https://doi.org/10.1038/264746a0
McLuhan, M. (1964). Understanding Media: The Extensions of Man. McGraw-Hill. (1장 전문) https://web.mit.edu/allanmc/www/mcluhan.mediummessage.pdf
Palmer, F. R. (2001). Mood and Modality (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9781139167178
Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020. https://arxiv.org/abs/2103.00020
Spence, C. (2011). Crossmodal correspondences: A tutorial review. Attention, Perception, & Psychophysics, 73(4), 971-995. https://doi.org/10.3758/s13414-010-0073-7
Varela, F. J., Thompson, E., & Rosch, E. (1991). The Embodied Mind: Cognitive Science and Human Experience. MIT Press. https://mitpress.mit.edu/9780262720212/the-embodied-mind/
(도서 소개)
모달리티연구소가 펴내는 《감각의 재설계: AGI 시대의 감각 리터러시》는 2026년 9월 1일 발행 예정입니다.
모달리티연구소(Modality Lab) · 서준호 박사
의견을 남겨주세요