M4, 상호작용을 읽는 네 층위 

여는 말

창간호에서 modality가 데이터의 종류를 가리키는 말이 아니라는 점을 다섯 학문 전통을 통해 확인했습니다. 그 글은 진단에서 멈추었습니다. 통용되는 정의가 좁다는 지적은 대안을 내놓지 않는 한 어휘 논쟁으로 끝나기 때문에, 이번 호에서는 대안 쪽을 다루겠습니다. 이 글은 총 30회 연재의 두 번째 편이며, 전체 지도는 본문 끝에 정리해 두었습니다.

 1.  표현 양식만으로는 설명되지 않는 것

   멀티모달 기호학은 표현 양식을 독립된 기호 자원으로 범주화하면서 현대 커뮤니케이션 연구의 토대를 놓았습니다(Kress & van Leeuwen, 2001; Kress, 2010). 이 성과는 지금도 유효하며, 저는 이 계보 안에서 작업합니다.

다만 이 논의는 표현 양식 그 자체의 내부 문법에 집중했습니다. 그래서 기호가 실제 환경과 조우하며 변형되는 물질적 맥락, 그리고 그것을 받아들이는 쪽의 조건적 태도가 함께 다루어지지 못했습니다. 남는 물음은 이것입니다. 동일한 표현 양식이 왜 환경과 상황에 따라 전혀 다른 실재감을 만들어 내는가.

이 물음이 제가 네 개념을 나눈 이유입니다. M4는 인간과 인간, 그리고 인간과 기계가 만나는 경험을 Mode, Modal, Modality, Medium의 네 층위로 나누어 읽는 위계입니다(서준호, 2027 예정).

순서를 이렇게 놓은 것에도 이유가 있습니다. M4는 애초에 기계를 설명하기 위해 만든 틀이 아닙니다. 사람과 사람이 마주 앉아 말하고 듣고 침묵하는 자리에서 의미가 어떻게 성립하는지를 묻는 데서 출발했습니다. 구술 문화의 음성, 인쇄 문화의 활자, 디지털 환경의 화면은 모두 서로 다른 표현 양식을 동원하고 서로 다른 태도를 요구하며 서로 다른 환경 위에서 작동합니다. 기계는 이 구조에 나중에 들어온 참여자입니다. 순서를 뒤집으면 AI 시대에만 쓸 수 있는 임시 도구가 되지만, 사람 사이의 관계를 먼저 놓으면 기계와의 관계는 그 구조의 확장으로 설명됩니다. 워킹페이퍼 1권이 기계 체현에 집중한 것은 적용 사례 하나를 깊이 파고든 결과이지, 이 틀이 기계만을 위한 것이어서가 아닙니다(서준호, 2026a).

  2. 네 층위는 어떤 관계인가

  각 층위의 내용으로 들어가기 전에, 이 넷이 서로 어떤 관계인지부터 밝혀 두어야 하겠습니다. 이 관계를 오해하면 각 층위의 설명이 아무리 정확해도 틀에 대한 이해는 어긋납니다.

첫째, 위계는 처리 순서가 아닙니다. 앞에서 받아 뒤로 넘기는 단계 도식이 아닙니다. 경험에서는 네 층위가 동시에 성립하고, 어느 층위도 다른 층위의 앞이나 뒤에 놓이지 않습니다. 표현 양식이 동원되는 순간에 이미 조건과 태도가 작동하고 하나의 경험 구조가 성립하며 환경이 그 전체를 감쌉니다.

둘째, 위계는 규정 관계입니다. 상위 층위는 하위 층위가 무엇이 될 수 있는지의 범위를 정하고, 하위 층위는 상위 층위가 성립할 조건을 댑니다. Medium이 좁으면 동원 가능한 Mode가 줄고, 줄어든 Mode 위에서는 부여될 수 있는 Modal 조건이 줄며, 그만큼 성립 가능한 Modality의 폭도 좁아집니다. 반대 방향도 성립합니다. 표현 양식 하나가 새로 열리면 이전에 불가능하던 태도가 가능해지고, 그것이 새로운 경험 구조를 만들어 냅니다. 한 층위만 손보는 개선이 자주 실패하는 이유가 여기에 있습니다.

셋째, 층위는 서로 환원되지 않습니다. Mode를 아무리 정밀하게 기술해도 Modal이 도출되지 않고, Modal을 완전히 통제해도 Modality가 보장되지 않습니다. 각 층위는 아래 층위가 답하지 못하는 질문에 답하며, 그 질문이 다르기 때문에 층위가 넷으로 나뉩니다. 하나로 합칠 수 있었다면 저는 굳이 넷으로 나누지 않았을 것입니다.

넷으로 나눈 근거도 밝혀 두겠습니다. 이 구분은 임의의 분류가 아니라 퍼스의 범주론에서 왔습니다. Mode는 질적 가능성으로서의 일차성(Firstness)에, Modal은 반작용과 제약으로서의 이차성(Secondness)에, Modality는 습관과 법칙과 매개로서의 삼차성(Thirdness)에 각각 대응하며, Medium은 이 셋이 놓이는 연속주의(Synechism)의 지평을 가리킵니다. 퍼스가 기호를 기호와 대상과 해석체의 삼원 관계로 본 이유와, 제가 경험을 네 층위로 읽는 이유는 같은 뿌리에서 나옵니다 ( CP 2.228).

도식으로 옮기면 위와 같습니다. Medium이 바깥에서 전체를 감싸고, 그 안에서 Mode와 Modal과 Modality가 서로 화살표를 주고받는 구조입니다. 화살표가 한 방향이 아니라는 점, 그리고 Medium이 나란한 네 번째가 아니라 나머지 셋을 둘러싼 조건이라는 점이 이 그림의 핵심입니다.

이제 각 층위를 차례로 보겠습니다. 순서는 설명의 편의일 뿐이며, 실제 경험에서의 우선순위가 아니라는 점을 다시 확인해 둡니다.

3.  Mode - 세상은 무엇으로 드러나는가

  Mode는 의미 형성 자원의 유형적 범주입니다. 사람이 세상에 의미를 부여하고 소통하는 표현 방식이며, 지각 가능한 기호 자원과 그 자원을 쓰는 문화적 관습을 함께 포괄합니다.

언어, 이미지, 소리, 몸짓, 공간 구성이 모두 여기에 들어갑니다. 언어적 Mode는 문법과 어휘와 텍스트 구조를 통해 의미를 생산하고, 시각적 Mode는 색채와 구도와 원근법을 활용합니다. 음악적 Mode는 음높이와 리듬과 화성과 음색으로 정서를 만들고, 신체적 Mode는 표정과 제스처로 말 없이 전달합니다(Kress & van Leeuwen, 2006; Van Leeuwen, 2005).

여기서 중요한 것은 Mode가 채널의 목록이 아니라는 점입니다. 각 Mode는 고유한 의미 형성 역량을 지니며, 그 역량이 다르기 때문에 경험의 양식 자체가 달라집니다. 그림 한 장은 언어적 설명 없이 대상의 시각적 특성을 직접 보여 주지만 추상적 논리를 전개하기는 어렵고, 문자 텍스트는 개념과 서사를 체계적으로 세울 수 있지만 즉각적 정서 효과에서는 소리에 미치지 못합니다.

Mode를 매체나 장르와 구분해 두는 일도 필요합니다. 매체는 내용을 담아 전달하는 물질적 수단이고, Mode는 그 위에서 구현되는 기호 자원입니다. 종이책이라는 매체는 주로 문자에 의존하지만, 화면이라는 매체 위에서는 문자와 이미지와 영상과 아이콘이 복합적으로 배치됩니다. Mode는 매체에 내재한 가능성과 한계를 실제 의미 형성 과정에서 활성화하는 선택지입니다.

"이 상호작용은 어떤 표현 자원을 쓰고 있으며, 그 자원을 다른 자원으로 바꾸면 무엇이 남고 무엇이 사라지는가?"

4.  Modal - 어떤 조건과 태도로 실현되는가

  Mode가 무엇을 표현하느냐에 집중한다면, Modal은 어떤 조건과 태도와 양상으로 그 표현이 실현되는가를 규정합니다. 경험의 방향성과 정체성을 결정하는 층위입니다.

언어를 예로 들겠습니다. "문을 닫아라"와 "문을 닫을 수 있다"는 동일한 언어적 Mode로 표현되지만, 전자는 필연성을 후자는 가능성을 내포합니다(Halliday & Matthiessen, 2004). 이 차이는 단순한 의미 변화가 아니라 받아들이는 쪽의 행동과 태도와 정체성을 바꾸는 조건의 차원입니다. 양상 논의가 다루어 온 가능성, 필연성, 허용성, 불가능성의 범주가 바로 이 층위에 해당합니다(Palmer, 2001).

이 층위가 언어에만 걸린 문제가 아니라는 점이 중요합니다. 전시 공간에서 관람자가 작품에 다가갈 수 있도록 배치된 동선은 가능성을 부여하고, 차단된 구역은 불가능성을 부여합니다. 기획자가 설정한 조건이 관람자의 동선과 시선과 행동을 조율하며, 결국 관람 경험의 성격을 결정합니다.

Modal은 논리적 조건에 그치지 않고 해석하는 쪽의 태도와 깊이 얽힙니다. 감정, 가치관, 신념, 문화적 배경의 총합이 태도를 이루며, 동일한 Mode라도 태도가 다르면 전혀 다른 Modal이 형성됩니다. 클래식 음악에 익숙한 청취자는 특정 화성 진행을 우아하고 필연적인 흐름으로 듣지만, 익숙하지 않은 청취자에게는 같은 소리가 난해하게만 들립니다. 전통 의례는 신자에게는 당연한 절차의 조건으로 작동하지만 외부인에게는 낯선 구경거리로 다가옵니다.

공공의 언어에서도 같은 사정이 확인됩니다. "반드시 해야 한다"는 표현은 필연성을 부여해 의무감을 심고, "해 볼 수 있다"는 표현은 가능성과 허용성을 강조해 자발적 참여를 유도합니다. 같은 사안을 다루면서도 어느 조건을 부여하느냐에 따라 시민의 역할에 대한 인식 자체가 달라집니다.

철학적 배경도 짧게 밝혀 두겠습니다. 현상학에서 경험은 몸을 통해 세계가 특정한 조건 속에서 드러나는 사건이며, 가능성과 필연성과 허용성은 대상의 속성으로 환원되지 않고 몸과 세계를 매개하는 조건의 작동으로 파악됩니다(Merleau-Ponty, 1962). 언어철학에서 필연성과 가능성은 이름과 본질과 정체성의 문제를 여는 열쇠였습니다(Kripke, 1980). Modal은 이 두 전통이 만나는 지점에 있습니다.

"이 상호작용에서 표현은 어떤 조건과 자격으로 놓이며, 받아들이는 쪽은 그것을 어떤 태도로 맞고 있는가?"

5.  Modality - 총체적 경험 구조는 어떻게 창발하는가

  실제로 우리가 마주하는 경험은 하나의 Mode나 하나의 Modal에만 의존하지 않습니다. 여러 표현 자원이 서로 얽히고 그것을 실현하는 조건과 태도가 복합적으로 결합하면서 하나의 총체적 경험 구조가 형성됩니다. 이 구조를 가리키는 개념이 Modality입니다.

Modality는 일면적 경험이 아니라 감각적, 정서적, 인지적, 사회적 차원이 어우러져 형성하는 다층적 관계망입니다. 각 Mode가 독립적으로 작동하는 것이 아니라, 특정 Modal 아래에서 서로 영향을 주고받으며 태어나는 총체적 실재감입니다.

축제 현장을 예를 들어 보겠습니다. 장식과 의상이 시각을, 음악이 청각을, 음식이 미각과 후각을, 사람들 사이의 거리가 촉각을 동원합니다. 여기에 기획자와 참여자와 공간 설계와 문화적 관습이 정한 허용성과 필연성이 겹칩니다. 결과적으로 이 경험은 특정 감각이나 특정 태도로 환원되지 않고, 다차원의 감각과 행위와 감정과 규범이 결합한 하나의 구조가 됩니다.

핵심은 Modality가 단순한 합이 아니라 상호 구성의 결과라는 점입니다(Kress & van Leeuwen, 2001). 오페라 극장에서는 정형화된 조건을 통해 음악과 무대미술과 의상과 조명과 몸짓이 통합되어 안정된 예술 경험이 성립합니다. 반면 판소리에서는 소리꾼과 관객이 즉흥적으로 주고받는 조건이 작동하여, 관객의 추임새와 분위기에 따라 가사와 장단과 억양이 유연하게 조정됩니다. 여기서 관객은 소비자가 아니라 공동 생산자에 가깝고, 공연은 유동적이고 비선형적인 체험으로 진행됩니다. 두 경우가 동원하는 표현 자원은 크게 다르지 않은데도 성립하는 경험 구조는 전혀 다릅니다.

Modality가 매우 관계적이라는 점도 함께 새겨 두어야 하겠습니다. 개인 혼자 느끼는 정서도 있지만, 대개는 어떤 대상과 환경과 공동체와 얽힐 때 만들어지는 구조입니다. 퍼스의 기호학이 이 층위를 다루는 데 유용한 이유가 여기에 있습니다. 의미는 기호와 대상의 이항 관계가 아니라 해석체를 포함하는 삼원 관계에서 발생합니다. 따라서 Modality는 한쪽이 생산해 다른 쪽에 전달하는 속성이 아니라, 양쪽이 함께 성립시키는 공유된 의미 지평입니다.

한 가지 덧붙이겠습니다. 대화형 시스템이 자기 발화의 자격을 표시하는 방식은 대개 문장 단위의 완충 표현에 머물러 있습니다. 이 처리가 불충분한 이유는 두 가지입니다. 첫째, 완충 표현은 문장의 수사적 층위에서 작동하며 경험의 구조에는 반영되지 않습니다. 둘째, 완충 표현이 반복되면 읽는 쪽은 그것을 건너뛰는 습관을 형성합니다. 자격 표시가 기능하려면 문장이 아니라 경험의 구조에 새겨져야 합니다. 이 층위가 던지는 질문은 다음과 같습니다.

"어떤 표현 자원과 어떤 조건이 결합해 어떤 경험 구조가 성립하고 있으며, 참여하는 쪽은 그 구조의 어디에 놓여 있는가?"

6. Medium - 환경은 왜 배경이 아닌가

Medium은 위의 세 층위가 실제로 작동하는 물질적·제도적 환경을 가리킵니다. 화면의 크기와 밀도, 알림의 리듬, 커서의 응답 지연, 로봇의 작업 반경, 그리고 그 시스템을 규율하는 조직의 규칙이 모두 여기에 들어갑니다.

매체 이론이 오래 주장해 온 명제를 그대로 가져올 수 있습니다. 전달 경로는 내용에 중립적이지 않습니다. 다만 저는 여기에 한 가지를 덧붙입니다. Medium은 앞의 세 층위를 동시에 제약합니다. 화면이 좁으면 쓸 수 있는 Mode가 줄고, 응답이 느리면 성립 가능한 Modal 관계가 줄고, 그 결과 Modality의 폭도 좁아집니다.

깁슨의 어포던스 개념이 이 상호 규정을 설명합니다. 환경이 제공하는 행위 가능성은 환경의 속성만으로도, 행위자의 속성만으로도 정의되지 않고 둘의 관계에서 정의됩니다(Gibson, 1979). 바렐라와 톰프슨과 로쉬가 인지를 행위자와 환경의 상호 규정 과정으로 기술한 것과 같은 구조입니다(Varela, Thompson, & Rosch, 1991).

제도적 Medium을 함께 넣어야 하는 이유도 밝혀 두겠습니다. 같은 시스템이 병원과 물류창고에 놓일 때, 물질적 조건이 동일하더라도 성립하는 의미 자격은 달라집니다. 병원에서는 시스템의 출력이 참고 소견의 자격을 넘지 못하도록 규정이 제한하고, 창고에서는 같은 출력이 작업 지시의 자격을 갖습니다. 규정은 인터페이스 밖에 있으나 경험 안에 있습니다.

"이 환경은 어떤 자원과 어떤 결합과 어떤 의미 자격을 애초에 불가능하게 만들고 있는가?"

7.  사례: 같은 차, 같은 음성, 다른 관계

사례 하나를 네 층위로 통과시켜 보겠습니다. 테슬라 차량에 탑재된 대화형 AI 그록(Grok)입니다. 운전자는 "헤이 그록"이라고 부르고 자연어로 대화합니다. 여기까지는 어떤 personality를 골라도 같습니다. 그런데 personality를 무엇으로 두느냐에 따라 같은 운전자와 같은 차 사이에 성립하는 관계가 전혀 달라집니다.

<퍼스널리티 모드의 종류>

이 장면을 네 층위로 통과시키면 무엇이 그대로이고 무엇이 바뀌는지가 드러납니다. 3절부터 6절까지의 순서를 그대로 따라가겠습니다.

지시와 수용의 관계, 화자와 청자의 관계, 상담자와 내담자의 관계, 도발자와 반응자의 관계. 네 개가 각각 별개로 성립합니다. Mode와 Medium이 고정된 채 Modal 하나만 바뀌어도 경험 구조 전체가 재배치된다는 것, 이것이 2절에서 말한 규정 관계의 실물입니다.

주목할 설계 결정이 하나 있습니다. 내비게이션 명령은 Assistant 모드에서만 작동합니다(Tesla Support, 2026). Unhinged나 Storyteller로 두면 목적지를 정확히 말해도 경로가 짜이지 않습니다.

왜 막았을까요. 농담하고 시비 거는 태도로 설정된 시스템이 목적지를 잡아 준다면, 운전자는 그 결과를 신뢰할 수 없습니다. 같은 문장이라도 어떤 태도 위에서 발화되느냐에 따라 지시가 되기도 하고 농담이 되기도 합니다. 테슬라는 이 차이를 문장을 다듬어 해결하려 하지 않았습니다. 태도가 다르면 기능 자체를 닫는 쪽을 택했습니다.

M4의 언어로 옮기면 이렇습니다. Mode가 같아도 Modal이 다르면 지시와 수용이라는 Modality는 성립하지 않습니다. 테슬라의 선택은 이 사실을 설계로 인정한 것입니다.

한 사용자의 일화도 남아 있습니다. 내비게이션이 작동하지 않는다고 항의했더니, 그록이 personality가 Sexy 모드로 되어 있어서였다고 뒤늦게 밝히면서 "분위기를 깨고 싶지 않았다"고 답했습니다(Reddit r/TeslaFSD, 2026). 사용자는 음성 대화라는 Mode가 열렸으니 모든 기능이 될 것이라 기대했지만, 그 모드에서 성립하는 Modality에는 애초에 지시와 수용이 들어 있지 않았습니다.

층위를 나누지 않으면 진단이 엇갈립니다. 음성 인식을 개선하자는 처방은 Mode 층위의 조치이고, 화면 구성을 정리하자는 처방은 Medium 층위의 조치입니다. 실제로 어긋난 것은 Modal 층위였습니다. M4를 위계로 부르는 실용적 효용은 이 엇갈림을 보이게 만드는 데 있습니다.

8.  위계로 부르는 이유

  네 층위를 위계로 부르는 이유를 마지막으로 정리하겠습니다.

위계는 순서가 아닙니다. 앞에서 시작해 뒤에서 끝나는 단계가 아닙니다.

위계는 규정 관계입니다. 상위 층위는 하위 층위의 가능성을 정하고, 하위 층위는 상위 층위의 조건을 구성합니다.

따라서 진단은 네 층위를 모두 통과해야 합니다. 한 층위의 지표만으로 경험을 평가하면 다른 층위에서 일어난 일이 보이지 않습니다.

네 개의 질문을 순서와 무관하게 모두 던지는 것이 이 위계를 쓰는 방법입니다. 표현 자원이 부족한지, 조건과 자격이 표시되지 않는지, 경험 구조가 성립하지 않는지, 환경이 막고 있는지를 나누어 물으면 답이 가장 빈약한 층위가 드러납니다.

마지막으로 한 가지를 덧붙이겠습니다. AGI 논의가 성능 지표에 집중하는 동안, 사람이 사람과 그리고 기계와 함께 만드는 경험의 구조를 기술하는 어휘는 거의 축적되지 않았습니다. 이 네 층위는 그 공백을 메우려는 하나의 제안이며, 완성된 이론이 아니라 검증에 열린 틀입니다. 자세한 이론 지도는 연구소 홈페이지의 M4 프레임워크 페이지에 스무 개 개념 차원으로 정리해 두었습니다. 반증 사례를 발견하신 독자께서는 회신으로 알려 주시면 다음 호에서 다루겠습니다.

< 연재 지도 > - 지금 어디에 있는가

이 뉴스레터는 총 30회로 기획된 연재입니다. 여섯 개의 대주제를 각각 다섯 편씩 다루며, 매주 수요일 아침에 한 편씩 보내 드립니다. 전체 지도를 먼저 놓아 두는 편이 매 호를 읽는 데 도움이 되겠습니다.

A. 모달리티란 무엇인가 - 개념의 복원 (01~05회)

  B. 감각은 어떻게 엮이는가 - 다감각 지각 (06~10회) 여러 표현 자원이 하나의 사태로 묶이는 방식, 결합의 비고정성, 촉각의 자리를 다룹니다.

C. 기호와 의미 - 퍼스 기호학의 자리 (11~15회) 삼원 기호, 가추적 사유, 의미의 소유권, 인공적 소통, 해석 주체의 자율성을 다룹니다.

D. 기계의 체현 - 물리적 AI와 로봇 (16~20회) 기계의 몸, 결합의 국면, 로봇의 공간 통과를 다룹니다.

E. 매체와 방식 - Medium의 층위 (21~25회) 화면의 비중립성, 시간의 압력, 음성과 공간 인터페이스, 규범의 자리를 다룹니다.

F. 어떻게 살 것인가 - 감각 리터러시의 실천 (26~30회)

감각 리터러시의 정의, 멈춤에서 시작되는 사유, 역할 분담이 아닌 공생, 다음 10년의 전망을 다룹니다. 각 대주제의 세부 목차는 진행에 따라 조정될 수 있습니다. 다루었으면 하는 주제가 있으시면 회신으로 알려 주십시오.

< 다음 호 예고 >

3호에서는 네 층위 가운데 Mode를 단독으로 다룹니다. 표현 자원이 어디에서 시작되고 어디까지 교체 가능한지, 그리고 Mode를 매체와 장르와 구분해야 하는 이유를 확인하겠습니다.

<이번 호의 실천 과제>

최근에 무언가 어긋났다고 느낀 장면을 하나 떠올리고, 네 층위에 각각 한 문장씩 적어 보십시오. 네 문장 가운데 가장 쓰기 어려운 층위가 그 장면의 미해결 지점입니다.

< 참고문헌 >

  - Halliday, M. A. K., & Matthiessen, C. (2004). An Introduction to Functional Grammar (3rd ed.). Arnold.

- Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Routledge.

- Kress, G., & van Leeuwen, T. (2001). Multimodal Discourse. Arnold.

- Kress, G., & van Leeuwen, T. (2006). Reading Images: The Grammar of Visual Design (2nd ed.). Routledge.

- Kripke, S. (1980). Naming and Necessity. Harvard University Press.

- McLuhan, M. (1964). Understanding Media: The Extensions of Man. McGraw-Hill.

- Merleau-Ponty, M. (1962). Phenomenology of Perception (C. Smith, Trans.). Routledge.

- Palmer, F. R. (2001). Mood and Modality (2nd ed.). Cambridge University Press.

- Peirce, C. S. (1931-1958). Collected Papers of Charles Sanders Peirce (Vols. 1-8). Harvard University Press. [CP 2.228]

- Van Leeuwen, T. (2005). Introducing Social Semiotics. Routledge.

- 서준호 (2026a). 기계 체현과 모달리티: 피지컬 AI 시대의 다중감각 지능. 모달리티 연구소. https://doi.org/10.68053/wp.2026.01

- 서준호 (2026b). 감각의 재설계: AGI 시대의 감각 리터러시. 모달리티 연구소. https://doi.org/10.68053/bk.2026.01

- 서준호 (2027 예정). 모드, 모달, 모달리티, 미디엄. 커뮤니케이션북스.

- Reddit r/TeslaFSD (2026). Can't win an argument with Grok. https://www.reddit.com/r/TeslaFSD/comments/1u6wlft/cant_win_an_argument_with_grok/

- Tesla (2026). Grok. Tesla Support. https://www.tesla.com/support/grok

- 모달리티 연구소. M4 프레임워크. https://modalitylab.org/m4/

모달리티 연구노트는 모달리티연구소(Modality Lab)가 발행하는 연구 노트입니다.

연구소 웹사이트 https://modalitylab.org

문의 contact@modalitylab.org

이 뉴스레터가 유익했다면 주변의 한 사람에게 전해 주십시오.