연구노트

조건이 필요 없던 공감각이 Modal이 될 때

7호 · 감각의 경계는 왜 흐려지는가

2026.10.07 | 조회 3 |
0
|

1.뉴스

2026년 9월 20일, 미국 뉴욕 메트로폴리탄 미술관에서 바이올리니스트 오드리 라이트(Audrey Wright)가 LED 패널로 덮인 옷을 입고 연주했습니다. 곁에서는 그의 남편이자 작업 파트너인 다분야 예술가 제프 로버트슨(Geoff Robertson)이 태블릿을 들고 서서, 연주에 맞춰 옷 위로 빛을 보내는 시각 프로그램을 차례로 넘겼습니다. 악기와 몸의 관계를 다룬 전시 「Musical Bodies」의 연계 행사 자리였습니다.

이날 선보인 것은 완성작이 아니라 개발 중인 작품의 일부였습니다. 작품의 이름은 PRISMBODY이고, 출발점은 작곡가 스테퍼니 앤 보이드(Stephanie Ann Boyd)의 공감각입니다. 보이드는 음악을 들을 때 늘 색을 함께 경험해 왔고, 이 작품은 그 개인적인 지각의 일부를 다른 사람들도 볼 수 있게 만들 수 있는가를 묻습니다. 이 작업은 올해 미국 음악 지원 단체 New Music USA의 작곡가·연주자 협업 지원금 1만 달러를 받아, 위촉과 초연과 세 사람의 공동 작업 시간을 지원받고 있습니다.

공감각은 한 감각에 주어진 자극이 다른 감각의 경험을 함께 일으키는 현상입니다. 보이드에게는 소리가 색을 동반합니다. 대학원 시절에야 색이 처음부터 음악을 이해하는 방식과 떼어 놓을 수 없는 것이었음을 알아차렸다고 하며, 그때를 이렇게 회상했습니다.

“The color was there all the time, like omnipresent. I couldn’t take them apart.”

색은 늘 어디에나 있었고, 소리와 색을 떼어 놓을 수가 없었다는 말입니다.

 

2.공개된 구성

옷은 로버트슨이 직접 만들었습니다. 전기공학과 프로그래밍을 혼자 익혀 가며 만든 첫 번째 옷에는 라이트의 앞뒤로 디스플레이 패널 46개가 붙어 있고, 옷 전체에 LED가 3,000개 넘게 들어 있습니다. 배터리 47개로 움직이며, 옷 스스로 와이파이 망을 만들어 태블릿과 연결되고, 초당 약 30프레임으로 작동합니다. 옷에 달린 마이크가 라이트의 연주를 듣고 그 소리 값을 일부 시각 효과에 넘깁니다.

로버트슨은 이 구성을 자막에 빗대어 설명했습니다.

“It’s like subtitles along with audio on a screen.”

화면에서 소리와 함께 나오는 자막 같다는 뜻이고, 이어서

“Audrey is the audio, and the garment has to be the color version of the subtitles”

라고 덧붙였습니다. 오드리가 소리이고 옷은 그 자막의 색채판이 되어야 한다는 말입니다. 반면 라이트는 이 옷을

“a sensory musical instrument itself”,

그 자체로 감각의 악기라고 부릅니다. 로버트슨도 자신이 태블릿으로 라이트와 함께 그 악기를 연주하는 셈이라고 말했습니다.

새 작품에서 보이드는 자신의 소리와 색의 연합을 작곡 구조로 옮기고 있으며, 이 작품을

“a codifying of my synesthesia”,

자신의 공감각을 코드로 만드는 일이라고 표현했습니다. 악절마다 그의 지각에 묶인 색의 장이 바뀌고, 라이트는 루프 페달로 바이올린 소리를 겹겹이 쌓습니다.

이 지점에서 옷의 한계가 드러났습니다. 첫 번째 옷은 패널마다 고정된 LED 색이 다섯 가지뿐이어서, 보이드가 특정한 소리에 연합하는 미묘한 색조를 담을 여지가 거의 없었습니다. 그래서 로버트슨은 훨씬 넓은 색을 내는 RGB LED를 쓴 두 번째 옷을 개발하고 있습니다. 투명한 패널이 라이트의 몸을 360도로 감싸고, 패널마다 개별 제어되는 백색 LED와 RGB 층을 겹치며, 몸 안쪽으로도 색을 비추고, 외부 조명은 옷의 연장으로 공간 쪽에 놓이는 구성입니다. 로버트슨은 이 변화를 이렇게 정리했습니다.

“The garment transitions from something that is multisensory to something that is more multimodal.”

옷이 다감각적인 것에서 보다 멀티모달한 것으로 옮겨 간다는 말입니다.

 

3.같은 사태를 네 자리로 다시 세운 표

M4는 경험을 네 자리로 나누어 읽습니다. 감각과 표현의 자원이 모드(Mode)이고, 그 자원이 실현될 때 걸리는 조건과 태도가 모달(Modal)이며, 둘이 결합해 정서와 행동과 정체성까지 아우르며 성립하는 총체적 경험 구조가 모달리티(Modality)입니다. 이 모든 과정이 실현되는 환경적·기술적·사회적 기반이 미디엄(Medium)입니다. 미디엄이 모드와 모달이 설 수 있는 범위를 정하고, 그 안에서 모드와 모달이 결합해 모달리티를 낳으며, 그렇게 생긴 모달리티가 다시 미디엄을 고쳐 달라고 요구하는 순환을 이룹니다.

첨부 이미지

표를 자리마다 읽어 내려가면 이 사례의 중심이 어디에 있는지 드러납니다. 소리와 빛이라는 자원은 첫 번째 옷에도 이미 있었습니다. 달라지고 있는 것은 그 둘을 어떤 규칙으로 묶느냐와, 그 규칙을 얼마나 정밀하게 담을 수 있느냐입니다.

 

4.Mode · 함께 지각되는 소리와 빛

관객이 무대에서 받는 것은 바이올린 소리와 몸 위의 빛입니다. 소리는 루프 페달로 겹겹이 쌓이고, 빛은 연주자가 움직일 때마다 함께 움직이며, 둘은 같은 순간에 같은 몸에서 나옵니다. 관객은 이 둘을 하나의 공연으로 지각합니다.

여기서 구분해 둘 것이 있습니다. 관객이 소리와 빛을 함께 지각한다고 해서 관객에게 공감각이 일어나는 것은 아닙니다. 보이드에게 색은 소리를 듣는 순간 안에서 저절로 따라오지만, 관객에게 색은 옷이라는 별도의 자원에서 바깥으로 주어집니다. 관객 쪽에서 일어나는 것은 두 Mode가 동시에 제시되면서 생기는 지각 수준의 결합입니다. 무대는 공감각을 옮겨 심는 것이 아니라, 공감각자의 안쪽에서 일어나던 결합을 두 자원의 동시 제시로 바깥에 다시 짓습니다.

그래서 이 사례에서 감각의 경계가 흐려지는 방식은 두 갈래입니다. 보이드에게는 처음부터 경계가 없었습니다. 떼어 놓을 수 없었다는 말 그대로입니다. 관객에게는 원래 분명했던 소리와 빛의 경계가 무대 위에서 흐려집니다. 앞의 것은 한 사람의 지각이 가진 성질이고, 뒤의 것은 설계된 결합의 결과입니다. 이 글이 따라가려는 것은 뒤의 것, 경계를 흐리게 만드는 조건의 자리입니다.

 

5.Modal · 떼어 낼 수 없던 연합이 규칙이 되는 자리

보이드 안에서 소리와 색의 연합에는 조건이 없었습니다. 언제 색이 따라올지, 어떤 색이 따라올지, 그 색이 맞는지를 정하는 절차가 따로 있지 않았고, 소리가 오면 색이 함께 왔을 뿐입니다. 떼어 놓을 수 없었다는 말은 이 연합이 선택이나 태도가 아니라 지각 그 자체였다는 뜻으로 읽힙니다. 공감각자의 안쪽에서 감각의 경계가 없는 것은 경계를 넘는 조건이 따로 필요하지 않기 때문입니다.

무대는 사정이 다릅니다. 관객에게 소리와 빛은 원래 서로 무관한 두 자원이고, 빛은 소리가 없어도 켜지고 소리는 빛이 없어도 울립니다. 두 감각의 경계는 이 서로의 무관함으로 유지됩니다. 그 경계가 흐려지려면 빛이 소리에 응답해야 한다는 조건이 걸려야 합니다. 보이드가 PRISMBODY를 자신의 공감각을 코드로 만드는 일이라고 부른 것은 이 조건을 세우는 일을 가리킵니다. 저절로 일어나던 연합이 무대 위에서는 지켜야 할 규칙이 되고, 감각의 경계는 바로 이 규칙이 걸리는 만큼 흐려집니다. 이 사례에서 「감각의 경계는 왜 흐려지는가」에 대한 첫 번째 답은 여기에 있습니다. 한 감각이 다른 감각에 응답하도록 묶는 Modal이 걸리기 때문입니다.

첨부 이미지

공개된 구성을 따라가면 그 규칙은 하나가 아니라 다섯 겹입니다. 첫째는 작곡가가 악곡 구조에 적어 넣은 색의 배치로, 공연 이전에 악절 단위로 정해집니다. 둘째는 로버트슨이 연주를 보며 시각 프로그램을 넘기는 타이밍으로, 공연 중에 사람이 시각 프로그램 단위로 정합니다. 셋째는 마이크가 라이트의 소리를 듣고 넘기는 소리 값으로, 공연 중에 장치가 소리 값 단위로 정합니다. 넷째는 색채의 정밀도로, 미묘한 색조까지 옮겨야 한다는 요구입니다. 다섯째는 판정의 기준으로, 보도가 밝힌 목표는 보이드가 라이트의 몸 위에서 자신의 지각을 어느 정도 알아보는 것입니다.

다섯 겹은 묶는 단위와 정하는 주체가 서로 다릅니다. 악곡 구조는 악절을, 운용자는 프로그램을, 마이크는 소리 값을 묶습니다. 같은 무대에서 소리와 빛이 세 가지 단위로 동시에 묶이고 있다는 것은, 관객이 겪는 하나의 결합이 실제로는 서로 다른 조건의 겹침이라는 뜻입니다. 이 가운데 무엇이 작곡가의 공감각에서 온 결합이고 무엇이 공연 현장에서 생긴 결합인지는 관객 쪽에서 구별되지 않습니다. 경계가 흐려지는 두 번째 이유가 여기에 있습니다. 출처가 다른 결합들이 한 몸 위에서 겹치면서 어느 결합이 누구의 것인지가 지각 속에서 지워지기 때문입니다.

판정의 기준은 따로 볼 만합니다. 이 결합이 맞았는지를 판정할 수 있는 사람은 세상에 보이드 한 사람뿐입니다. 여러 사람이 함께 보는 무대의 정확성이 한 사람의 지각에만 근거를 두는 셈이고, 코드화는 바로 이 비대칭을 안고 출발합니다. 보도가 이 작품을 한 사람의 지각 가운데 「일부」를 다른 사람들에게 보이게 할 수 있는가를 묻는 작업으로 소개한 것도 같은 이유로 읽힙니다. 연합을 규칙으로 옮기는 순간 무엇을 옮기고 무엇을 남길지를 고르는 일이 함께 일어나며, 규칙이 되는 것은 연합의 전부가 아니라 고른 부분입니다.

첨부 이미지

두 사람이 옷을 부르는 말은 이 조건 위에 걸린 태도를 보여 줍니다. 로버트슨은 옷을 소리의 자막이라고 했고, 라이트는 옷을 그 자체로 악기라고 했습니다. 자막의 태도에서 빛은 소리를 따라가며 소리의 내용을 다른 감각으로 옮기고, 성공의 기준은 원래 연합에 얼마나 충실한가입니다. 악기의 태도에서 빛은 소리와 나란히 서서 스스로 표현하고, 성공의 기준은 두 사람의 연주가 얼마나 하나로 맞물리는가입니다. 앞의 태도에서 경계는 빛이 소리의 의미를 빌려 오는 한 방향으로 흐려지고, 뒤의 태도에서는 소리와 빛이 함께 하나의 연주를 짓는 두 방향으로 흐려집니다. 같은 옷과 같은 빛에 두 태도가 함께 걸려 있고, 작곡가의 연합을 정확히 옮기는 대목에서는 자막의 태도가, 두 사람이 함께 연주하는 대목에서는 악기의 태도가 앞섭니다.

로버트슨이 말한 다감각에서 멀티모달로의 이행도 이 자리에서 읽힙니다. 첫 번째 옷도 여러 감각에 동시에 호소했으니 이미 다감각적이었습니다. 그가 두 번째 옷에 요구하는 것은 감각의 수가 아니라, 소리와 함께 전해지는 색이 작곡가가 연합한 바로 그 색이어야 한다는 정밀도입니다. M4로 옮기면 여러 Mode를 함께 내놓는 단계에서 그 Mode들을 특정한 규칙으로 묶는 Modal을 무대에 실현하는 단계로 옮겨 가는 일입니다. 감각의 경계를 흐리는 힘은 감각을 더하는 데서가 아니라 감각을 묶는 조건을 세우는 데서 나옵니다. 한 사람의 공감각이 Modal이 된다는 것은, 그 사람 안에서는 조건이 필요 없던 결합이 다른 사람들 앞에서는 단위와 주체와 정밀도와 판정 기준을 갖춘 조건으로 다시 세워진다는 뜻입니다.

 

6.Modality · 남의 몸 위에서 자신의 지각을 알아보는 경험

이 작품이 겨냥하는 경험은 두 겹입니다. 하나는 작곡가 자신의 경험입니다. 보도에 따르면 목표는 보이드가 라이트의 몸 위에 나타난 빛에서 자신의 지각을 어느 정도 알아볼 수 있을 만큼의 색채 정밀도입니다. 평생 혼자만 겪어 온 소리와 색의 결합을, 남의 몸 위에서 바깥으로 마주하는 경험입니다. 지원금 소개문도 이 작품이 다양한 능력과 지각 방식을 가진 관객에게 음악이 닿을 수 있는 길을 탐구한다고 적었습니다.

다른 하나는 공연하는 두 사람과 관객의 경험입니다. 라이트에게 옷은 입는 장치가 아니라 연주하는 악기가 되었고, 로버트슨은 무대 가장자리에서 태블릿으로 그 악기를 함께 연주합니다. 연주자의 정체성이 바이올리니스트 한 사람에서 소리와 빛을 함께 연주하는 두 사람의 짝으로 바뀝니다. 관객은 한 사람의 지각 방식을 여러 사람이 함께 겪는 자리에 앉습니다.

이 두 겹은 모두 아직 시도의 단계입니다. 9월 20일의 무대는 개발 중인 작업의 공개였고, 보이드가 실제로 자신의 지각을 알아보았는지, 관객이 그 무대를 어떻게 겪었는지는 기록되지 않았습니다. 그래서 이 사례의 Modality는 성립한 경험이 아니라, 설계가 겨냥하는 경험 구조로만 적어 둘 수 있습니다.

 

7.Medium · 다섯 가지 색의 옷

첫 번째 옷의 사양은 이 경험이 설 수 있는 범위를 먼저 정했습니다. 패널 46개, LED 3,000개 이상, 배터리 47개, 자체 와이파이, 초당 약 30프레임은 무엇을 얼마나 빨리 보여 줄 수 있는지를 정하고, 패널마다 고정된 다섯 가지 색은 무엇을 보여 줄 수 없는지를 정합니다. 보이드가 특정한 소리에 연합하는 미묘한 색조는 이 다섯 가지 사이로 빠져나갑니다. 앞뒤로만 붙은 패널은 관객이 어느 쪽에서 보아야 하는지까지 정합니다.

기반은 옷에만 있지 않습니다. 악기와 몸의 관계를 4,000년의 미술과 음악사로 다룬 전시가 이 옷을 하나의 악기로 세울 자리를 마련했고, 위촉과 초연과 공동 작업 시간을 지원하는 지원금이 세 사람의 작업을 받치고 있습니다. 옷이 악기로 읽힐 수 있는 사회적 기반이 이 무대를 함께 이룹니다.

이 사례에서 순환은 문장이 아니라 사양으로 확인됩니다. 다섯 가지 색이라는 기반이 결합의 정밀도를 제한했고, 작곡가의 연합을 정확히 옮겨야 한다는 조건과 남의 몸 위에서 자신의 지각을 알아보는 경험이라는 목표가 그 한계를 드러냈으며, 그 목표가 RGB LED와 360도 투명 패널과 공간으로 뻗는 조명을 갖춘 두 번째 옷을 요구했습니다. 겨냥한 모달리티가 미디엄을 고쳐 짓게 한 셈입니다. 두 번째 옷이 완성되면 그 옷이 다시 어떤 결합을 가능하게 하고 어떤 결합을 막을지가 다음 질문이 됩니다.

 

8.아직 말할 수 없는 것

공개되지 않은 것이 넷입니다. 어느 음과 어느 악절에 어느 색이 대응하는지를 적은 구체적인 대응표, 시각 효과 가운데 마이크의 소리 값으로 움직이는 부분과 로버트슨이 손으로 넘기는 부분의 비율, 두 번째 옷의 완성 시점과 PRISMBODY의 초연 일정, 관객과 작곡가가 이 무대를 실제로 어떻게 겪었는지에 대한 기록입니다.

논지가 약해지는 조건도 적어 둡니다. 관객이 작곡가의 연합에 따라 배치된 색과 임의로 고른 색을 구별하지 못한다면, 이 글이 Modal에 둔 무게는 악보 안에만 있고 경험에는 닿지 않는 것이 됩니다. 반대로 두 번째 옷 이후에도 작곡가가 자신의 지각을 알아보지 못한다면, 결합을 막은 것은 색의 수가 아니라 다른 곳에 있다는 뜻이 되고, Medium에 대한 이 글의 해석은 그만큼 힘을 잃습니다.

감각의 경계는 감각의 수가 늘어서가 아니라, 한 감각이 다른 감각에 응답하도록 묶는 조건이 걸리는 만큼 흐려집니다. 한 사람 안에서 아무 조건 없이 떼어 낼 수 없던 소리와 색은 시점과 주체와 단위가 서로 다른 다섯 겹의 Modal로 다시 세워진 뒤에야 여러 사람이 함께 보는 Mode의 결합이 되고, 그 결합이 겨냥하는 Modality는 다섯 가지 색밖에 내지 못하던 옷이라는 Medium을 더 넓은 색의 Medium으로 다시 설계하게 만듭니다.

 

출처

designboom, 「synesthesia translated into light across audrey wright’s musical body at the MET」, 2026-09-23. https://www.designboom.com/art/synesthesia-light-audrey-wright-musical-body-metropolitan-museum-geoff-robertson-stephanie-ann-boyd/

The Metropolitan Museum of Art, 「Musical Bodies」, 2026-06-07~09-27. https://www.metmuseum.org/exhibitions/musical-bodies

New Music USA, 「New Music USA Announces 2026 Creator Fund Awardees」, 2026-06-18. https://newmusicusa.org/newsroom/2026-cf-awardees/

확인 날짜 2026-10-06

 

모달리티 연구노트는 모달리티연구소(Modality Lab)가 발행하는 연구 노트입니다.

연구소 웹사이트 https://modalitylab.org

문의 contact@modalitylab.org

이 뉴스레터가 유익했다면 주변의 한 사람에게 전해 주십시오.

다가올 뉴스레터가 궁금하신가요?

지금 구독해서 새로운 레터를 받아보세요

✉️

이번 뉴스레터 어떠셨나요?

모달리티 연구노트 님에게 ☕️ 커피와 ✉️ 쪽지를 보내보세요!

댓글

의견을 남겨주세요

확인
의견이 있으신가요? 제일 먼저 댓글을 달아보세요 !

다른 뉴스레터

© 2026 모달리티연구소 Modality Lab

인간과 AI가 함께 만드는 경험의 구조를 읽는 모달리티연구소의 연구 노트입니다.

뉴스레터 문의contact@modalitylab.org

메일리 로고

도움말 오류 및 기능 관련 제보

서비스 이용 문의admin@team.maily.so 채팅으로 문의하기

메일리 사업자 정보

메일리 (대표자: 이한결) | 대표번호: 070-8027-1409 | 사업자번호: 717-47-00705 | 서울특별시 송파구 위례광장로 199, 5층 501-2-31호

이용약관 | 개인정보처리방침 | 정기결제 이용약관 | 라이선스