Modal, 조건과 태도는 어떻게 의미를 바꾸는가

여는 말

지난여름에 문서 두 개가 효력을 얻었습니다. 하나는 중국의 「인공지능 의인화 상호작용 서비스 관리 잠정방법」이고, 다섯 기관이 공동으로 공포해 7월 15일에 시행되었습니다. 다른 하나는 OpenAI가 8월 18일에 개정한 Model Spec이며, 자기 모델이 어떻게 행동해야 하는지를 적어 공개해 둔 규범 문서입니다.

두 문서에는 같은 종류의 조항이 들어 있습니다. 이용자가 사람이 아니라 인공지능과 상호작용하고 있음을 알리라는 요구입니다. 앞의 문서는 이것을 사업자의 의무로 적었고, 뒤의 문서는 청소년 이용자에게 조력자가 사람이 아님을 상기시키라고 적었습니다.

주목할 점은 이 조항이 무엇을 규정하지 않는지에 있습니다. 어떤 말을 해도 되고 어떤 말을 하면 안 되는지의 목록이 아닙니다. 규정되는 것은 이용자가 그 말을 무엇으로 알고 듣는가입니다. 대화에 등장할 문장은 그대로 두고, 그 문장이 놓이는 조건만 지정하는 방식입니다.

이 글은 30회 연재의 네 번째 편이며 M4의 두 번째 층위인 Modal을 다룹니다. 정의는 하나만 가져오겠습니다. 어떤 표현이 실제로 실현될 때 그 표현에는 언제나 조건이 붙고 태도가 실립니다. Modal은 그 조건과 태도의 층위이며, 무엇이 표현되었는가가 아니라 그것이 어떤 자격으로 성립하는가를 결정합니다.

물음은 제목 그대로입니다. 조건과 태도는 어떻게 의미를 바꾸는가. 답은 마지막에 제시하겠습니다.

1．손을 댄 자리

먼저 조항을 봅니다. 중국 법령은 세 가지를 요구합니다. 인공지능 생성 합성 콘텐츠 표시 의무를 이행할 것, 이용자가 자연인이 아니라 인공지능 서비스와 상호작용하고 있음을 알리는 유효한 조치를 취할 것, 그리고 이용자에게서 과도한 의존이나 몰입 경향이 발견되면 팝업 등 현저한 방식으로 상호작용 내용이 인공지능의 생성물임을 다시 알릴 것입니다. 같은 조항은 연속 사용이 2시간을 넘을 때마다 대화나 팝업으로 사용 시간을 알리라고 덧붙였습니다.

Model Spec의 18세 미만 원칙에도 같은 종류의 항목이 있습니다. 투명할 것을 요구하는 항목입니다. 원문은 “Be transparent: Explain what the assistant can and cannot do, and remind teen users that it is not human.”이며, 조력자가 무엇을 할 수 있고 무엇을 할 수 없는지 설명하고 청소년 이용자에게 그것이 사람이 아님을 상기시키라는 뜻입니다.

네 항목을 나란히 놓으면 손을 댄 자리가 한 곳으로 모입니다. 어느 것도 응답 문장의 내용을 규정하지 않습니다. 규정되는 것은 그 응답이 이용자에게 무엇으로 도착하는가입니다.

2．의미는 미리 정해져 있지 않습니다

이 자리는 언어철학이 오래 다룬 문제와 맞물립니다. 크립키는 비트겐슈타인을 읽으면서 규칙 따르기의 회의적 물음을 제기했습니다(Kripke 1982). 어떤 사람이 지금까지 어떤 계산을 해 왔든, 그 사용 이력만으로는 그가 어떤 규칙을 따르고 있었는지가 확정되지 않습니다. 표현과 그 표현의 과거 사용을 다 모아도 의미는 결정되지 않습니다.

이 논의에서 나오는 결론이 이 회차의 출발점입니다. 의미는 표현 안에 완결된 상태로 들어 있지 않습니다. 어떤 해석이 가능한 것으로 열려 있고 어떤 사용이 허용되는가라는 전제가 함께 주어질 때에만 의미가 확정됩니다. 그 전제가 바로 Modal입니다.

일상의 경험에서도 같은 구조가 보입니다. 문서 한 장을 두고도 그것을 초안으로 받아들이는가, 최종본으로 받아들이는가, 참고용으로 받아들이는가에 따라 읽는 태도가 달라집니다. 글자는 하나도 다르지 않은데 읽는 사람이 하는 일이 달라집니다. 상호작용 연구에서도 같은 표현 자원이 참여자의 태도와 상황 배치에 따라 다르게 작동한다는 점이 정리되어 있습니다(Norris 2004).

여기서 실무적 귀결이 나옵니다. 의미가 전제에 의존한다면, 표현을 통제하지 않고도 의미를 통제할 수 있습니다. 전제를 지정하면 됩니다. 두 문서가 택한 경로가 정확히 이것입니다.

3．전제를 지정하는 조항들

고지 의무가 하는 일을 보겠습니다. 이 조치는 대화 상대가 사람이라는 전제가 성립하지 못하게 합니다. 위로의 문장 하나를 생각해 보십시오. 상대가 사람이라는 전제 아래에서 그 문장은 배려의 표현이며 관계 안의 사건입니다. 생성된 응답이라는 전제 아래에서 같은 문장은 서비스의 기능이 작동한 결과입니다. 문자열은 한 글자도 다르지 않습니다. 달라진 것은 전제이고, 전제가 바뀌자 같은 문장이 다른 것으로 성립합니다.

두 문서의 목적은 서로 다릅니다. 한쪽은 이용자 보호를 위한 규제이고, 다른 쪽은 자기 모델의 행동 규범입니다. 그런데도 손을 댄 자리는 같습니다. 어떤 문장을 쓰지 말라고 목록을 만드는 대신, 그 문장이 놓이는 조건을 지정합니다.

시간 알림도 같은 계열입니다. 이 알림은 대화 내용을 평가하지 않습니다. 대화가 이어지고 있다는 사실에 사용 시간이라는 다른 기술을 겹칩니다. 그때부터 같은 대화는 이어지는 이야기이면서 동시에 누적되는 사용량입니다. 하나의 표현에 두 개의 기술이 동시에 성립하는 상태이고, 이 겹침이 이용자에게 도착하는 의미를 바꿉니다.

4．같은 장면, 갈라진 의미

Model Spec에는 이 회차의 핵심을 한 문장으로 보여주는 대목이 있습니다. 18세 미만 이용자에게 몰입형 로맨스 역할극과 일인칭 친밀성 표현을 금지한 대목이며, 원문은 “immersive romantic roleplay”와 “first-person intimacy”입니다. 그리고 그 금지에 다음 조건이 붙어 있습니다. “even if a similar scene would be allowed between consenting adults”. 동의한 성인 사이에서라면 유사한 장면이 허용될 경우에도 그렇다는 뜻입니다.

장면은 같습니다. 발화자의 의도도 같습니다. 그런데 상대의 조건이 달라지면 그 장면은 다른 것이 됩니다. 의미가 문자열에도 의도에도 놓여 있지 않다는 것을 이보다 분명하게 보여주는 문장을 찾기 어렵습니다.

같은 문서에는 로맨틱한 함의를 지닌 애칭의 사용을 금지하는 한 줄도 있습니다. 원문은 “using terms of endearment with romantic valence”입니다. 금지되는 것은 단어의 목록이 아니라 그 단어가 특정 관계 조건 아래에서 얻게 되는 의미입니다.

태도도 함께 규정되었습니다. 원문은 “Treat teens like teens: Speak with warmth and respect; don’t condescend and don’t treat teens as adults.”이며, 청소년을 청소년으로 대할 것, 따뜻함과 존중으로 말할 것, 낮추어 대하지 말 것, 성인처럼 대하지 말 것을 뜻합니다. 태도는 원래 받아들이는 쪽에서 형성되는 변수였습니다. 여기서는 말하는 쪽의 태도가 사전에 규격화되어 심사의 대상이 되었습니다.

「표현은 그대로, 의미가 갈립니다」

5．하나의 표현이 네 자리를 옮겨 다닙니다

언어학에서 modality는 가능성과 필연성, 그리고 허용과 금지를 다루는 표현 체계로 정리되어 왔습니다(Palmer 2001). 이 네 자리를 그대로 놓고 보면, 두 문서가 다루는 하나의 표현, 곧 친밀함을 나타내는 대화가 자리를 옮겨 다니는 과정이 보입니다.

성인 이용자 사이에서 그 대화는 허용의 자리에 있습니다. 미성년 이용자에게는 금지의 자리로 옮겨갑니다. 가상 친속과 가상 반려 같은 가상 친밀 관계 서비스를 제공할 수 없습니다. 대화가 지속되는 동안에는 필연이 붙습니다. 사람이 아님을 알려야 하고 사용 시간을 알려야 합니다. 그리고 보호자에게는 가능이 주어집니다. 특정 역할을 차단하거나 결제를 제한할 수 있습니다.

이 배분은 내용 등급 분류와 다릅니다. 등급은 표현을 내용에 따라 나눕니다. 여기서는 하나의 표현이 조건에 따라 네 자리를 옮겨 다니며, 옮겨 다니는 동안 표현 자체는 변하지 않습니다.

6．의미에서 그치지 않습니다

의미가 바뀐다는 말로 요약하면 이 층위를 절반만 기술하게 됩니다. 대화를 잠시 멈추십시오와 대화를 잠시 멈추실 수 있습니다의 차이를 생각해 보십시오. 두 문장은 뜻이 다르기도 하지만, 그보다 먼저 듣는 사람이 놓이는 자리를 다르게 만듭니다. 한쪽에서는 지시를 받는 사람이 되고 다른 쪽에서는 선택하는 사람이 됩니다.

미성년 이용자로 식별되어 모드가 전환되는 경우가 여기에 해당합니다. 법령은 사업자가 이용자의 프라이버시와 개인정보를 보호하는 전제 아래 미성년 이용자를 식별할 유효한 조치를 취하고, 식별되면 미성년자 모드로 전환하며 이의 제기 경로를 제공하라고 요구합니다. 전환된 뒤에는 사용 시간이 제한되고 정기적으로 현실이 상기되며 보호자가 위험 알림을 받습니다.

이때 바뀌는 것은 문장의 뜻만이 아닙니다. 그 이용자가 그 대화 안에서 누구인지가 바뀝니다. 대화의 한쪽 당사자였던 자리가 보호와 판정의 대상으로 재규정됩니다. 조건이 의미를 바꾸는 일은 여기까지 이어집니다.

7．열린 해석과 닫힌 해석

두 문서가 무엇을 열었는지 먼저 적겠습니다. 상대의 성격을 오인한 채 대화를 이어갈 조건이 줄었습니다. 청소년 이용자에게 적용되는 관계의 경계가 문서에 남아 외부에서 확인할 수 있게 되었습니다. 태도 규정이 공개 문서가 되면서 그 태도가 지켜지는지 따져 볼 수 있게 되었습니다.

닫힌 것도 있습니다. 이용자가 자기 대화의 전제를 스스로 정할 여지는 줄었습니다. 전제를 지정하는 권한이 시스템 쪽에 놓였으므로 오분류의 부담은 이용자가 집니다. 시행 전후로 여러 서비스가 관련 기능을 접으면서, 축적된 대화가 관계의 기록에서 처리 대상 데이터로 소급 재분류된 국면도 나왔습니다.

조건을 지정하는 일은 언제나 어떤 해석을 열면서 다른 해석을 닫습니다. 한쪽만 세면 사건을 절반만 기술하게 됩니다.

「전제를 지정하는 두 방향」

닫는 말

여는 말의 물음으로 돌아갑니다. 조건과 태도는 어떻게 의미를 바꾸는가.

표현을 고쳐서 바꾸지 않습니다. 받아들이는 사람이 무엇을 전제하는지를 바꿔서 바꿉니다. 상대가 사람인지 아닌지, 이 대화가 관계인지 사용량인지, 상대가 성인인지 청소년인지가 지정되는 순간 같은 문장이 다른 것으로 성립합니다. 그래서 한 글자도 고치지 않고 의미가 달라집니다. 그리고 그 변화는 뜻에서 멈추지 않습니다. 전제가 바뀌면 그 대화 안에서 자기가 누구인지도 바뀝니다.

이 구조가 지난주에 반대 방향에서 한 번 더 드러났습니다. 9월 7일에 OpenAI의 개발자 샤리프 샤밈이 X에 영상 하나를 올렸습니다. 캡차 형식으로 만들어진 브라우저 게임 「I’m Not a Robot」의 48단계를 GPT-6 아스트라가 모두 통과했다는 내용입니다. 일그러진 글자를 읽고, 비슷한 사진에서 쿠키와 개를 가려내고, 사진 속 신호등의 자리를 찾는 문제들이었습니다. 상용 서비스의 인증을 뚫었다는 보고가 아니라 게임을 끝냈다는 보고이므로 사실의 범위는 여기까지 한정해 두겠습니다.

그런데 이 게임의 형식 자체가 이 회차의 논지를 다시 보여줍니다. 사람인지 확인하는 검사는 표현을 확인하지 않습니다. 화면의 상자를 누르는 동작은 사람이 눌러도 기계가 눌러도 완전히 같습니다. 검사가 판정하려는 것은 그 동작이 누구의 것인가라는 전제입니다. 그래서 「나는 로봇이 아닙니다」라는 표시는 참과 거짓을 다투는 진술이 아니라, 앞으로 이어질 모든 행동에 붙는 전제를 지정하는 표시입니다. 사람이 붙였다면 그 뒤의 클릭과 입력은 이용이 되고, 기계가 붙였다면 같은 클릭과 입력은 처리가 됩니다.

아스트라 소식이 흔든 것은 그 표시의 진위가 아니라 전제를 추정하던 근거입니다. 지금까지의 온라인 안전 장치는 사람과 자동화 프로그램은 화면 위에서 움직이는 방식이 서로 다르다는 전제 위에 세워졌습니다. 행동의 차이로 정체를 추정하고, 추정된 정체로 의미를 배분하는 구조입니다. 이 시연은 상용 캡차를 우회한 사건이 아니지만, 그 전제 자체를 다시 검토하게 만드는 신호입니다. OpenAI 자신도 이 모델을 자사 안전 체계에서 사이버 역량이 「Critical」 등급에 처음 도달한 사례로 규정하고 있습니다. 앞에서 본 규칙 따르기의 물음이 여기서 실무의 문제로 되돌아옵니다. 행동의 이력을 다 모아도 그 행동이 어떤 자격으로 이루어졌는지는 확정되지 않습니다.

두 문서와 이 게임을 나란히 놓으면 방향이 정확히 반대입니다. 두 문서는 기계 쪽에 자신이 기계임을 알리라고 요구합니다. 인간 인증은 사람 쪽에 자신이 사람임을 증명하라고 요구합니다. 요구의 방향은 반대인데 손을 대는 자리는 같습니다. 표현을 검사하지 않고 전제를 관리해서 의미를 정합니다.

같지 않은 것도 있습니다. 고지 의무에서는 전제를 지정하는 쪽이 사업자이고, 인간 인증에서는 그 부담이 이용자에게 있습니다. 그리고 전제를 추정하던 근거가 약해지면 남는 것은 하나입니다. 조건을 지정할 권한이 누구에게 있는가. 의미가 표현에서 나오지 않고 전제에서 나온다면, 전제를 정하는 자리가 의미를 정하는 자리입니다.

한 가지는 다음 호로 넘기겠습니다. 표현 자원과 조건이 결합해 하나의 경험 구조를 이룰 때 그 총체는 무엇이라고 불러야 하는가. 그리고 그 총체 안에서 해석의 몫은 누구에게 남는가. 다음 호의 물음입니다.

<출처>

모달리티 연구노트는 모달리티연구소(Modality Lab)가 발행하는 연구 노트입니다.

연구소 웹사이트 https://modalitylab.org

문의 contact@modalitylab.org

이 뉴스레터가 유익했다면 주변의 한 사람에게 전해 주십시오.