AI가 썼는지 기계로 가려내려던 시도가 다섯 번 무너졌습니다

안녕하세요,  구독자 님 생각의 숲 김혜원입니다.

오늘부터 한 달에 한 번 숲길 편지를 보냅니다. 그달의 교육과 글쓰기 뉴스 가운데 부모가 알아 둘 흐름 하나를 골라 깊이 읽는 코너입니다. 첫 주제는 올해 세계 문학계를 연달아 흔든 질문입니다.

"이 글은 누가 썼는가"

국내 언론에는 대부분 짧게만 소개된 소식들이라 이 편지에서 한 번에 정리해 드립니다.

올해 2월 카이로 국제도서전에서 팔린 소설 몇 종에는 이상한 문장이 인쇄돼 있었습니다.

줄거리와 인물을 만들어 달라고 챗봇에게 지시한 명령문이 검수 없이 본문에 그대로 실린 것입니다. 기계가 쓴 책이 서점 매대에 오른 첫 사례였습니다. 그리고 그 반대편에서 더 심각한 일이 시작됐습니다. 사람이 쓴 글이 기계의 의심을 받기 시작한 것입니다.

  글이 심문받는 시대가 왔습니다  

문학상은 더 이상 저자를 보증하지 못한다

올해 AI가 쓴 글일가? 를 두고 일어난 큼직한 사건들을 표로 정리했습니다. 

위의 사건표를 시간순으로 읽으면 하나의 연쇄가 보입니다. 2월 카이로에서 기계가 쓴 책이 유통됐고 5월 커먼웰스상에서는 사람이 쓴 글이 기계의 의심을 받았습니다. 여름에는 '의혹만으로' 수백만 달러 계약이 취소됐고 9월에는 프랑스 최고 권위의 문학상이 수상작가를 후보에서 지웠습니다. 같은 달 한국 출판계는 처음으로 공동 원칙을 내놓았습니다. 글의 가치를 지탱해 온 전제, 이 글 뒤에 사람이 있다는 믿음이 올해 다섯 번 흔들린 셈입니다.

믿음이 무너진 곳에서 세계가 가장 먼저 꺼내 든 해법은 기계 판정, 곧 AI 탐지기였습니다. 그 해법은 유효했을까요? 그 결과는 다음과 같습니다.

탐지기를 가장 먼저 포기한 곳은 탐지기를 만든 회사였다

커먼웰스상 사건의 전말은 이렇습니다. 트리니다드토바고 작가 자미르 나지르의 수상작 '수풀 속의 뱀'에 한 AI 전문가가 탐지기를 돌렸고 판정은 100% AI였습니다. 그러나 재단은 기계 대신 사람을 택했습니다. 한 달에 걸쳐 작가와 대화하고 글이 만들어진 경위를 확인한 뒤 내린 결론은 정반대였습니다. 전원 수상 유지. 어떻게 된 일이냐고요? 현지 보도에 따르면 이 작가는 병 때문에 책상에 오래 앉지 못해 음성인식으로 글을 써 왔습니다. 기계가 읽지 못한 사정이었습니다.

탐지기의 성적은 이미 여러 연구와 기관이 기록으로 남겨 두었습니다. 아쉽지만 성적은 그리 좋지 않습니다.  

숫자를 문장으로 옮기면 이렇습니다. 스탠퍼드 연구진의 결론은 탐지기가 '낯선 문체'를 AI로 읽는다는 것이었습니다. 영어가 모국어가 아닌 사람의 글은 열 편 중 여섯 편이 기계 작성으로 오판정됐고 사람이 쓴 논문도 챗GPT로 문장만 다듬으면 열 편 중 여덟 편이 같은 판정을 받았습니다. 밴더빌트대는 업계가 내세우는 오탐률 1%조차 자기 학교 규모에서는 한 해 750명의 억울한 학생을 뜻한다는 계산 끝에 탐지 기능을 껐습니다. 챗GPT를 만든 오픈AI도 자사 탐지기를 반년 만에 내렸습니다. 도구를 만든 쪽과 쓰던 쪽이 차례로 손을 뗀 것입니다.

동시에 피해의 분포도 기록되고 있습니다. 외신 보도에 따르면 올해 계약이 취소된 두 작가는 모두 흑인이었고 두 사람 다 흑인 작가가 유독 검증대에 오른다고 강하게 항변했습니다. 유독 비원어민이, 음성인식으로 쓰는 장애 작가가 의심을 받게 된다는 이 사실은 AI가 쓴 글을 탐지하는 '기준'에 대한 의문을 남겼습니다. 지금까지의 연구 결과로 보면 탐지기는 평균에서 벗어난 문체를 의심하도록 만들어져 있습니다. 현재까지는 그렇습니다. 평균보다 매끄러운 문장 역시 평균에서 벗어난 문체입니다. 잘 쓰는 사람의 글이 오히려 안전하지 않은 이유입니다. 

탐지가 분별의 답이 아니라는 사실이 분명해지자 질문이 바뀌었습니다.

무엇으로 가려낼 것인가에서, 무엇이 저자를 증명하는가로

완성된 글은 아무것도 증명하지 못한다

올해 이 사태를 수습한 두 곳이 같은 답에 도착했습니다.

커먼웰스재단은 탐지기 없이 사람의 재심을 택했습니다. 작가와 대화하고 글이 만들어진 경위를 확인했습니다. 한국 출판계가 9월 말 내놓은 원칙도 기준이 같습니다. 1단계부터 3단계를 가르는 것은 AI를 썼는가가 아니라 사람이 어디까지 검증하고 책임지는가입니다. AI로 교정만 봤다면 인간 저작물이고 AI가 만든 것을 검증 없이 내보냈다면 3단계입니다. 두 기관 모두 결과물이 아니라 과정을 봤습니다.

완성된 글만으로는 이제 누구도 저자를 증명할 수 없습니다. 하지만 과정은 다릅니다. 처음의 질문, 버린 초고, 고친 이유, 합평에서 받은 말과 그다음 버전. 이 기록은 흉내 낼 수 없습니다. 이 기준에 동의하시나요? 아무래도, 지금으로선 이게 최선이 아닌가 싶습니다. 한편으로는 반갑기도 합니다. 

생각의 숲에서 작가들이 여덟 달 동안 쌓는 것이 바로 이 기록이거든요. 이번 겨울 2기의 책이 나올 때 사람이 썼다는 증명은 완성 원고가 아니라 그 여덟 달이 할 것입니다.

  기계는 결과를 보고 사람은 과정을 봅니다  

출판계로 먼저 도착한 이 기준은 출판계에서 멈추지 않을 것입니다. 기준은 필연적으로 서술형 평가의 확대와 함께 교실로 내려옵니다. 그게 우리가 이 추이를 계속 지켜봐야 하는 이유입니다. 

다음 차례는 교실이다

서술형과 논술형 평가가 늘수록 교사는 학생의 글 앞에서 출판계와 같은 질문을 마주하게 됩니다.

이 글은 누가 썼는가. 그리고 앞에서 본 것처럼 그 질문에 탐지기는 답하지 못합니다. 답은 글이 만들어진 기록에 있습니다.

기록은 거창한 것이 아닙니다. 글이 만들어지는 동안 자연스럽게 생기는 세 가지면 충분합니다.

글쓰기 과정이 남기는 세 가지

이 기록은 의심을 막는 안전장치이기 전에, 아이의 생각이 자라는 경로를 눈으로 확인할 수 있는 자료가 됩니다. 질문을 던지고 싶습니다. 여러분은 지금, 성장의 과정을 충분히 남겨두고 있나요?

함께 읽기 — 지난 편지 두 통

질문을 설정으로 바꾸는 법 — 과정의 첫 단추인 '질문 세우기'를 다뤘습니다. AI가 줄 수 없는 바로 그것입니다. 학교 밖에서 학교를 보는 방법 — 한 작가의 질문이 여덟 달에 걸쳐 소설이 된 과정의 실례입니다.

오늘 심을 한 가지 생각

아이가 최근에 쓴 글 한 편을 두고 물어봐 주세요.

그 답이 곧 그 글의 저자 증명입니다. 어떤 답이 돌아왔는지 답장으로 들려주세요.

다음 주에는 생각의 숲의 새로운 소식을 들고 옵니다.

웹으로 이 글을 읽고 계시다면 구독하기를 눌러 주세요. 매주 목요일 메일함으로 편지를 보내 드립니다.

이 편지가 다룬 보도와 연구:

카이로 도서전(OECD.AI) · 커먼웰스상(Book Riot) · 출판 계약 취소(CS모니터) · 공쿠르(RTBF) · 한국 출판계 원칙(경향신문) · 스탠퍼드 연구(Liang et al.)

생각의 숲에서,

김혜원 드림.

https://forestlabs.co.kr/