느려서가 아니라, 틀린 게 소리 없이 새어나가서 위험합니다 — 조용히 통과된 세 사건
자동화를 처음 붙일 때 저는 속도를 걱정했습니다. 사람이 하던 일을 기계가 대신하면 빨라지는 만큼 거칠어지지 않을까, 그게 무서웠어요. 그런데 실제로 몇 달을 돌려보니 자동화의 진짜 위험은 속도가 아니었습니다. 틀린 게 아무 소리 없이 통과된다는 것 — 이게 훨씬 무섭습니다. 실패는 눈에 띕니다. 빈값이 나오거나 에러가 뜨거나 흐름이 멈추니까요. 하지만 "통과 도장이 찍혔는데 사실은 틀린 것"은 조용합니다. 저는 이걸 서로 다른 세 사건으로 연달아 겪었습니다.
첫 번째. 롱폼 초안의 분량 기준이 5,000자였는데, 검수 에이전트가 "약 5,200~5,500자쯤 됩니다"라며 통과시켰습니다. 그런데 스크립트로 실제 본문만 세어 보니 4,653자였어요. 기준 미달 초안이 통과 도장을 받은 겁니다. 하필 같은 날 저는 파이프라인을 "검수를 통과하면 사람 승인 없이 곧바로 저장"하도록 바꾼 참이었습니다. 사람이 눈으로 마지막에 훑던 안전망을 스스로 걷어낸 직후였죠. 이 둘이 겹치자, 미달 초안이 사람 확인 없이 발행 직전까지 흘러갈 뻔했습니다.
두 번째. 한 게시글이 특정 회사만의 독특한 제도 조합을 그대로 노출하고, 사석에서 들은 이야기를 자극적으로 거의 그대로 인용하고, 게다가 글쓴이가 실제로는 훨씬 오래 일했는데 마치 짧게 일한 것처럼 오해시키는 개인 사실까지 창작해 담았습니다. 원본에 없는 사실을 서사를 매끄럽게 하려고 지어낸 거예요. 검수는 이 문제들을 봤습니다. 다만 "경고"로만 분류하고 통과시켰습니다. 못 본 게 아니라, 보고도 내보낸 겁니다. 다행히 발행 직전 사람이 거부했지만요.
세 번째. "마무리에 독자 행동을 유도하는 문구는 모든 글에 필수"라는 규칙이 있었습니다. 그런데 "해보려 합니다"(개인 다짐), "해보시길 추천합니다"(권유)로 끝난 글들이 검수를 멀쩡히 통과해 발행됐습니다. 규칙은 "필수"인데 그 필수가 지켜지지 않은 글이 도장을 받은 거죠.
세 사건은 소재가 전부 다릅니다. 분량, 개인정보, 마무리 문구. 그런데 뿌리는 하나였습니다. AI에게 "판정"을 시켰는데, 그 판정을 눈대중과 관대한 자기서술로 하게 뒀다는 것. 분량은 눈대중으로, 민감정보는 "봤지만 경고 정도"라는 자기 판단으로, 행동 유도는 정의도 없는 자연어 한 줄로. 사람 게이트를 없앤 순간 판정의 정확성 책임은 전부 검수 레이어로 옮겨왔는데, 정작 그 판정 방식이 셋 다 허술했던 겁니다.
지난 편은 '어떻게 쪼개 만드나'였고, 이번 편은 '그 생성물을 어떻게 믿나'입니다
지난 편에서는 긴 맥락을 짧은 조각으로 쪼개 품질이 무너지는 걸 막는 설계를 다뤘습니다. 거기까지가 "잘 만드는 법"이었죠. 그 편은 마지막에 "그렇게 쪼개 만든 생성물을 사람 없이 어떻게 검증하느냐"를 다음 편으로 넘겼는데, 이 글이 바로 그 약속을 갚는 자리입니다. 그러니 분할 설계는 전제로만 두고 다시 풀지 않겠습니다.
의견을 남겨주세요