'알아서 판단하지 마세요'가 위험한 이유

벌금을 매겼더니, 지각이 늘었다

한 어린이집이 골머리를 앓고 있었습니다. 하원 시간이 지나도 아이를 데리러 오지 않는 부모들 때문이었죠. 그래서 규칙을 하나 만들었습니다. 늦게 오는 부모에게 벌금을 매기기로 한 겁니다. 상식적으로는 지각이 줄어야 맞습니다. 돈이 아까우니까요.

결과는 정반대였습니다. 벌금을 도입하자 지각이 오히려 늘었습니다.

이유는 이렇습니다. 벌금이 없을 때 지각은 '미안한 일'이었습니다. 선생님을 기다리게 만드는 도덕의 문제였죠. 그런데 벌금이 붙는 순간, 지각은 '돈 내면 되는 일'로 바뀌었습니다. 늦게 오는 대가를 이미 지불했으니 미안해할 이유가 사라진 겁니다. 규칙이 도덕의 자리를 차지하자, 도덕이 하던 일까지 함께 사라졌습니다. 더 흥미로운 건 벌금을 없앤 뒤에도 지각률이 원래대로 돌아오지 않았다는 점입니다. 한번 '거래'가 된 관계는 다시 '도덕'으로 돌아오지 않았습니다.

경제학자 유리 그니지와 알도 루스티키니가 이스라엘의 어린이집에서 관찰한 실험입니다. 다만 짚어둘 것이 있습니다. 워낙 유명해진 실험이라 정설처럼 인용되지만, 이후 이를 재현하려던 후속 연구들은 같은 결과를 얻지 못했습니다. 벌금이 늘 도덕을 밀어내는 것은 아니라는 뜻이죠. 그러니 이 실험은 '증명된 법칙'이 아니라 '생각의 출발점'으로 읽는 것이 정확합니다. 그럼에도 이 실험이 던지는 질문은 유효합니다.

행정을 알고리즘에 넘길 때 마주하는 질문이 정확히 이것입니다.

"재량? 그거 없애는 게 공정하지"

먼저 여러분의 반론부터 세워보겠습니다. 아마 이렇게 생각하실 겁니다. 공무원의 '재량'이라는 건 결국 담당자 마음대로라는 뜻 아닌가. 누구는 봐주고 누구는 안 봐주는, 부패와 불공정의 온상 아닌가. 그러니 사람의 주관을 걷어내고 객관적 기준만 남기는 것이 공정 아닌가.

이 생각은 합리적입니다. 실제로 그것을 뒷받침하는 유명한 연구가 있습니다.

경제학자 클로디아 골딘과 세실리아 라우스는 오케스트라 단원 선발 과정을 분석했습니다. 과거 오케스트라는 압도적으로 남성 중심이었는데, 어느 시점부터 심사에 커튼을 치기 시작합니다. 연주자를 보이지 않게 가리고 소리만 듣게 한 것이죠. 그러자 여성의 예선 통과율이 약 11%포인트 올랐습니다. 심사위원의 '눈'이, 다시 말해 연주자의 성별이라는 정보가 편향을 만들고 있었다는 뜻입니다. 실제로 1970년 이후 오케스트라의 여성 비율이 크게 늘었는데, 연구는 그 증가의 상당 부분을 이 커튼이 설명한다고 봤습니다. (다만 표본이 작아 연구자들 스스로 신중을 당부했고, 효과 크기를 둘러싼 재분석 논쟁도 있습니다.)

이런 사례를 보면 자연스러운 기대가 생깁니다. 사람의 재량을 걷어내고 알고리즘이 판정하게 하면, 일관되고 공정해지지 않겠는가. 편향에 흔들리는 심사위원의 눈 대신, 흔들리지 않는 기준을 쓸 수 있으니까요.

타당한 기대입니다. 자동화 행정의 명분도 바로 여기에 있습니다. 그런데 이상한 일이 벌어집니다. 재량을 지운 시스템일수록, 문제가 자꾸 터집니다. 왜일까요?

편향을 지운 것이지, 판단을 지운 게 아니다

여기서 결정적인 착각 하나를 짚어야 합니다.

블라인드 오디션이 없앤 것은 '판단'이 아닙니다. 심사위원은 커튼 뒤에서도 여전히 음악을 듣고, 누가 더 잘하는지 스스로 판단합니다. 커튼이 없앤 것은 오직 하나, '누가 연주하는가'라는 편향의 입력값뿐입니다. 오히려 심사위원은 더 순수하게 판단하게 되었습니다.

알고리즘 행정은 정반대입니다. 편향을 지우는 것처럼 보이지만, 실제로 지우는 것은 판단하는 사람 그 자체입니다. "입력값을 표준화하면 공정해진다"는 말은 참입니다. 하지만 그것이 "판단을 통째로 기계에 넘기면 공정해진다"를 뜻하지는 않습니다. 이 둘은 전혀 다른 이야기인데, 슬쩍 뒤섞는 순간 자동화는 '공정'이라는 이름을 빌리게 됩니다.

그렇다면 우리가 지우려는 그 '판단', 재량이란 대체 무엇이었을까요.

인간이 운영하는 행정에는 사람이 중간중간 "이건 좀 이상한데?" 하고 멈춰 설 여유가 있었습니다. 규칙만으로는 걸러지지 않는 예외를, 사람이 알아채고 끊어주는 것이죠. 이것을 브레이크에 비유할 수 있습니다. 오류가 다음 단계로 번지기 전에 멈춰 세우는 완충장치입니다. 반대로 재량이 사라진 자동화 시스템은, 브레이크 없이 모든 차량이 한 줄로 단단히 묶인 고속열차와 같습니다. 맨 앞이 잘못 판단하면, 뒤따르는 전 차량이 그대로 끌려갑니다.

재량이 사라지면 '실질적 평등'도 사라진다

재량을 지우는 것이 늘 약자를 돕는다는 생각은, 현실에서 거꾸로 뒤집힌 적이 있습니다.

2006년 프랑스는 익명 이력서 제도를 법제화했습니다. 이름, 성별, 나이, 주소처럼 개인을 식별하는 정보를 모두 지운 이력서만 제출하게 한 것이죠. 출신이 아니라 실력으로만 평가받게 하려는, 선의의 제도였습니다. 그런데 대규모 무작위 실험으로 효과를 검증했더니 놀라운 결과가 나왔습니다. 소수자 지원자의 면접·채용률이 오히려 떨어진 겁니다. 원래 비소수자와 소수자의 면접률 격차는 2.4%포인트였는데, 익명 이력서에서는 그 격차가 13%포인트로 오히려 다섯 배 넘게 벌어졌습니다. 결국 이 제도는 2015년 무렵 사실상 폐기됩니다.

왜 이런 일이 벌어졌을까요. 소수자의 이력서에는 경력 단절 같은 '부정적 신호'가 담기기 쉽습니다. 정보가 살아 있을 때, 어떤 채용 담당자는 그 공백을 맥락 속에서 읽었습니다. "최근에 이주해 온 사정이 있었겠구나" 하고 사정을 헤아린 것이죠. 그런데 익명화가 그 맥락을 통째로 지워버리자, 공백은 아무 설명 없는 결함으로만 남아 더 가혹하게 해석되었습니다.

물론 이 사례는 양날의 칼입니다. 익명화가 소수자에게 불리하게 작용한 데는, 자발적으로 이 제도에 참여한 기업들이 애초에 소수자에게 우호적인 곳이었다는 사정도 있습니다. 그들의 배려가 익명화로 막히자 전체 수치가 나빠진 것이죠. 재량이 반대로 작동하는 기업이라면 익명화가 차별을 줄일 수도 있습니다. 그러니 이 사례는 "익명화는 무조건 나쁘다"가 아니라, 맥락을 읽는 사람의 판단이 사라진 자리에서 약자가 먼저 새어 나갈 수 있다는 경고로 읽는 것이 정확합니다.

재량과 자의는 다르다

여기서 앞서 세운 통념, "재량은 부패의 온상"이라는 반론을 정면으로 마주해야 합니다. 맞습니다. 개인의 사정과 무관하게 공무원과의 연줄로 이득을 챙기는 경로는 분명 존재했습니다.

그런데 그것은 재량이 아니라 자의(恣意)입니다. 둘을 가르는 기준은 분명합니다. 큰 틀의 규칙 안에서 정해진 범위 내에서 움직이는 것은 재량이고, 규칙 자체를 위반하면 자의입니다. 현장에서의 상황과 규칙에을 고려하여 유연하게 대응하는 것은 적극 행정이지만, 규칙의 선을 넘어 사익을 챙기는 것은 범죄입니다. 재량이 부패로 흐르는 것을 막아야 한다는 말은 옳지만, 그렇다고 판단하는 능력 자체를 없애는 것은 목욕물을 버리려다 아이까지 버리는 일입니다.

앞선 프랑스 사례가 이것을 보여줍니다. 소수자에게 우호적이던 기업들은 '차별하지 않는다'는 큰 규칙은 지키면서, 경력 공백을 어떻게 해석할지는 재량으로 남겨두고 있었습니다. 규칙과 재량이 함께 작동할 때 실질적 평등이 지켜졌던 겁니다. 행정도 마찬가지입니다. 큰 틀의 규칙은 지키되, 그 안의 여백을 재량으로 채워야 적극행정이 살아납니다.

"그래도 사람이 최종 검토하잖아?"

자동화 행정을 옹호하는 마지막 방어선은 이겁니다. "알고리즘이 판정해도, 뒤에서 사람이 최종 승인하니 안전장치가 있다."

우선 논리적으로 이상합니다. 사람의 재량이 못 미더워 알고리즘을 도입했는데, 다시 사람의 재량으로 검토하니 괜찮다는 것은 앞뒤가 맞지 않습니다. 논리를 떠나 실제 연구 결과도 이 방어선을 무너뜨립니다.

행정학자 사르 알론바르카트와 마달리나 부수이오크의 연구에 따르면, 공무원은 알고리즘의 조언 앞에서 두 가지 편향을 동시에 보였습니다. 하나는 기계라서 무조건 믿어버리는 과신이고, 다른 하나는 자기 고정관념에 들어맞을 때만 골라 받아들이는 태도입니다. 즉 인간의 최종 검토에는 이유 없는 맹신과 은근한 편견이 함께 개입합니다. 이쯤 되면 사람의 검토는 안전장치가 아니라, 문제가 생겼을 때 "사람이 확인했다"고 말하기 위한 알리바이에 가깝습니다.

알고리즘 자체의 한계도 있습니다. 알고리즘은 과거 데이터를 학습해 결과를 내놓습니다. 그 데이터에 과거 행정의 오류가 섞여 있으면, 알고리즘은 그 오류를 고스란히 물려받아 반복합니다. 한 번 잘못 배우고는 똑같이 수천 번 틀리는 신입사원인 셈이죠. 게다가 알고리즘의 속은 잘 열리지 않습니다. 어디서 어떻게 틀렸는지 들여다볼 수 없는 '속이 안 보이는 상자'라, 정밀하게 고칠 수도 없습니다.

책임의 문제도 남습니다. 사람이 한 일에 문제가 생기면 그 사람에게 책임을 물으면 됐습니다. 그런데 자동화된 판정에 문제가 생기면 누구에게 물어야 할까요. 데이터를 모은 쪽인지, 알고리즘을 만든 쪽인지, 운영한 기관인지, 최종 승인한 사람인지 불분명합니다. 모두에게 조금씩 책임이 흩어지면, 결국 아무도 책임지지 않는 결과가 됩니다.

재량은 어쩌면, 시스템에 남은 '사람의 자리'다

2014년 송파 세 모녀 사건 이후, 정부는 위기 가구를 미리 찾아내기 위한 시스템을 만들었습니다. 단전, 단수, 건강보험료 체납 같은 14개 기관의 27종 정보를 연계해, 도움이 필요한 사람을 데이터로 걸러내는 방식이었습니다.

그러나 2022년 8월, 생활고 끝에 세상을 떠난 수원 세 모녀는 이 시스템에 걸리지 않았습니다. 빚 독촉을 피해 화성에서 수원으로 옮기면서 전입신고를 하지 않았기 때문입니다. 주민등록상 주소인 화성으로 찾아가도 실제로는 살고 있지 않았고, 연락처도 확보되지 않아 발굴 절차가 그대로 멈췄습니다. 한 언론은 이렇게 표현했습니다.

전입신고를 하지 않았으니 개인의 잘못이라고 넘기기엔 가혹합니다. 이런 국민을 찾아내는 것이야말로 적극 행정의 몫이기 때문입니다. 실제로 이 사건 뒤 정부가 전 국민을 대상으로 사실조사를 하니, 주민등록지와 실거주지가 다른 사람이 7만 6,972명이나 나왔습니다. 그리고 단전·단수 같은 위기 정보로 추린 복지 위기가구 가운데 정부가 직접 찾아간 1만 7,429명 중 4,643명은 주소지에 실제로 살고 있지 않았습니다. 서류상의 주소만으로는 사람이 어디 있는지조차 알 수 없었던 겁니다. 시스템은 주소라는 '칸에 딱 맞아떨어지는 데이터'에 기대고 있었지만, 정작 사람을 살리는 일은 직접 찾아가 확인하는 발품, 곧 능동적인 재량이 필요한 지점에서 벌어졌습니다. 바로 그 지점에 구멍이 났습니다.

규칙으로 다 할 수 없는 일이 있다

어린이집 벌금 실험이 알려준 것은 이것입니다. 어떤 일은 도덕과 재량의 영역으로 남겨둘 때 더 잘 굴러갑니다. 사회의 모든 것을 규칙과 제도로 규율할 수 있다는 믿음은 매력적이지만, 위험합니다. 규칙을 촘촘히 할수록, 규칙이 밀어낸 자리에서 조용히 일하던 것들, 곧 도덕과 재량과 사람의 개입이 사라지기 때문입니다.

그러니 재량을 비용으로만 보아서는 안 됩니다. 재량은 오류를 걸러주고 완충해 주던, 사회에 남은 브레이크였습니다. 재량을 지우는 일은 실수를 지우는 일이 아닙니다. 실수를 걸러주던 브레이크를 통째로 들어내는 일입니다.

기술이 발전하고 온 세상이 AI로의 전환, 이른바 'AX'를 외치는 지금 필요한 원칙은 오히려 단순합니다.

편향은 지우되, 판단은 남겨두는 것.

효율이라는 이름으로 내 조직과 내 삶에서 융통성과 사람의 판단을 없애고 있지는 않은지, 한 번쯤 돌아봐도 좋을 것 같습니다.

참고문헌