🤖[47호] 인권과 안전을 위한 인공지능이 필요한 이유

💌 뉴스레터 47호

인디&임팩트 47번째 뉴스레터는 '인공지능'에 관한 원고를 준비했어요.

🛜얼마 전 끝난 세계 최대 정보기술(IT)·가전 전시회인 CES2024에서도 대회에 참가한 전 세계 4300개 기업 중 인공지능을 카테고리로 등록한 기업이 약 900개(약 21%)일 정도로 현재 세계 산업의 최대 화두는 인공지능이었는데요.

😎민간 분야에서부터 공공 분야에 이르기까지 인공지능이 급속하게 일상 곳곳에 스며들고 있지만 아직 제대로 된 규제는 없는 지금, 인공지능 기술을 개발하고 활용할 때 어떤 기준에서 바라보는 것은 중요한지 살펴보았습니다.

2024년 모두 올해 건강 잃지 말고 힘차게 새해 출발하시기 바랍니다. 인디&임팩트도 여러분의 한 해를 응원하겠습니다.!! 🖐️

인권과 안전을 위한 인공지능이 필요한 이유

인공지능(AI)은 최근 몇 년 동안 급속도로 발전하여 우리 삶의 다양한 측면에 많은 변화를 가져왔습니다. 인공지능 스피커, 번역 서비스, 배달 플랫폼 등 민간의 분야에서부터 채용 AI, 정부지원금 부정수급 탐지 시스템, 비자 심사 등 공공의 분야에서도 인공지능이 이미 활용되는 중입니다. 그리고 기술이 고도화됨에 따라 이 사회는 점점 더 중요한 시스템에 한 발 한 발 AI를 도입하고 있습니다.

인공지능은 이런 시스템 안에서 인간을 대신해 수많은 데이터를 처리하고 그것을 기반으로 결정을 내립니다. 누군가는 이러한 인공지능의 결정이 공정하고 평등할 것이라고 생각할 수도 있습니다. 하지만 인공지능이 데이터를 기반으로 한다는 것은 그 자체에 거대한 함정이 숨어있는 것입니다. 지금 우리 사회는 누구에게나 공정하고 차별이 없는 상태가 아니기에, 인공지능이 학습하는 데이터가 완전무결할 수 없기 때문입니다.

출처 : Ad series for UN Women, Memac Ogilvy & Mather Dubai, 2013.11.19. 당해 3월 9일 기준 구글에 “여성이 ~하면 안 된다(Women shouldn’t ~)”, “여성이 ~할 수 없다(Women cannot ~)”, “여성이 ~해야 한다(Women need to ~)”를 검색했을 때 나오는 내용들로 만들어진 성평등 캠페인 광고.

영국의 유니버시티칼리지 보건정보학연구소 연구진이 의료 알고리즘의 편향에 대해 조사한 결과 간 질환을 예측하는 알고리즘이 남성보다 여성의 간 질환을 놓칠 확률이 2배 높다는 사실이 밝혀졌습니다. 여성이 더 적은 수치 변화로도 간 질환이 발생할 수 있다는 사실을 간과한 채 남성을 데이터의 기준으로 삼았기 때문입니다. 또한 미국의 형사사법 절차에 사용되는 컴파스 알고리즘이 백인의 재범 확률보다 흑인의 재범 확률을 더 높게 예측하는 등 인종에 편파적인 결과를 내놓는다는 사실이 언론을 통해 알려지기도 했습니다.

출처: “How We Analyzed the COMPAS Recidivism Algorithm”, ProPublica, 2016.05.23. 컴파스 알고리즘에 따르면 백인의 경우 1점에 해당되는 사람이 가장 많고 고점으로 갈수록 비율이 줄어드는 반면 흑인의 경우 1점에서 10점까지 비슷한 비율로 판정을 받아 흑인의 재범 확률이 높은 것으로 제시됨.

학습데이터의 문제 뿐 아니라 인공지능을 개발하는 빅테크 플랫폼이 자사의 이익을 위해 알고리즘을 조작한 사례도 존재합니다. 한국의 카카오 택시의 경우, 알고리즘을 조작해 가맹택시에게 콜을 몰아주었다는 사실이 밝혀져 공정거래위원회로부터 과징금 257억 원을 부과받은 바 있습니다.

이러한 인공지능이 민간 뿐 아니라 공공 부문에도 도입되고 있는 것이 더 큰 문제입니다. 공공 부문에서 인공지능이 사용될 경우 그것을 거부하기도 어렵고, 결정에 따른 이의를 제기하기도 어렵기 때문입니다. 인공지능에 따른 결정은 그 과정과 결과에 이른 논거를 투명하게 설명하기 더 어렵습니다. 실제로 국제앰네스티에 따르면 세르비아에서 자동화된 사회복지 등록 시스템을 도입한 결과, 수당에 의존하는 저소득층이 오히려 사회 안전망에 배제됐으며 이러한 결과에 대해 소명하기 위해 아주 길고 복잡한 절차적 싸움을 벌여야만 했습니다.

이러한 이야기를 하는 이유는 인공지능에 의해 영향을 받는 것이 결국 인간이며, 인간의 권리이기 때문입니다. 인공지능이 사람의 편의를 돕는 것에서 그치지 않고 사람을 대상으로 예측하고 결정을 내릴 때 그 부정적 영향은 치명적일 수 있습니다. 인공지능에 의해 영향을 받는 인간이 기하급수적으로 늘어나고 있지만 아직 제대로 된 규제는 없는 지금, 인공지능 기술을 인권의 관점에서 바라보는 것은 매우 중요한 일입니다. 국가인권위원회에서도 2022년에 인공지능을 무분별하게 개발·활용할 경우 시민들의 안전과 인권을 위협하고 사회 곳곳에 부정적인 영향을 미칠 수 있다고 경고하고 인권 가이드라인을 마련한 바 있습니다.

인공지능에 대한 규제를 만들기 위한 움직임은 이미 전세계적으로 시작되었고, 2023년 12월 유럽연합에서 가장 먼저 인공지능 규제에 대한 합의안을 도출했습니다. 이 법안은 세계 최초로 인공지능을 포괄적으로 규율하는 법이며, 금지해야 하는 인공지능과 고위험 인공지능을 목록화하고 이에 대한 규제 방안을 마련했다는 것에 의미가 있습니다. 또한 인공지능으로 인해 받은 피해에 대한 구제 및 설명받을 권리도 포함되어 있습니다. 유럽연합 역내에서 활용되는 법안이지만, 상품과 서비스가 전세계 각국을 넘나드는 최근의 세태를 보면 마치 유럽 일반개인정보보호법(GDPR)처럼 한국을 비롯한 다른 나라의 규범 형성에 영향을 미칠 것으로 보입니다. 이외에 미국에서도 바이든 대통령이 범용 인공지능을 비롯한 인공지능의 위험을 규제하기 위한 행정명령을 발동해 각 부처가 구체적인 규제 지침을 마련하도록 했습니다. 사회 전 분야의 AI 활용을 규제하는 것은 아니지만, 미국 역시 AI 위험성을 규제해야 한다는 의지를 가지고 있음을 알 수 있습니다.

이처럼 인공지능을 규제하기 위한 움직임이 일어나는 와중에 한국에서는 ‘우선허용, 사후규제’ 원칙을 담은 인공지능 법안이 지난해 국회 소위를 통과해 시민사회의 우려를 사고 있습니다. 인공지능의 위험성에 대한 효과적인 감독과 피해 구제에 대한 규정이 없이, 위해가 있을 수 있는 인공지능을 시장에 우선적으로 출시할 수 있도록 하는 산업 진흥에 치우친 법안이기에 반드시 수정되어야 할 법안입니다.

인공지능을 무분별하게 개발하고 활용할 경우 사람의 안전과 인권을 위협하고 사회 곳곳에 부정적인 영향을 미칠 수 있습니다. 인공지능을 제대로 통제하기 위해서는 기술 발달에 상응하여 그 위험성을 통제하는 규제 체제가 반드시 필요합니다. 특히 인공지능의 불투명성 및 설명불가능성으로 인하여 책무성이 확보되지 못하고 법률의 집행이나 피해자 권리 구제가 어려워지는 문제에 대한 대책이 마련되어야 합니다.

[ProPublica] How We Analyzed the COMPAS Recidivism Algorithm, May 23, 2016

[Amnesty International] Serbia: World Bank-funded digital welfare system exacerbating poverty, especially for Roma and people with disabilities, December 4, 2023

[국가인권위원회] 인공지능 개발과 활용에 관한 인권 가이드라인(2022.5.17)

[매일경제] 인공지능法 제정안, 국회 법안소위 통과 (2023-2-14)

✨ 필자 희우

진보네트워크센터 그리고 인천인권영화제에서 활동하고 있습니다.

본 뉴스레터는 미디어운동에 대해 새롭게 질문하고 좀 더 발전할 수 있는 방법은 무엇인지 여러 사람들이 함께 고민하고 찾아가기 위해 발행됩니다.

미디어 환경이 빠르게 변화하고 각종 담론과 현상이 범람하는 가운데 과연 우리가 주목해야 할 대상은 무엇인지, 사람들의 삶을 개선하는 데 있어 정작 중요하게 필요한 미디어의 변화는 무엇인지 관점을 제공하는 공간을 만들고자 합니다.