되풀이되지 않아야 할, AI 사고 데이터베이스

안녕하세요! 독립미디어세미나입니다. 👀✨

2026년 2~3월에 걸쳐 'AI와 독립미디어'를 주제로 기사를 보내드릴 예정입니다.

이번 ACT! 142호에서 우리는 독립 창작자의 관점에서 AI를 바라봅니다. AI가 독립 창작자들에게 가져온 변화를 국내외에서 면밀히 살펴보고, 놓치지 말아야 할 지점 또는 아직 상상되지 못한 공공적·대안적 가능성을 짚어보려 합니다. 또한 빅테크 중심의 AI 산업에 개입하는 창작자와 노동자 주도의 거버넌스 구조를 상상해보고자 합니다.

이러한 관점에서 탐구하고 써내려 간 이번 주제, 재밌게 읽어주세요!

2016년 구글, 마이크로소프트, 아마존, 애플 등 주요 IT 기업과 연구자들이 설립한 PAI (Partnership on AI)는 공정한 AI 가이드라인을 수립하고 모범 사례와 공공 정책을 제시하는 등 AI가 사회를 위해 긍정적이고 윤리적으로 활용될 수 있도록 연구하는 비영리 조직이다. 2020년 11월 PAI는 AI 시스템과 관련된 실패, 오류, 안전 문제, 편향성 및 공정성 문제 등을 기록하고 공유하는 사건 사고 데이터베이스 웹사이트, AIID(AI Incident Database)를 출시했다. 정부와 기업, 개인의 AI 사용이 지속적으로 증가하고 있는 한편, 2018년 자율주행 차량에 의한 첫 보행자 사망 사고나 2019년 안면인식 기술의 인종 편향으로 인해 무고한 흑인 남성이 체포된 사례와 같이 AI 시스템의 작동이 비의도적으로 혹은 의도적으로 실패하는 사례들 또한 계속해서 보고되고 있다. 2025년 현재 1,300건 이상의 AI 사고 데이터베이스를 공개하고 있는 AIID는 연구자, 개발자, 정책 입안자들이 반복되는 AI 사고를 설계, 개발 및 활용 과정에서 사전에 예방하고 개선할 수 있도록 하기 위해 AI 사고 사례를 수집하고 분류해 제공한다.

AI 사고 데이터베이스 웹페이지

데이터베이스의 각 사건은 고유 ID가 부과되며, 후속 기사와 연구논문이 타임라인별로 구축되어 주제나 키워드로 검색이 가능하다. 최근 한국의 사례를 다루는 1270번 사건은 2025년 10월 15일 연세대학교 학생들이 중간고사 시험에 AI를 활용한 집단 부정행위 사건을 서울대, 고려대의 유사 사례와 함께 언급하는데, ChatGPT와 연관된 사례이자 AI의 인식론적 무결성, 학문적 무결성이 침해된 사례로 분류된다. 72번 사건은 2017년 팔레스타인 남성이 페이스북에 아랍어로 “좋은 아침(good morning)”을 쓴 게시물이 페이스북의 자동 번역 소프트웨어에 의해 히브리어 “Attack Them(그들을 공격해라)”로 오역되어 이스라엘 경찰에 의해 체포된 사건을 보고한다. 1305번 사건은 영국 정부가 경찰과의 협력을 목적으로 수행한 안면인식 기술 실험에서 아시아인과 흑인에 대한 높은 위양성률(False Positive Rates)을 보였다는 연구 결과와 기사들을 다룬다. 알고리즘의 학습 데이터에서 비영어권 언어가 충분히 반영되지 않고 AI에 내재된 편향성을 드러낸 사례인 앞선 두 사건은, AI가 ‘비의도적으로’ 부정적 결과를 초래한 경우로 분류된다.

반면 659번 사건은 이스라엘의 안면인식 기술 기업 Corsight AI가 ‘의도적으로’ 팔레스타인인의 인구를 통제한 사례를 다룬다. Corsight AI는 앞서 언급된 사례와 같은 AI 편향성 문제에 대항하여 인종, 성별, 나이 등의 요인과 무관하게 정확한 식별이 가능한 반편향 알고리즘(Anti-BiasAlgorithms)을 지향한다고 강조한다. 특히 마스크를 착용하거나 얼굴이 가려진 상황에서도 안면인식의 높은 정확도를 유지한다는 점을 강점으로 내세우며, 유색인종도 정확하게 식별하는 공정하고 윤리적인 안면인식 기술을 통해 인구통계학적 편견을 완화하는 AI 솔루션 개발을 목표로 하고 있음을 언급한다. 그러나 AIID의 보고는 Corsight AI의 안면인식 기술이 이스라엘군 정보부대에 의해 가자지구 전역에 도입되어 검문소, 군중, 드론 영상 등에서 팔레스타인 민간인에 대한 대규모로 감시를 수행하고 있다고 설명한다.

AIID의 659번 사건 "가자지구에서 이스라엘군이 팔레스타인 주민 식별을 위해 대규모 얼굴 인식 프로그램을 사용한 것으로 알려짐"

AIID는 Corsight AI 관련 사건에서 세 편의 기사를 다룬다. 그중 뉴욕타임스 기사는 Corsight AI가 2023년 10월 7일 하마스의 기습 공격 이후 이스라엘 인질과 팔레스타인의 무장 단체와 연관된 사람을 식별하기 위한 명분으로 가자 지구에 도입되었으나, 팔레스타인인의 정보를 무단으로 수집해 신원을 파악하고 목록화하고 있다고 지적한다. 또한 무장 단체와 무관한 민간인을 수배 중인 하마스 조직원으로 오인한 사례를 언급한다. 이에 더해 Corsight AI는 군중 속에서 특정 인물을 수색하고 선명도가 떨어지는 드론 영상에서 안면인식의 오인식률을 낮추기 위해 구글의 무료 플랫폼인 구글 포토를 활용했는데, 이 과정에서 구글 포토는 팔레스타인인의 얼굴을 스캔한 데이터를 수집해 데이터베이스를 구축하고, 스캔된 얼굴을 해당 데이터베이스와 대조함으로써 신원을 확인하는 데 사용되었다.

Corsight AI가 주장하는 반편향성과 안면인식의 정확성이 충분히 검증되지 않은 상황에서, Corsight AI는 팔레스타인뿐만 아니라 영국 에식스 주에서 경찰의 공공장소 치안 유지 및 범죄자 식별과 미국의 대형 쇼핑몰 ‘몰 오브 아메리카’에서의 보안 강화와 잠재적인 위험 감지에 활용되고 있다. 즉 Corsight AI의 사례는 이스라엘에서 개발된 AI 시스템이 기업이나 정부 기관의 보안 인프라와 결합되어 광범위한 실험을 거친 뒤, 팔레스타인인에 대한 대규모 감시와 일상적 통제에 활용되는 과정을 보여준다. 또한 전 세계적으로 확산된 기술 개발 네트워크와 긴밀하게 관계 맺으며 자사 기술의 보완을 위해 글로벌 빅테크 기업이 제공하는 서비스를 사용하고 기존의 정치적·사회적 체계를 강화하는 한편, 안면인식 기술의 오인식으로 인해 비의도적인 AI 사고가 반복되는 문제적 상황을 집약적으로 드러낸다.

히토 슈타이얼은 인공지능을 비롯한 기계의 시각성이 반영하는 편향성과 그로 인한 부정적인 사회적 영향을 고려할 때, 인공 ‘지능(intelligence)’이라는 명칭 자체가 부적절하며, 오히려 우리 주변에 산재한 ‘인공 우둔함(artificial stupidity)’에 대해 더 많은 논의가 필요하다고 주장한다. 이러한 문제의식은 AI의 긍정적 효과에 주목하며 반복되는 AI 사고를 예외적 상황으로 간주하기보다, AI의 오작동과 편향이 사회에 내재한 구조적 문제에서 비롯된다는 점을 인식할 필요성을 제기한다. AI 사고에 대한 기업의 책임을 강조하며 AIID를 기획한 션 맥그리거 역시 대기업의 AI 사고에서 가장 중요한 것은 ‘같은 일이 두 번 다시 일어나지 않도록 하는 것’이며, ‘첫 번째 실수로부터 배우고 두 번째 실수에 대해서는 반드시 책임을 져야 한다’고 말한다. 이와 같은 관점에서 볼 때, AI 사고와 AI 시스템의 윤리적 실패의 예방은 AIID와 같은 사고 데이터베이스가 이미 발생한 사건을 사후적으로 보고하고 수집 및 분류하는 것을 넘어, 사고의 책임 주체를 추적하고 사고의 발생을 촉발한 사회적·정치적 조건을 지속적으로 성찰하며 가시화하는 과정을 통해 가능해질 것이다.