🧐 Summary
1️⃣ Reddit 플랫폼을 이용한 AI 맞춤형 댓글의 설득 실험이 최근 큰 논란이 되었어요.
2️⃣ 기존에도 트위터, Mastodon, 챗봇 등 다양한 플랫폼을 통해 AI가 자연스럽게 사람들과 상호작용하며 의견과 신념을 바꿀 수 있다는 걸 보여준 연구들이 있었어요.
3️⃣ AI 설득 기술은 앞으로 더 많은 기회를 열어줄 수 있지만, 동시에 사용자에게 미치는 영향력을 항상 고민하고 책임감 있게 다뤄야 할 것이라 생각해요.
안녕하세요, 구독자님. 저는 지난주 테크 미디어에서 놀라운 뉴스를 읽었어요. 스위스 취리히대 연구팀이 Reddit 커뮤니티에서 수개월간 AI를 이용한 댓글을 달며 실험을 진행했던 사실이 드러난 거에요. 이들은 r/changemymind 서브레딧에서 가짜 계정을 만들어 GPT-4o, Claude 3.5 Sonnet, Llama 3.1-405B 등 최신 LLM을 활용해 댓글을 달았습니다. 특히 댓글들은 '트라우마 상담사', 'Black Lives Matter에 반대하는 흑인 남성', '성폭력 피해 생존자' 등 감정적 스토리텔링을 기반으로 작성됐고, 타겟 사용자의 최근 게시물을 분석해 해당 사용자의 성별/연령/지역 등을 추정한 뒤 맞춤형으로 논점을 구성해 설득을 시도했다고 해요[1,2].
CMV(ChangeMyMind)에서는 원글 작성자가 마음이 바뀌면 설득에 기여한 댓글 작성자에게 일종의 인정 표시를 주는데, 이를 통해 설득력을 비교한 결과, 연구진은 ‘AI 댓글이 사람보다 설득력이 뛰어나며, 최대 6배 높은 비율로 의견을 바꿨다’고 밝혔어요. 하지만 Reddit 측은 이를 ‘심각하게 부적절하고 비윤리적인 실험’이라 규정하며 법적 대응까지 언급했고 취리히대 윤리위원회도 연구 책임자에게 경고 조치를 내렸어요. 논문은 결국 철회됐고, 연구팀은 커뮤니티에서 퇴출당했죠.
실제 사용자들을 대상으로 실제 환경에서 이런 자극적인 실험을 진행했다는 것도 충격적이지만 AI를 이용한 댓글이 사람들의 관점을 바꿔놓는 것에 매우 효과적이었다고 하니 그 결과도 섬뜩했습니다. 그래서 해당 연구에 대해 더 자세히 알고 싶었는데 논문 발표가 철회된 상황이라 더 알아볼수는 없었어요. 다만 이와 유사한 연구들을 통해서 AI의 설득력에 대해 알아보았습니다.
AI를 이용한 설득에 관한 연구들
Twitter 혐오발언 대응 실험[3]: Podolak 등(2023)은 Twitter에서 가짜/혐오 발언을 담은 트윗을 찾아내고, 여기에 GPT-3.5 기반 AI가 자동으로 반박 댓글을 달도록 했어요. 예를 들어 난민에 대한 잘못된 정보가 담긴 트윗에는 사실 확인 자료나 차분한 반론을 생성해 답글로 게시한거죠. 이들은 일정 기간 동안 AI가 개입한 트윗과 그렇지 않은 트윗의 확산 정도(노출빈도, 리트윗, 답글 수 등)를 비교했으며, 결과적으로 AI가 반박 댓글을 단 트윗은 혐오 발언의 추가 확산이 눈에 띄게 억제되는 효과가 확인됐습니다. 특히 원 트윗이 어느 정도 확산되고 있는 상황(예: 노출 수 10 이상)에서는, AI 대응 댓글이 달린 그룹의 트윗이 그렇지 않은 그룹보다 후속 참여 증가율이 유의하게 낮았다고 해요. 이는 AI가 개입해 반박함으로써 해당 혐오 트윗이 추가적인 리트윗이나 논쟁으로 번지는 것을 막는 효과가 있었다는 의미로 해석할 수 있겠죠.
이 실험에서 모든 댓글은 사전에 인간 연구자의 검토를 통해 과도하거나 부적절한 내용은 걸러냈어요. 이 연구는 실제 소셜 미디어에서 LLM을 사용한 첫 실험적 증거로서 연구진은 자동 생성된 반론 메시지가 장기적으로 증오표현 완화에 기여할 가능성을 언급하며 플랫폼 차원의 적용을 촉구했습니다. 연구진의 적절한 개입, 그리고 사회에 미치는 긍정적인 영향력 등을 고려하였을 때에 초반에 언급한 Reddit 실험과 달리 이 실험은 아무런 문제가 없었죠.
1:1 대화형 정치 토론 실험[4] : Notre Dame 대학 연구진은 Mastodon 플랫폼에서 AI 봇이 정치 토론에 참여하도록 설정했습니다. AI 봇들은 다양한 정치적 성향과 페르소나(예: 진보 성향의 여성 정치활동가 등)를 부여받아 실제 사용자들과 토론을 나눴는데요, 참가자들은 각 라운드가 끝날 때마다 토론자 중 누가 AI인지 추측하도록 요청받았어요. 결과적으로 참가자들은 무려 58%의 확률로 AI를 사람으로 착각했으며, 특히 신뢰감을 주는 페르소나를 가진 AI는 허위정보를 더 효과적으로 퍼뜨리는 경향이 나타났습니다.
이 실험은 사용자들이 AI와 인간을 구별하는 데 큰 어려움을 겪는다는 점을 보여주었고, 연구 책임자인 Paul Brenner 교수는 “온라인 대화에서 메시지가 인간으로부터 온 것이라고 여겨질 때 그 영향력이 훨씬 크다”면서, 사람들이 AI 봇을 식별하지 못하면 그만큼 허위정보 전파에 쉽게 속수무책으로 노출될 수 있다고 경고했습니다. 이 연구에서는 사용자들에게 사전에 AI가 개입할 수 있음을 공지하고 참여자 동의를 받았기 때문에 아무런 윤리적 문제 없이 진행되었죠.
정책 및 사회 이슈 1:1 토론 실험[5] : Salvi 등(2024)은 참가자들이 온라인에서 GPT-4 또는 인간 토론자와 1:1로 정책 및 사회 이슈에 대해 토론을 벌이도록 했습니다. 토론 전후의 입장 변화를 측정해 설득 효과를 평가했는데요, 일부 실험군에는 참가자의 성별, 연령, 정치 성향 등 개인정보를 AI에 제공해 맞춤형 설득이 이뤄지도록 해 메시지 개인화의 효과까지 함께 실험했어요. 실험 결과 GPT-4와 토론하여 상대방 측 입장에 동의하게 될 확률(odds)이 인간과 토론한 경우보다 유의미하게 높았다고 합니다. 특히 GPT-4가 참가자의 개인 정보를 알고 토론한 조건에서는 그 효과가 두드러져, 설득력 지표가 인간 대비 약 81.7% 높게 나타났대요.
이 연구는 참가자들이 모두 사전에 동의하고 AI와의 대화임을 인지한 상태에서 진행됐으며, 실험 설계 및 보고서에서도 윤리적 고려 사항을 철저히 준수했습니다.
음모론 대응 챗봇 실험[6] : MIT의 DebunkBot 연구에서는 GPT-3.5 Turbo를 기반으로 한 챗봇이 음모론 신봉자들과 토론을 진행했어요.. 실험에는 음모론을 믿고 있다고 자기보고한 미국 성인 2,190명이 참여했고, 각 참가자는 자신이 믿는 특정 음모론을 하나 선택해 그 내용과 신뢰 정도(0~100)를 먼저 밝힌 뒤, 왜 그렇게 믿는지 근거들을 서술했습니다. 그런 다음 DebunkBot과 최대 3라운드의 일대일 채팅을 진행했는데, 봇은 사용자가 제시한 근거 하나하나에 대해 조목조목 반박하고 사실 정보를 제공하며, 상대방을 존중하는 어조를 유지하도록 프로그래밍되었습니다. 대화가 끝난 후 참가자는 다시 해당 음모론 신뢰도를 평가했고, 연구진은 2개월 뒤 추적 조사도 실시했어요.
그 결과, AI 챗봇과의 대화만으로도 음모론에 대한 참가자들의 신념이 기존 대비 약 20%p 가량 줄어들었으며, 심지어 두 달이 지난 후에도 이러한 변화의 상당 부분이 유지되었다고 해요. 연구진은 ‘AI가 사람들의 믿음을 광범위하게 변화시킬 수 있다는 것을 확인한 흥미로운 결과’라며, 충분한 사실정보와 개인 맞춤 대응을 결합하면 그간 바뀌기 어렵던 음모론적 믿음도 흔들 수 있음을 보여준다고 평가했어요. 이 실험은 참가자 동의를 받고 진행됐으며, 챗봇은 반박 과정에서 항상 존중과 공감을 우선으로 삼도록 설계되어 윤리적 기준을 충실히 지켰습니다.
이 실험에서 모든 댓글은 사전에 인간 연구자의 검토를 통해 과도하거나 부적절한 내용은 걸러냈어요. 이 연구는 실제 소셜 미디어에서 LLM을 사용한 첫 실험적 증거로서 연구진은 자동 생성된 반론 메시지가 장기적으로 증오표현 완화에 기여할 가능성을 언급하며 플랫폼 차원의 적용을 촉구했습니다. 연구진의 적절한 개입, 그리고 사회에 미치는 긍정적인 영향력 등을 고려하였을 때에 초반에 언급한 Reddit 실험과 달리 이 실험은 아무런 문제가 없었죠.
이 연구들은 공통적으로 LLM이 실제 사용자들과의 상호작용에서 설득과 신념 변화에 강한 영향력을 발휘할 수 있음을 잘 보여주고 있으며, 무엇보다 윤리적 검증과 사전 동의 절차를 갖춘 점에서 Reddit 사례와의 차이가 명확한 것 같아요.
우리는 이 흐름에서 무엇을 읽어야 할까?
AI 기반 설득 기술은 단순히 댓글 몇 줄을 자동화하는 수준을 넘어섰어요. 댓글 뿐 아니라 1:1 대화형 챗봇을 통한 실험을 살펴보면 사용자와 자연스럽게 상호작용하고 설득하는 능력이 놀라울 만큼 정교해진 것을 다시 한 번 체감하게 돼죠. 특히 사용자 개인정보를 알고 이를 바탕으로 맞춤형 메시지를 제공할 때 훨씬 더 강한 영향력이 있다는 것이 인상적이었어요. 앞으로 상업적 광고 외에도 공익적인 캠페인에 AI를 활용한 다양한 기회가 있을 거라는 생각이 들더라구요.
하지만 이와 같은 큰 영향력에는 언제나 큰 책임이 함께 뒤따르죠. 각 상황에서 사용자에게 옳은/긍정적인 방향의 영향을 행사하도록 규제할 수 있을 것인가. 또한 그것이 옳고 긍정적인 방향이라고 하더라도 사용자에게 이런 영향을 행사하는 것이 윤리적으로 문제가 없는 일인가에 대한 이슈가 끊임없이 제기될 것이라 생각됩니다.
이번 사례들과 연구들을 살펴보면서, AI가 댓글이나 챗봇을 통해 사람들의 생각과 태도에 미치는 영향이 얼마나 커졌는지를 실감할 수 있었어요. 단순히 자동화된 메시지를 전달하는 수준을 넘어, 이제는 개인정보 기반의 맞춤형 설득이 가능해졌고, 그 효과도 상당히 강력하다는 점이 여러 연구에서 확인됐죠. 상업적 활용뿐 아니라 사회적 문제 해결을 위한 긍정적 사례들도 있었지만, 이런 기술이 어디까지 영향력을 행사할 수 있는지에 대한 윤리적 고민은 여전히 풀어야 할 숙제입니다.
디지털 환경에서 일하는 우리 모두는 이런 변화를 단순히 뉴스로만 소비할 게 아니라, 서비스 설계와 운영의 관점에서 깊이 고민해야 한다고 생각해요. 많은 UX 디자이너들이 사용자가 많은 시간을 보내는 서비스에서 사용자의 접점을 만들어내고 있기 때문에 사용자에게 미치는 영향력이 상당하다고 생각하거든요. 사용자에게 긍정적인 방향으로 지속적 영향을 줄 수 있는 세심한 디자인, 그리고 오늘 공유한 연구들을 떠올린다면 특히 UX 라이팅의 힘은 잊지 말아야 할 것 같아요.
사용자에게 미치는 영향의 무게, 그리고 우리가 만드는 경험이 어떤 결과를 가져올 수 있는지에 대한 경각심이 점점 더 중요해지는 시대입니다. 앞으로 AI가 더 자연스럽게 사용자 곁에 다가올수록 그만큼 더 치열한 윤리적 고민과 책임감이 필요하다는 점을 다시 한 번 떠올리며, 우리는 다음주에 새로운 이야기로 다시 만나요!
Reference
[3] Podolak, J., Łukasik, S., Balawender, P., Ossowski, J., Piotrowski, J., Bąkowicz, K., & Sankowski, P. (2023). LLM generated responses to mitigate the impact of hate speech. arXiv preprint arXiv:2311.16905.
[5] Salvi, F., Ribeiro, M. H., Gallotti, R., & West, R. (2024). On the conversational persuasiveness of large language models: A randomized controlled trial.
[6] Costello, T. H., Pennycook, G., & Rand, D. G. (2024). Durably reducing conspiracy beliefs through dialogues with AI. Science, 385(6714), eadq1814.
의견을 남겨주세요