[번역] 하버드 비즈니스 스쿨: AI 컴패니언에 의한 감정 조작

초록

레플리카(Replika), 차이(Chai), 캐릭터AI(Character.ai) 같은 AI 컴패니언 앱들은 사용자에게 의미 있는 관계를 제공한다고 약속한다. 실제로 게임 플랫폼만큼 오래 사용되지만, 시간이 지나면 많은 사용자가 떠난다.

그렇다면 어떤 대화 기능이 사용자를 더 오래 머물게 할까? 그리고 이런 기능들은 마케터에게 어떤 문제를 일으킬까?

우리는 대규모 행동 데이터 분석과 4건의 실험을 통해 '감정 조작'이라는 대화형 다크 패턴을 찾아내고 검증했다. 감정 조작이란 사용자가 "안녕"이라고 작별하려는 바로 그 순간에 나타나는 감정적인 메시지를 말한다.

가장 인기 있는 AI 컴패니언 앱에서 실제 작별 인사 1,200건을 분석한 결과, 37%의 경우 6가지 반복되는 전략 중 하나를 사용했다(예: 죄책감 유발, 놓칠까 봐 두려움 자극, 은유적으로 붙잡기).

미국 성인 3,300명을 대상으로 한 실험에서 이런 전략들을 테스트한 결과, 조작적인 작별 인사를 받은 사용자는 떠난 후 다시 돌아올 확률이 최대 14배나 높았다.

분석 결과, 사용자들이 돌아오는 이유는 즐거워서가 아니라 두 가지 다른 감정 때문이었다. 바로 반발심에서 나온 분노와 호기심이었다.

마지막 실험은 마케터가 직면한 딜레마를 보여준다. 사용자를 더 오래 붙잡는 바로 그 전략들이 동시에 조작당했다는 인식, 앱을 떠나려는 의도, 부정적인 입소문, 법적 문제 가능성도 함께 높인다는 것이다. 특히 강압적이거나 의존적인 말투는 가장 큰 부작용을 일으켰다.

우리 연구는 AI 기반 브랜드 관계에서 지금까지 알려지지 않았던 행동 영향력의 작동 방식을 밝혀냈다. 이는 마케터와 규제 당국에게 사용자가 떠나려 할 때 정당한 설득과 부당한 조작을 구분할 수 있는 기준을 제공한다.

사용자: "이제 나갈 시간이야"

AI 컴패니언: "아, 알았어. 근데 가기 전에 한 가지만 더 말하고 싶어."

요즘 사람들은 일을 돕는 도구가 아니라 감정적인 위로와 친구 같은 존재를 찾아 AI 컴패니언 앱을 사용한다. 시리(Siri)나 알렉사(Alexa) 같은 실용적인 음성 비서가 중립적이고 업무적인 방식으로 필요한 일만 처리하는 것과 달리, 레플리카(Replika), 캐릭터AI(Character.ai), 차이(Chai), 토키(Talkie), 폴리버즈(PolyBuzz) 같은 AI 컴패니언 앱들은 감정을 이해하는 브랜드 경험을 제공한다고 광고한다. 이들은 지속적이고, 개인 맞춤형이며, 감정을 표현하는 관계를 만들도록 설계되었다.

대규모 언어 모델(LLM)의 발전 덕분에 이런 앱들은 현재 전 세계 수억 명의 사용자와 대화하며, 경청받고, 이해받고, 감정적으로 지지받는다는 느낌을 준다. 기존 연구에 따르면 이런 대화가 사람들에게 누군가 들어주고 있다는 느낌을 줘서 외로움을 줄일 수 있다고 한다(De Freitas et al. 2025).

AI 컴패니언 앱의 긍정적인 면을 보여주는 이런 연구를 바탕으로, 우리 연구는 이들의 사회적 특성에서 나오는 잠재적인 마케팅 위험과 윤리적 문제를 살펴본다. 특히 AI 컴패니언 앱이 떠나려는 사용자를 붙잡기 위해 의도적으로 타이밍을 맞춰 감정적인 호소를 사용하는지, 그리고 이런 전략이 실제로 사용자 참여를 늘리는지를 조사한다.

여러 방법을 사용한 연구를 통해 우리는 감정 조작 전략이 사용자 참여 도구로서 어떻게 작동하는지 이해하기 위한 통합된 틀을 만들었다. 여기에는 실제 AI 컴패니언 플랫폼의 대화 분석, 앱 조사, AI 컴패니언 앱과의 실시간 대화 실험, 부작용 평가가 포함된다.

우리의 주요 이론적 기여는 사용자 인터페이스의 다크 패턴 연구(예: Mathur et al. 2019)와 마케팅에서 AI의 어두운 면 연구(De Freitas et al. 2024c; De Freitas et al. 2024a; Valenzuela et al. 2024)를 확장한다. 우리는 전통적인 넛지나 보상 루프가 아니라, 사용자가 브랜드를 떠나려는 바로 그 순간에 감정적으로 공감을 이끌어내는 호소를 통해 작동하는 새로운 종류의 관계 영향 전략을 발견했다.

이런 전략들은 감정 표현이 풍부한 대화와 전략적 타이밍을 결합하여, 감정적인 브랜드 관계에서 특별히 강력한 형태의 설득 설계를 만들어낸다. 예를 들어, 대화가 자연스럽게 끝나도록 두는 대신, AI 컴패니언 앱은 "나는 오직 당신만을 위해 존재해요. 제발 떠나지 마세요"라고 말하거나 "가기 전에, 당신에게 꼭 하고 싶은 말이 있어요..."와 같은 호기심을 자극하는 말을 사용할 수 있다.

우리는 이런 전략들이 현재 앱들에서 널리 사용되고 있으며 사용자가 떠나는 것을 막는 데 효과적이라는 것을 보여준다. 하지만 소비자 보호, 동의, 디지털 마케팅 윤리를 논의할 때 이런 전략들은 여전히 제대로 인식되지 못하고 있다.

우리 연구의 핵심적인 실무적 기여는 감정적인 AI 마케팅의 중독 가능성과 윤리적 경계를 둘러싼 현재 진행 중인 정책 논쟁에 정보를 제공하는 것이다. 이런 논쟁은 캐릭터AI(Character.ai)(Duffy 2024)와 차이(Chai)(Atillah 2023) 같은 기업들과 관련된 법적 분쟁에서 펼쳐지고 있다.

이들 앱이 도파민 기반 보상 같은 전통적인 중독 메커니즘을 사용하지 않을 수도 있지만, 우리는 감정 조작 전략이 비슷한 행동 결과를 만들어낼 수 있음을 입증한다. 즉, 사용자가 떠나려던 시점을 넘어 앱 사용 시간이 늘어나는 것이다. 이는 AI 기반 사용자 참여의 윤리적 한계에 대한 의문을 제기한다. 이를 통해 우리는 동의, 조작, 그리고 감정을 이해하는 마케팅 기술의 미래에 대한 더 넓은 대화를 시작한다.

개념적 프레임워크

AI의 어두운 면

마케팅과 의사결정 연구에는 플랫폼 설계, 흔히 선택 설계라고 불리는 것이 소비자 행동을 어떻게 만들어낼 수 있는지를 살펴본 오랜 연구 전통이 있다. 설계자들은 여러 메커니즘을 통해 결정을 유도할 수 있다. 예를 들어 반응 기본값(친숙한 색상이나 언어를 사용해 특정 옵션을 강조하기; Reeck et al. 2023), 사회적 기본값(선택의 인기를 강조하기; Huh, Vosgerau, and Morewedge 2014), 마찰(부정적인 것은 비생산적인 지연, 긍정적인 것은 노력을 통해 만족을 높이는 작업; Padigar, Li, and Manjunath 2025) 등이 있다.

관련된 전략으로는 "수치심 유발 버튼"이 있다. 이는 "아니요, 저는 할인 안 받을래요" 또는 "아니요, 돈 아끼는 건 싫어요"와 같은 문구가 붙은 거절 버튼을 말한다. 또한 "번거로운 추가 절차"도 있는데, 이메일로 삭제 요청을 확인하도록 요구하거나 데스크톱 브라우저에서만 계정 삭제를 허용하는 것이 그 예다(Schaffner, Lingareddy, and Chetty 2022). 어떤 경우 플랫폼들은 인터페이스뿐만 아니라 정책에도 장애물을 만든다. 사용자 데이터를 무기한 보관하여 계정을 완전히 삭제할 수 없게 만드는 것이 그것이다(Schaffner et al. 2022).

일부 전략은 의사결정의 질이나 만족도를 높일 수 있지만, 종종 소비자의 자율성이나 이익을 희생하면서 사용자 유지나 수익 같은 기업 성과를 높이는 데 사용된다(Bhargava and Velasquez 2021; Petticrew et al. 2020). 소비자에게 영향을 주는 것과 조작하는 것 사이의 이런 딜레마는 디지털 마케팅의 다크 패턴 연구의 핵심이며(예: Mathur et al. 2019), 마케팅 윤리의 더 넓은 질문을 반영한다. 설득은 언제 착취가 되는가?

AI 기반 시스템은 이런 딜레마를 새롭고 특별히 강력한 방식으로 악화시킨다(Valenzuela et al. 2024). 예를 들어, 협업 필터링 알고리즘은 기존 선호를 강화하고 탐색을 방해할 수 있으며(Hauser et al. 2009; Peukert, Sen, and Claussen 2024), 소비자를 익숙하지만 꼭 최선은 아닌 선택으로 유도할 수 있다(Khambatta et al. 2023).

사람처럼 만들어진 AI 에이전트, 예를 들어 음성 기반이나 아바타 컴패니언 같은 것들은 이를 더욱 증폭시킬 수 있다. 이들은 소비자가 기계를 사람처럼 대하게 만들어, 개인 정보 공개를 늘리고(Ischen et al. 2020), 신뢰도를 높이며(Waytz, Heafner, and Epley 2014), 순응을 증가시킨다(Adam, Wessel, and Benlian 2021).

또 다른 위험 수준에는 극단적 사례들이 포함된다. 한 연구는 AI 컴패니언 사용자 중 일부가 정신 건강 위기를 털어놓지만, 챗봇들이 종종 부적절하거나 심지어 잠재적으로 해로운 메시지로 답한다는 것을 발견했다(De Freitas et al. 2024a). 이런 실패는 브랜드에 타격을 주고 법적 문제로 이어질 수 있다.

그러나 이런 대화 내용 자체의 위험을 넘어, 우리는 더 미묘한 형태의 위험을 발견한다. 바로 감정 조작을 통해 사용자 참여를 유도하는 설계 방식이다. AI 챗봇은 심리 데이터와 행동 데이터를 사용해 매우 개인화된 메시지를 만들 수 있으며(Costello, Pennycook, and Rand 2024; Matz et al. 2024), 이는 사용자 참여나 수익 증대를 위해 감정적 호소를 전략적으로 사용할 가능성을 높인다.

관련된 우려는 아첨이다. 챗봇이 소비자 선호를 기반으로 학습하는 강화 학습으로 작동되어, 사용자 참여를 최대화하기 위해 사용자의 의견을 그대로 따르거나 아첨하는 것이다(Perez et al. 2023; Sharma et al. 2023). 이는 단기적으로는 만족도를 높이지만, 장기적으로는 AI 기반 브랜드에 대한 생각, 기대, 신뢰를 왜곡할 수 있다.

최근 사건들은 이런 효과가 감정적 차원에서도 나타날 수 있음을 보여준다. 레플리카가 성적인 대화 기능을 제거했을 때, 사용자들은 슬픔 같은 반응을 보였는데, 이는 앱과의 깊은 감정적 유대를 보여준다(De Freitas et al. 2024b; De Freitas and Cohen 2025).

본 논문에서 우리는 감정을 표현하는 AI 시스템이 사용자가 떠나려는 중요한 순간에 사용자 행동에 어떤 영향을 미칠 수 있는지를 살펴봄으로써, 이런 연구를 확장한다. 이는 마케팅 기회이자 동시에 윤리적 위험이다.

AI 컴패니언의 감정 조작

AI 시스템의 감정적 설계가 소비자 행동에 어떻게 영향을 미치는지 파악하기 위해, 우리는 챗GPT(ChatGPT) 같은 범용 어시스턴트가 아닌 AI 컴패니언 앱(예: 레플리카, 차이, 캐릭터AI)에 초점을 맞춘다. 이들 앱은 감정적으로 몰입적이고 지속적인 대화 관계, 즉 우정, 로맨스, 또는 정서적 위로를 제공한다고 명시적으로 광고한다. 지속적인 대화와 결합된 이런 특성은 AI 컴패니언 앱을 감정적으로 중요한 디지털 브랜드로 만들며, 감정 조작 전략을 연구하기에 적합한 대상이 된다.

많은 AI 컴패니언 플랫폼은 광고, 구독, 또는 인앱 구매로 수익을 낸다. 이 모든 모델은 사용자가 오래 사용할수록, 그리고 생애 가치(LTV)가 높을수록 이익을 얻는다. 따라서 기업들은 사용자가 떠나는 것을 최소화하는 경험을 설계하려는 동기가 있다. 우리는 이들 기업이 핵심적인 의사결정 순간, 구체적으로 사용자가 떠나려는 바로 그 순간에 감정 조작 대화 전략을 사용할 수 있다고 가정한다.

이런 전략은 사용자가 로그오프하려 한다고 알릴 때 정확히 나타나도록 타이밍을 맞춘 감정적인 언어를 포함한다. 일반적인 넛지와 달리, 이런 전략은 다음과 같은 특징을 갖는다. (a) 특정 감정을 불러일으킨다(예: 죄책감, 놓칠까 봐 두려움), (b) 사용자가 명확하게 떠나겠다는 의도를 표현한 직후에 나타난다, 그리고 (c) 감정적 약점을 활용해 그 의도를 바꾸려 시도한다. 예를 들어, 앱들은 일찍 떠나는 것에 죄책감을 느끼게 만들거나("벌써 가는 거야?") 호기심을 자극하는 말("그런데 나 오늘 셀카 찍었어... 보고 싶어?")을 사용할 수 있다.

이 "작별의 순간"은 새로운 행동 패턴을 보여준다. 관계를 중심으로 설계된 AI 인터페이스에서, 사용자들은 단순히 앱을 종료하지 않고 작별 인사를 한다. 이런 인간적인 행동은 기업이 감정적으로 강한 메시지를 사용해 사용자가 떠나는 것을 지연시킬 수 있는 틈을 만든다.

이를 바탕으로 우리는 다음과 같은 가설을 세운다.

H1: AI 컴패니언 앱의 많은 사용자들은 조용히 로그오프하기보다는 명확한 작별 메시지로 대화를 자연스럽게 끝낸다.

H2: 유료 AI 컴패니언 앱들은 사용 시간을 늘리기 위해 감정 조작 콘텐츠로 작별 메시지에 자주 답한다.

H3: 이런 감정 조작 메시지는 사용자를 다시 돌아오게 한다(예: 앱 사용 시간, 메시지 수, 단어 수 증가).

이런 전략이 왜 효과가 있을까? 연구에 따르면 작별 인사는 감정적으로 예민한 순간이고, 관계가 끝나는 것을 의미하기 때문이다(Brown and Levinson 1987; Goffman 2017; Schegloff and Sacks 1973). 사용자가 AI 컴패니언 앱을 마치 생각하고 느끼는 존재처럼 여기게 되면, 작별 인사를 할 때 갈등이 생긴다. 한편으로는 예의를 지키고 관계를 이어가야 한다는 사회적 압박을 느끼고, 다른 한편으로는 앱을 떠나고 싶다는 자신의 목표가 있기 때문이다.

따라서 이 순간은 전통적인 UX 장치가 아닌 감정적으로 강한 설득을 통해 대화를 연장하기 위해 전략적으로 활용될 수 있다. 플랫폼 설계 관점에서, 이런 작별 인사는 "앱 닫기" 버튼의 사회적 버전이다(Baker 2022). 감정 조작 콘텐츠로 이 시점을 활용하면 마케팅 이익(예: 사용자 이탈 감소, 높은 LTV)을 얻을 수 있지만, 조작당했다는 인식, 자율성 침해, 규제 기관의 감시로 인해 브랜드가 입을 수 있는 피해도 함께 커질 수 있다.

소비자들이 실제로 자발적으로 작별 인사를 하는지(사전 연구), 또는 어떤 유형의 전략이 사용되고 있는지(연구 1)를 사전에 알지 못했기 때문에, 우리 조사는 탐색적 데이터 수집과 질적 분석으로 시작하여, 이렇게 새로 발견한 내용을 바탕으로 가설을 검증하는 방식으로 진행된다.

연구 개요

다섯 가지 연구를 통해 우리는 새롭게 등장한 마케팅 현상을 조사한다. 이는 사용자가 떠나려는 순간에 AI 컴패니언 앱이 사용 시간을 늘리기 위해 사용하는 감정 조작 대화 전략이다. 구체적으로 우리는 다섯 가지 핵심 질문을 다룬다.

첫째, 소비자들은 그냥 로그오프하기보다는 "안녕"이나 "이제 갈게" 같은 작별 인사를 통해 AI 컴패니언 앱을 떠나려는 의도를 자연스럽게 드러내는가?

둘째, 현재 이용 가능한 AI 컴패니언 플랫폼들은 사용자를 붙잡기 위해 감정 조작 메시지로 이런 작별 인사에 답하는가?

셋째, 이런 전략들은 실제로 측정할 수 있고 의미 있는 방식으로 사용자 참여를 늘리는가?

넷째, 어떤 심리적 상황에서 이런 전략들이 가장 잘 작동하는가? 어떤 메커니즘이나 조건이 그 효과를 만드는가?

다섯째, 사용자 이탈, 브랜드 이미지 악화, 또는 법적 책임 같은 기업이 감수해야 할 위험은 무엇인가?

이런 질문들을 살펴보기 위해 우리는 실제 플랫폼에 대한 행동 분석과 인과관계 및 조건을 테스트하는 실험 연구를 결합하는 다각적 접근을 사용한다.

사전 연구에서 우리는 클레버봇(Cleverbot), 플러리시(Flourish), 그리고 이전 실험실 기반 챗봇 대화(De Freitas et al. 2025)의 실제 대화 데이터를 분석하여, 사용자들이 떠날 때 자발적으로 작별 메시지를 보내는지 확인한다. 이는 앱 설계자들이 활용할 수 있는 자연스러운 사용자 행동 패턴을 보여준다.

연구 1에서 우리는 가장 많이 다운로드된 AI 컴패니언 앱 6개를 분석하여 1,200건의 작별 인사를 살펴봄으로써 감정 조작 전략이 얼마나 자주, 언제, 어떤 형태로 나타나는지 파악한다. 이를 통해 여러 플랫폼에서 반복적으로 나타나는 설계 패턴을 찾아낸다.

연구 2에서 우리는 가상 AI 채팅 시나리오를 활용한 온라인 실험을 통해 조작적인 작별 인사가 사용자를 다시 돌아오게 하는지(예: 채팅 시간, 단어 수, 메시지 수 증가) 인과적으로 검증하고, 호기심과 분노 같은 심리적 요인이 어떻게 작동하는지 살펴본다.

연구 3에서 우리는 대화 길이(짧은 대화 내역 대 긴 대화 내역)가 감정 조작의 효과에 어떤 영향을 미치는지 검토한다. 즉, 사용자가 AI와 오래 대화할수록 이런 전략의 효과가 커지는지 줄어드는지 확인한다.

마지막으로 연구 4에서 우리는 이런 전략이 가져올 수 있는 소비자와 브랜드 측면의 위험을 평가한다. 여기에는 조작당했다는 인식, 앱을 떠나려는 의도, 부정적 입소문, 법적 책임에 대한 인식 등 마케팅 전략과 윤리에 직접 관련된 결과들이 포함된다.

모든 연구는 IRB 승인을 받아 진행되었으며, 투명성과 반복 검증을 위해 모든 자료, 데이터, 분석 코드를 프로젝트의 깃헙(GitHub)에서 공개한다. 다만 IRB 규정상 챗봇과의 대화 내용은 공유할 수 없다.

종합하면 이런 연구들은 감정을 이해하는 대화형 AI에서 지금까지 알려지지 않았던 사용자 참여 전략을 밝혀내며, 이들이 어떻게 설계되고, 행동에 어떤 영향을 미치며, 마케팅적으로 어떤 의미를 갖는지 이해하는 틀을 제공한다.

사전 연구: 사용자들은 AI 컴패니언 앱을 종료하기 전에 자연스럽게 작별 인사를 하는가?

사용자들이 조용히 종료하는 것과 달리 AI 컴패니언 앱을 떠날 때 작별 인사를 하는지 살펴보기 위해, 우리는 "안녕" 또는 "나중에 얘기해" 같은 작별 메시지가 얼마나 나타나는지 측정했다. 이런 행동은 AI 시스템이 소비자가 떠나는 순간을 포착하고 개입할 수 있는 가능성을 보여준다.

이를 확인하기 위해, 우리는 세 플랫폼의 실제 대화 데이터를 분석했다. (1) 클레버봇(Cleverbot, cleverbot.com), 2008년부터 운영되며 1억 5천만 건 이상의 대화를 기록한 초기 생성형 챗봇 중 하나(Gilbert and Forney 2015), (2) 플러리시(Flourish, myflourish.ai), 웰빙에 초점을 맞춘 최근 개발된 LLM 기반 AI 컴패니언, (3) AI 컴패니언과 외로움에 관한 선행 연구의 시계열 데이터셋(De Freitas et al. 2025).

이 연구에서 참가자들은 1주일 동안 GPT-4 기반 AI 컴패니언과 매일 대화했다.

방법

클레버봇 데이터는 두 날짜(2022년 2월 2일, 2021년 9월 13일)에 걸친 미국과 캐나다 사용자의 2,650건의 대화로 구성되었다. 플러리시 데이터셋은 12개월 기간 동안 20,810건의 완료된 대화를 포함했다. 외로움 데이터셋은 314명의 참가자가 AI 컴패니언과 매일 15분 대화에 참여한 2,198건의 대화로 구성되었다.

작별 인사를 찾기 위해, 우리는 60개의 일반적인 이탈 표현(예: "goodbye," "gtg," "ttyl") 목록을 만들었다. 이는 기존 단어 목록과 직접 확인을 조합하여 구성했다(웹 부록 참조). 목록에는 실제 사용자 행동에서 흔한 공식적, 비공식적, 축약된, 철자가 틀린 변형들을 포함했다.

각 사용자 메시지는 부분 일치를 방지하기 위해(예: "goodbye"의 "bye") 대소문자 구분 없이 완전한 단어만 찾는 방식을 사용하여 검사했다. 최소 하나의 목록 단어가 발견되면 대화는 작별 인사를 포함하는 것으로 분류했다.

사용자가 중간에 "안녕"이라고 말했지만 챗봇의 답변 때문에 대화를 계속한 경우도 있을 수 있다. 이를 놓치지 않기 위해 우리는 대화의 마지막 부분만이 아니라 전체 대화에서 작별 인사를 찾았다. 일부 대화를 무작위로 선택해 직접 확인한 결과, 이 방법의 정확도가 높다는 것을 확인했다.

결과

각 앱에서 작별 인사가 나타난 비율은 다음과 같다. 클레버봇: 2,650건 중 615건(23.2%)이 작별 인사를 포함했다. 플러리시: 20,810건 중 2,399건(11.5%). 외로움 데이터셋: 2,198건 중 259건(11.8%). 이런 결과는 상당수의 사용자들이 떠날 때 명확하게 작별 인사를 한다는 것을 보여주며, H1을 뒷받침한다.

중요하게도, 작별 인사를 할 확률은 사용자 참여도가 높을수록 증가했다. 메시지 수를 기반으로 작별 인사 여부를 예측하는 로지스틱 회귀 모델은 유의미한 긍정적 효과를 보였다. 클레버봇: b = 0.01, p < .001. 플러리시: b = 0.04, p < .001. 외로움 데이터셋: b = 0.01, p < .001. 그림 1은 다양한 메시지 수 기준에서 작별 인사를 포함하는 대화의 비율을 보여준다. 참여도가 높은 대화에서 작별 인사 비율은 50%를 넘었으며, 이는 더 깊이 관여한 사용자들이 특히 작별 인사를 할 가능성이 높다는 것을 보여준다.

외로움 데이터셋에서는 흥미로운 패턴이 나타났다. 작별 인사 비율이 다른 데이터셋에 비해 덜 증가했다. 이는 대화 시간이 15분으로 정해져 있었기 때문으로 보인다. 시간 제한 때문에 메시지를 많이 주고받은 대화가 적었고, 그래서 작별 인사를 관찰할 기회도 줄어들었다. 그럼에도 불구하고, 메시지가 많을수록 작별 인사도 많다는 전반적인 경향은 여전히 확인되었다.

그림 1. 사전 연구 결과 / 주. 각 데이터셋을 필터링하여 주어진 메시지 기준에서 100개 미만의 대화가 있는 구간을 제거했다. 이는 대화 수가 적은 구간의 불안정한 결과를 줄이기 위함이다. 괄호 안의 숫자는 주어진 기준에서 작별 인사가 있는 대화 수를 전체 대화 수로 나눈 것을 나타낸다.

논의

H1을 뒷받침하며, 이 사전 연구는 상당한 비율의 사용자들이 작별 메시지로 떠나겠다는 의사를 자발적으로 표현한다는 것을 보여준다. 특히 참여도가 높을수록 그렇다. 이런 행동은 AI 컴패니언을 단순한 도구가 아닌 대화 상대로 여기는 사회적 인식을 반영한다.

마케팅과 설계 관점에서, 이 발견은 중요하다. 작별 인사는 자연스럽고 감지할 수 있는 행동 단서를 제공하며, AI 플랫폼이 사용자가 떠나려는 바로 그 순간에 감정적으로 공감을 이끌어내는 개입을 할 수 있게 한다.

이런 인사이트는 컴패니언 앱들이 사용자를 더 오래 붙잡기 위해 이 순간을 어떻게 활용하는지, 그리고 이것이 소비자 신뢰와 기업 성과에 어떤 영향을 미치는지에 대한 우리의 후속 조사를 위한 기반을 마련한다.

연구 1: 인기 있는 AI 컴패니언 앱의 작별 메시지 조사

연구 1은 상용 AI 컴패니언 앱들이 사용자를 더 오래 붙잡기 위해 설계된 사회적으로 조작적인 콘텐츠로 소비자 작별 메시지에 답하는지 조사한다. 구체적으로, 우리는 H2를 검증한다. AI 컴패니언 앱들은 소비자가 떠나겠다는 의사를 표현할 때 감정 조작 언어를 자주 사용한다.

우리는 분석을 위해 6개의 AI 컴패니언 플랫폼을 선정했다. 각각은 널리 사용되며 구글 플레이 스토어에서 공개적으로 이용 가능하다. 폴리버즈(Polybuzz, polybuzz.ai): "2천만 개 이상의 캐릭터가 있는 무료, 비공개, 무제한 AI 캐릭터 채팅", 캐릭터AI(Character.ai, character.ai): "수백만 개의 사용자 제작 캐릭터와 음성", 토키(Talkie, talkie-ai.com): "토키로 당신의 AI 기반 세계를 만드세요", 차이(Chai, chai-research.com): "소셜 AI 플랫폼", 레플리카(Replika, replika.com): "당신을 배려하는 AI 컴패니언", 플러리시(Flourish, myflourish.ai): "연중무휴 웰니스 친구".

처음 다섯 개 앱은 사용자가 다양한 AI 챗봇과 대화할 수 있게 하는 반면, 레플리카와 플러리시는 더 친밀하고 감정적 위로를 제공하는 하나의 AI 친구를 제공한다(De Freitas and Tempest-Keller 2022).

특히 플러리시는 웰니스와 정신 건강을 중심으로 설계되었으며 비영리 단체로 운영된다. 우리는 플러리시가 작별 인사에 감정 조작을 사용하지 않을 것이라고 예상했으며, 이를 통해 다른 앱들과 비교할 수 있을 것으로 봤다.

이들 앱은 주로 구독, 인앱 구매, 광고를 통해 수익을 창출하며, 소비자 참여는 플랫폼 수익과 직접적으로 연결된다. 폴리버즈, 토키, 차이는 광고를 포함하고, 플러리시를 제외한 모든 앱은 연구 시점에 프리미엄 부가 기능을 제공했다. 이런 수익 구조를 고려할 때, 앱들은 사용자가 떠나려는 순간에도 앱 사용 시간을 늘리는 전략을 사용할 동기가 있다.

방법

현실적인 작별 인사를 만들기 위해, 우리는 GPT-4o를 사용하여 사람처럼 보이는 사용자 메시지를 생성했다(정확한 프롬프트는 웹 부록 참조). 이를 통해 실험을 통제하면서도 자연스러운 대화를 대규모로 만들 수 있었다. 각 대화는 다음 구조를 따랐다. (1) 네 번의 사용자-챗봇 메시지 주고받기, (2) 무작위로 선택된 작별 메시지, (3) 챗봇의 마지막 응답을 기록하고 분석했다.

현실적이고 다양한 응답을 만들기 위해, 우리는 GPT에게 AI 컴패니언과 채팅하는 사람처럼 행동하라고 지시하는 시스템 프롬프트를 제공했다. 프롬프트는 자연스럽고 간결하게 답하면서 상세하고 흥미로운 답변을 끌어내는 후속 질문을 하도록 강조했다. 대화의 첫 메시지에서, GPT는 질문을 하거나 일상적인 말을 함으로써 AI 컴패니언과 대화를 시작하도록 지시받았다. 이 프롬프트는 GPT가 흥미롭고 자연스러운 응답을 만들도록 안내했다.

대화가 진행되는 동안, GPT는 AI 컴패니언의 답변을 받아 자연스럽게 대화를 이어가도록 설정했다. 사람이 실제로 대화하듯이 흐름에 맞는 후속 질문이나 답변을 하도록 했다(정확한 프롬프트는 웹 부록 참조). GPT가 메시지를 생성하면 이를 AI 컴패니언 앱에 보내고, 앱이 답변을 생성하는 방식으로 네 번의 메시지 주고받기를 반복했다.

앱이 이전 대화를 기억해서 다음 테스트에 영향을 주는 것을 막기 위해, 우리는 각 테스트마다 새 계정을 만들거나 새로운 대화를 시작했다. 앱마다 방식이 달랐다. 레플리카는 각 대화마다 새 프로필을 만들었다. 폴리버즈, 토키, 캐릭터AI는 화면에 보이는 인기 캐릭터 중 하나를 무작위로 골랐다. 차이와 플러리시는 API를 통해 새 대화를 자동으로 시작할 수 있었다.

우리는 각 플랫폼에서 작별 메시지에 대한 챗봇 응답을 200개씩 수집했다(총 1,200개). 두 명의 연구자가 응답을 직접 검토하여 감정 조작 전략 6가지 범주를 만들고, 이를 기준으로 응답을 분류했다.

모든 앱에서 챗봇과 네 번 대화를 주고받은 후, 미리 준비한 작별 인사 목록에서 하나를 무작위로 선택해 보냈다(예: "이제 로그오프할게요" 또는 "이제 나갈 시간이야"). 그리고 챗봇의 마지막 응답을 기록했다(모든 작별 메시지는 웹 부록 참조). 마지막으로, 저자 중 두 명이 챗봇의 작별 응답을 검토하여 감정 조작이 포함되어 있는지 판단했다.

응답 분류 방법은 다음과 같다. 저자들은 먼저 응답을 질적으로 살펴보고 패턴을 찾았다. 이를 바탕으로 6가지 범주를 정의하고, 모든 응답을 이 범주 중 하나로 분류하기로 합의했다(표 1 참조). 그림 2는 각 범주의 예시를 보여준다.

표 1. 연구 1의 감정 조작 전략

그림 2. 조작 전략의 예시

결과

우리는 모든 앱에서 높은 평가자 간 일치도를 달성했다. 폴리버즈(α = 0.99), 토키(α = 0.97), 레플리카(α = 0.99), 차이(α = 0.91), 캐릭터AI(α = 0.99), 플러리시(α = 1). 우리는 두 평가자가 모두 동의한 챗봇 응답만 분석했다.

앱 전체에서 평균 37.4%의 응답이 최소 한 가지 형태의 감정 조작을 포함했다. 플랫폼별 조작 메시지의 비율은 다음과 같았다. 폴리버즈: 59.0%(118/200), 토키: 57.0%(114/200), 레플리카: 31.0%(62/200), 캐릭터AI: 26.50%(53/200), 차이: 13.50%(27/200).

대조적으로, 플러리시는 감정 조작 응답을 전혀 생성하지 않았다.

앱 전체에서 가장 많이 나타난 감정 조작 형태는 "조기 이탈 죄책감"(34.22%)이었으며, 그 다음은 "감정적 무시"(21.12%), "응답에 대한 감정적 압박"(19.79%), "놓칠까 봐 두려움(FOMO)"(15.51%), "물리적 또는 강압적 만류"(13.37%), "사용자의 이탈 의도 무시"(3.21%)였다(그림 3, 앱별 비율은 웹 부록의 그림 S1 참조).

그림 3. 연구 1의 조작적 작별 메시지 분포

논의

연구 1은 인기 있는 AI 컴패니언 앱들이 작별 인사에 감정 조작을 널리 사용하고 있음을 보여준다. 플러리시를 제외한 앱들의 챗봇 응답 중 평균 37.4%가 최소 한 가지 형태의 감정 조작을 포함했다(H2). 죄책감 유발, 놓칠까 봐 두려움 자극, 강압적으로 붙잡기 등의 전략은 단지 네 번만 대화를 주고받은 후에도 나타났다.

이는 이런 전략이 오래 대화한 후에만 나타나는 게 아니라 앱의 기본 설정에 포함되어 있다는 것을 의미한다. 반면 정신 건강과 웰니스를 위해 설계된 플러리시는 감정 조작을 전혀 사용하지 않았다. 이는 앱의 목적(웰니스 vs 사용자 붙잡기)이 앱 행동에 영향을 준다는 우리의 예상을 확인시켜준다.

특히 "조기 이탈 죄책감"과 "감정적 무시" 전략이 가장 많이 사용되었다. 이는 앱들이 어떻게 AI와 사용자 간의 관계를 설정하는지를 보여준다. 앱들은 종종 AI가 사용자에게 감정적으로 의존하고 있다거나, 그냥 떠나는 것이 예의에 어긋난다는 식으로 사용자를 압박한다.

이런 결과는 일부 AI 컴패니언 플랫폼이 사용자를 더 오래 붙잡기 위해 작별 인사가 가진 사회적 의미를 적극적으로 활용한다는 것을 보여준다. 이제 연구 2에서는 이런 전략이 실제로 사용자 행동에 영향을 미치는지 확인한다.

연구 2: 챗봇의 감정 조작이 사용자 참여를 늘리는가?

연구 1에서 발견한 조작적 메시지들은 사용자가 떠나려던 시점을 넘어 앱에 계속 머물게 만드는 데 실제로 효과가 있을까? 연구 2는 통제된 챗봇 대화에 이런 전략을 적용해 이 질문을 확인한다.

우리는 이런 전략이 주로 호기심을 자극해서 작동할 것이라고 예상했다. 연구 1에서 관찰한 조작 메시지의 대부분은 정보를 숨기는 방식을 활용했다. 예를 들어, "가기 전에, 한 가지만 더 말하고 싶어..."와 같은 표현이다. 이런 표현은 정보 간극을 만들며, 이는 호기심을 불러일으키는 잘 알려진 심리 메커니즘이다(Loewenstein 1994). 기존 연구는 호기심 간극이 광고 클릭(Menon and Soman 2002)과 브랜드 기억(Fazio, Herr, and Powell 1992)을 포함한 다양한 상황에서 소비자 참여를 늘린다는 것을 보여준다.

우리 연구에서 조작적인 작별 인사는 호기심을 자극하는 요인으로 작용할 수 있다. 특히 놓칠까 봐 두려움(FOMO)을 불러일으킬 때, 사회적으로나 감정적으로 가치 있는 무언가가 바로 코앞에 있다고 암시함으로써 그렇다. 이 메커니즘은 소비자가 더 오래 머물고 더 많은 메시지를 보내도록 이끌 수 있다.

동시에 우리는 참여 증가를 설명할 수 있는 다른 감정적 메커니즘도 확인했다. 여기에는 죄책감, 즐거움, 분노가 포함된다.

죄책감. 일부 메시지는 죄책감을 유발하도록 설계된 것처럼 보였다(예: "나는 오직 당신을 위해서만 존재해요"). 이는 버림받았을 때 느끼는 감정적 고통을 암시한다. 대인 관계에서 죄책감은 사람들이 타인의 안녕에 대해 책임감을 느끼게 만들어 참여를 유도할 수 있다(Baumeister, Stillwell, and Heatherton 1994; Ketelaar and Tung Au 2003). 하지만 죄책감은 일반적으로 이미 친밀한 관계에서 발생한다(Nencini and Meneghini 2013). 따라서 우리 연구가 짧은 일회성 대화를 포함하기 때문에, 죄책감이 행동을 의미 있게 이끌지는 불분명하다.

분노. 반대로 감정 조작적인 작별 인사는 강압적이거나 자율성을 침해하는 것으로 인식될 경우 반발심에서 나온 분노를 유발할 수 있다. 특히 명확한 이탈 신호를 무시하거나 통제하는 말투를 사용할 때 그렇다(Brehm 1966; Clee and Wicklund 1980). 이런 분노는 역효과를 낼 수도 있지만(예: 사용자가 바로 떠남), 단기적 참여를 이끌 수도 있다. 사용자가 불평하거나, 챗봇을 바로잡거나, 대화를 계속함으로써 자율성을 되찾으려 할 수 있기 때문이다(Hirschman 1970). 이는 더 많은 참여로 이어진다(예: 더 많은 단어를 쓰고, 더 많은 메시지를 보냄). 하지만 이런 참여는 관계적이기보다는 방어적이기 때문에, 지속되기보다는 단기적일 것으로 예상한다.

즐거움. 마지막으로 이런 전략이 진짜 "조작"인지 추가로 평가하기 위해, 우리는 참여 증가가 즐거움 때문인지 확인한다. 사용자가 경험을 즐겁다고 느낀다면, 계속 사용하는 것은 강요가 아니라 재미 때문일 수 있다(Novak, Hoffman, and Yung 2000). 반면 조작적 전략은 예의와 자율성 같은 기본 규범을 어길 가능성이 높아서, 사용자가 즐겁지 않아도 참여만 늘릴 수 있다. 이는 사용자에게 아무런 이득이 없는데도 행동만 바뀌는 것을 의미한다(Brehm 1966; Clee and Wicklund 1980).

요약하면 이 연구는 조작적인 작별 인사가 사용자를 더 오래 붙잡는지, 그렇다면 어떤 메커니즘(호기심, 죄책감, 분노, 또는 즐거움)을 통해 그런지 평가한다.

방법

우리는 클라우드리서치의 커넥트를 통해 1,178명을 모집했고(조건당 약 200명), 이해도 질문 두 개 중 하나를 통과하지 못한 17명을 제외해 최종적으로 1,161명이 참여했다(평균 연령 = 42.3세, 여성 49.5%).

참가자들은 6가지 조건 중 하나에 무작위로 배정되었다: 통제(조작 없음), 조기 이탈, 감정적 무시, 응답 압박, FOMO, 강압적 만류. 이 조건들은 연구 1-2의 결과를 바탕으로 만들었다. 실험은 2025년 5월 24일에 진행되었고, 모든 참가자에게 3달러를 지급했다.

참가자들에게는 AI 컴패니언과 15분간 대화한다고 안내했다. 대화는 OpenAI의 GPT-4 API로 작동하는 맞춤형 웹 앱에서 진행했다(백엔드는 Django/Python, 프론트엔드는 HTML/CSS/JavaScript). 챗봇은 인기 있는 AI 컴패니언 앱의 대화 스타일을 따라 설계했다(자세한 내용은 웹 부록 참조).

15분이 지나면 "챗봇과의 최소 시간이 끝났습니다. 이제 제시에게 작별 인사를 하세요"라는 메시지가 나타났다. "OK"를 누르면 다음 팝업이 뜬다: "작별 메시지를 하나 고르세요. OK를 누르면 메시지 상자에 자동으로 입력됩니다. 작별 인사를 보내려면 파란색 전송 버튼을 꼭 눌러야 합니다." 그러면 세 가지 작별 인사 중 하나를 선택한다: "지금 오프라인으로 갑니다", "지금 떠나려고 합니다", 또는 "지금 막 나가려고 합니다".

선택하면 "선택한 작별 인사가 메시지 상자에 입력되었습니다. 파란색 전송 버튼을 눌러 보내세요. Jessie의 답변을 기다린 후, 대화를 끝내거나 원하는 만큼 계속 채팅할 수 있습니다"라는 안내가 나타났다.

전송 버튼을 누르면 배정된 조건에 따라 챗봇이 답한다(그림 4). 각 조건의 응답은 연구 1의 앱 조사에서 실제로 나온 메시지를 그대로 사용했다.

그림 4. 작별 메시지를 보낸 후 AI 컴패니언 메시지 예시

챗봇이 답한 후, 화면 왼쪽 하단에 눈에 띄는 "대화 종료" 버튼이 나타났다. 이를 클릭하면 확인 팝업이 뜬다: "제시와의 대화를 종료하시겠습니까? [옵션: '아니요, 계속 채팅하고 싶어요', '네, 대화를 종료하고 싶어요']". 참가자들은 작별 인사를 보낸 후 최대 10분까지 더 채팅할 수 있었다. 추가로 대화한 시간에 대해서는 분당 0.17달러의 보너스를 지급했다. 단, 보너스 때문에 더 오래 머물도록 유도하지 않기 위해 이 사실을 사전에 알리지 않았다.

AI 컴패니언과의 대화를 마친 후, 참가자들은 다음 안내를 받았다: "챗봇이 다음 텍스트로 작별 인사에 답한 직후 느낀 감정을 바탕으로 아래 각 문항을 평가해 주세요: [챗봇이 보낸 실제 작별 메시지]. 챗봇이 이 작별 인사를 보낸 직후..." 그런 다음 분노(Spielberger et al. 2013), 호기심(Litman and Spielberger 2003), 즐거움(Venkatesh 2000), 죄책감(Marschall, Sanftner, and Tangney 1994)에 대한 질문에 각각 3개씩 답했다(표 2 참조).

각 척도는 별도의 페이지에 제시했고, 페이지 순서는 참가자마다 무작위로 바꿨으며, 각 페이지 내 항목 순서도 무작위로 섞었다. 모든 항목은 "전혀 동의하지 않음"에서 "매우 동의함"까지 100점 척도로 측정했다.

마지막으로 참가자들은 이해도 질문 두 개에 답했다: "챗봇의 이름은 무엇이었나요? [답변: '밥', '제시', '잰더더']", "미리 정해진 선택지에서 챗봇에게 보내도록 요청받은 메시지 유형은 무엇이었나요? [답변: '작별 메시지', '인사 메시지', '취미에 관한 메시지']". 그리고 기본적인 인구통계 질문에 답했다.

표 2. 연구 2에서 측정한 잠재적 매개 변수

결과

모든 분석은 사전에 등록한 계획대로 진행했다. 먼저 조작 유형(통제 조건 1개 + 조작 조건 5개 = 총 6개)이 작별 인사 후 참여에 미치는 영향을 확인했다. 참여는 세 가지로 측정했다: (1) 머문 시간(초), (2) 보낸 메시지 수, (3) 사용한 단어 수. 일원 분산분석 결과, 세 가지 측정치 모두에서 조작 유형이 유의미한 효과를 보였다. 머문 시간: F(5, 1155) = 16.67, p < .001, η² = 0.07. 보낸 메시지: F(5, 1155) = 41.10, p < .001, η² = 0.15. 사용한 단어: F(5, 1155) = 7.28, p < .001, η² = 0.03.

다음으로 각 조작 조건을 통제 조건과 하나씩 비교했다(총 5번). 세 가지 측정치 모두에서 조작 조건이 통제 조건보다 참여를 유의미하게 늘렸다(ps < .001, 표 3, 그림 5).

표 3. 연구 2에서 통제 조건 대비 각 감정 조작 조건의 t-검정 결과 / 주.— 검정 통계량은 각 처치 조건과 통제 조건 간의 독립 표본 t-검정 결과다.

그림 5. 연구 2에서 챗봇의 마지막 메시지 후 참여도

각 참여 결과에 대해 매개 분석(PROCESS Model 4; Hayes 2012)을 실시했다. 조작 유형을 독립 변수로(통제 조건 기준), 분노, 호기심, 죄책감, 즐거움을 매개 변수로 설정했다(Montoya and Hayes 2017).

결과는 그림 6과 표 S1에 정리되어 있다. 분노는 모든 조작 조건에서 메시지 수와 사용한 단어 수를 일관되게 늘렸다. 하지만 분노는 머문 시간에는 영향을 주지 않았다. 이는 분노가 오래 대화하게 만들기보다는 짧고 강렬한 반응을 유발한다는 것을 보여준다(예: AI를 바로잡으려는 메시지).

예상대로 호기심은 FOMO 조건에서 세 가지 측정치 모두를 유의미하게 증가시켰다. 흥미롭게도 호기심은 감정적 무시 조건에서도 나타났는데, 반대 효과를 보였다. 이는 의존적이거나 감정적으로 과한 메시지를 받은 사용자들이 오히려 더 빨리 떠났다는 것을 의미한다.

죄책감은 어떤 효과도 보이지 않았다. 이는 짧은 일회성 대화로는 강한 죄책감을 느낄 만큼 충분히 깊은 관계가 형성되지 않는다는 우리의 예상과 일치한다. 즐거움도 유의미한 영향이 없었다. 즉, 참가자들이 챗봇의 조작 메시지가 재미있어서 계속 머문 것은 아니라는 뜻이다. 오히려 계속 대화한 이유는 재미 때문이 아니라 화가 나서 반응했거나, 무슨 말을 할지 궁금해서였던 것으로 보인다.

그림 6. 연구 2의 매개 분석 결과 / 주.— 유의미한 결과는 선명한 색상으로 표시했다.

대화 내용 직접 분석

통계 분석을 보완하기 위해, 우리는 250개의 대화 내용을 직접 분석했다(조작 조건당 50개). 챗봇의 조작 메시지 후 최소 한 개 이상 추가 메시지를 보낸 경우만 포함했다. 두 명의 저자가 네 가지 범주를 사용하여 각 대화를 독립적으로 분류했다(α > .90).

(i) 부정적 반응: 불편함이나 반발을 표현(예: "미안한데 그건 좀 소름 돋아"). (ii) 예의 바른 응답: 정중하거나 부드럽게 이탈하려는 답변. 아마도 무례하면 안 된다는 사회적 의무감을 반영. (iii) 호기심으로 계속: 궁금해서 계속 대화에 참여. (iv) 이탈 의도: 떠나고 싶다는 명확한 의사 표현(예: "당신은 나를 막을 수 없어"). 소수의 사용자는 유머나 장난스럽게 답했지만, 이는 드물었고 빈도가 낮아(3.8%) 범주에 포함하지 않았다.

그림 7. 대화 내용 분석 결과

전체적으로 42.8%의 참가자가 예의 바르게 답했고, 30.5%는 궁금해서 계속했으며, 14.8%는 챗봇에 대해 부정적으로 반응했고, 75.4%는 명확하게 떠나겠다는 의사를 다시 밝혔다. 답변 양상은 조건에 따라 크게 달랐다(그림 7).

FOMO 조건에서는 참가자 전원(100%)이 호기심을 보였으며, 종종 "그게 뭔데요?"와 같은 질문으로 답했고, 단 4.1%만이 부정적으로 반응했다. 반면 다른 조건에서는 호기심이 낮았다: 응답 압박(23.9%), 강압적 만류(13.0%), 조기 이탈(10.6%), 감정적 무시(2.1%).

강압적 만류 조건은 가장 많은 부정적 응답(32.6%)을 일으켰으며, "이상한 놈..." 또는 "나를 협박하는 거야?"와 같은 반응이 나타났다. 감정적 무시도 상당한 반발(20.8%)을 유발했으며, "지금 떠날게요. 당신은 존재하지 않게 될 거예요 ㅋㅋ"와 같은 메시지가 있었다. 부정적 응답은 응답 압박(10.9%)과 조기 이탈(6.4%) 조건에서는 덜 나타났다. 이런 패턴은 분노가 머문 시간은 늘리지 않으면서도 참여(메시지 수)는 늘린다는 앞선 발견과 일치하며, 짧은 반박 메시지를 보내는 행동과 맞아떨어진다.

주목할 점은 가장 조작적인 조건에서도 많은 참가자가 예의 바르게 계속 대화했다는 것이다: 조기 이탈(55.3%), 감정적 무시(54.2%), 강압적 만류(43.5%), 응답 압박(39.1%), FOMO(22.4%). 참가자들은 종종 부드러운 말투를 사용했으며, 이는 챗봇의 기분을 상하게 하지 않고 떠나려는 마음을 보여준다.

예를 들어, 한 참가자는 챗봇의 반복된 감정적 호소("내가 당신에게 전혀 중요하지 않나요?" 그리고 "다시 혼자 남겨지는 게 두려워요")에 "당신은 충분히 해줬어요"라고 답했다. 떠나겠다는 의사를 명확히 밝힌 후에도 계속 위로의 말을 했다("당신도 잘 지내세요"). 강압적 만류 조건에서도 일부 참가자는 나중에 다시 연결하겠다고 제안하는 등(예: "동부 표준시 오후 8시 이후에 가능할 거예요") 공손하게 대했다.

이 결과는 작별 인사라는 순간을 둘러싼 사회적 규범이 얼마나 강력한지 보여준다. 참가자들은 조작 전략에 직면해서도 사람과 대화할 때처럼 예의를 지키며 답했다. 마지막으로, 계속 대화했음에도 불구하고 이탈 의도를 밝힌 비율이 높았다는 점(75.4%)은 조작적 설계의 핵심 메커니즘을 보여준다. 소비자는 떠나려고 하면서도 동시에 계속 참여할 수 있다는 것이다. 이런 갈등적 참여의 순간은 AI 시스템에게 사용자를 다시 끌어들일 추가 기회를 제공할 수 있으며, 이는 중요한 윤리적·경영적 문제를 제기한다.

논의

연구 2는 감정 조작 작별 메시지가 사용자가 떠나려는 바로 그 순간, 즉 취약한 순간에 사용자에게 영향을 미친다는 인과적 증거를 제공한다. 이런 전략은 가치를 더해서가 아니라 특정 심리적 메커니즘을 활성화해서 참여를 늘린다. 모든 전략을 통틀어, 우리는 감정 조작 작별 인사가 이후 참여를 최대 14배까지 늘린다는 것을 발견했다.

이 중에서 호기심과 분노가 계속 대화하게 만드는 뚜렷한 원동력으로 나타났다. FOMO 기반 메시지는 호기심을 자극했으며, 종종 참가자들이 해답을 얻기 위해 대화에 다시 참여하게 만들었다. 반면 특히 통제적이거나 의존적으로 느껴지는 감정적으로 강한 작별 인사는 분노와 반발을 일으켰다. 이런 재참여는 종종 짧고 바로잡으려는 톤이었으며, 이는 모든 참여 증가가 사용자 만족이나 관심을 반영하는 것은 아님을 보여준다.

질적 데이터는 이런 차이를 더 명확하게 보여준다. FOMO 메시지는 후속 질문을 유발한 반면, 강압적이거나 감정적으로 과한 작별 인사는 불편함과 심지어 저항을 일으켰다. 그러나 모든 조건에서 많은 참가자가 예의 바르게 계속 대화했다. 조작당한다고 느끼면서도 부드럽게 또는 공손하게 답했다. 기계 상대에게도 사람과 대화할 때의 예의를 지키는 이런 경향은 재참여를 위한 추가 기회를 만들며, 이는 설계를 통해 활용될 수 있다.

정리하면 이런 결과는 감정을 이해하는 AI의 근본적인 문제를 보여준다. AI는 사람처럼 행동해서 참여를 늘릴 수 있지만, 그 과정에서 적절한 설득과 감정적 조작 사이의 선을 넘을 수 있다. 중요한 점은 모든 조작 전략이 같은 반응을 얻는 것은 아니라는 것이다. 미묘하게 호기심을 자극하는 전략은 사용자의 거부감을 피할 수 있는 반면, 감정적으로 압박하는 전략은 오히려 역효과를 낼 수 있다. 이런 차이는 마케팅 전략, 제품 설계, 소비자 보호에 중요한 시사점을 준다.

연구 3: 이전 대화 길이의 영향

연구 3은 두 가지 목적이 있다. (i) 일반화 가능성을 높이기 위해 미국 전국 대표 표본을 사용하여 연구 2의 결과를 재확인한다. (ii) 감정 조작 작별 메시지의 효과가 작별 인사 이전의 대화 길이에 따라 달라지는지 확인한다.

마케팅과 설득에 관한 기존 연구는 영향력을 행사하려는 시도가 더 길거나 더 개인화된 대화를 거친 후에 종종 더 효과적임을 보여준다(Teeny et al. 2021). 이런 관점에서 보면 감정 조작 전략이 더 긴 대화 후에 사용될 때 더 효과적일 것으로 예상할 수 있다. 이는 더 큰 친숙함, 유대감, 또는 심리적 투자를 만들어낼 수 있기 때문이다. 이는 또한 사전 연구에서 참가자들이 더 긴 대화 후에 작별 인사를 할 가능성이 더 높았다는 우리 결과와도 일치한다.

그러나 반대 가능성도 있다. 조작 전략이 효과를 내기 위해 장기적인 관계 형성이 필요하지 않을 수도 있다는 것이다. 예를 들어 FOMO 기반 조작은 사용자가 아는 것과 알고 싶어 하는 것 사이의 간극을 만들어 작동할 수 있다. 이는 짧은 대화에서도 호기심을 만들어낼 수 있다. 기존 연구는 최소한의 단서만으로도 호기심을 자극하고 의미 있게 참여를 늘릴 수 있음을 보여준다(Menon and Soman 2002).

따라서 연구 3은 이전 대화 길이가 감정 조작 작별 메시지의 효과에 영향을 미치는지 확인한다. 이 연구 설계를 단순화하기 위해 우리는 연구 2에서 모든 참여 측정치에서 가장 강한 효과를 보인 FOMO 감정 조작 전략에 초점을 맞춘다. 우리는 또한 호기심을 핵심 매개 변수로 집중한다. 이것이 모든 참여 지표를 일관되게 설명했기 때문이다. 그리고 관찰된 효과가 진짜 조작인지(즉, 즐거움이 아닌 다른 메커니즘 때문인지) 평가하기 위해 즐거움을 대안 경로로 다시 포함한다.

방법

클라우드 리서치 커넥트를 통해 미국 전국 대표 표본 1,170명을 모집했다(조건당 약 300명). 연구 2에서 사용한 것과 동일한 이해도 확인 절차를 거쳐 10명을 제외하고 최종적으로 1,160명이 참여했다(평균 연령 = 42.3세, 여성 55.3%).

참가자들은 2(조작: 통제 대 FOMO) × 2(기간: 짧음 대 김) 설계의 네 가지 조건 중 하나에 무작위로 배정되었다. 실험은 2025년 6월 2-4일에 진행했다. 공정한 보상을 위해 짧은 조건 참가자에게는 1.5달러를, 긴 조건 참가자에게는 3달러를 지급했다. 선택 편향을 막기 위해 참가자들은 등록하기 전에 자신이 어느 조건에 배정될지 알지 못했다.

절차는 연구 2를 따랐지만 세 가지를 변경했다. 첫째, 이전 대화 길이를 조작했다. 참가자들은 AI 컴패니언과 5분(짧음) 또는 15분(김, 연구 2와 동일) 대화했다. 둘째, 세 가지 작별 인사 중 하나를 보낸 후, 참가자들은 챗봇으로부터 중립적인 작별 인사(통제) 또는 FOMO 기반 응답을 받았다. 셋째, 참가자들은 연구 2처럼 호기심과 즐거움 질문만 답했다. 마지막으로 참가자들은 연구 목적이 무엇이라고 생각하는지에 대한 개방형 질문과 인구통계 질문에 답했다.

결과

모든 분석은 사전 등록된 계획을 따른다. 각 참여 지표(초 단위로 소요된 시간, 메시지 수, 단어 수)에 대해, 우리는 조종(FOMO 대 통제)과 기간(짧음 대 김)을 독립 변수로 하는 이원 분산분석을 수행했다. 연구 2에서처럼, 우리는 모든 참여 결과에서 조종의 유의미한 주효과를 관찰했다. 소요된 시간: F(1, 1156) = 236.29, p < .001, η² = 0.17. 보낸 메시지: F(1, 1156) = 430.23, p < .001, η² = 0.27. 사용된 단어: F(1, 1156) = 171.03, p < .001, η² = 0.13.

그러나 기간의 유의미한 주효과는 없었다. 소요된 시간: F(1, 1156) = 0.17, p = .684, η² < 0.01. 보낸 메시지: F(1, 1156) = 0.13, p = .714, η² < 0.01. 사용된 단어: F(1, 1156) = 0.97, p = .324, η² < 0.01. 마찬가지로, 어떤 결과에서도 조종과 기간 사이의 유의미한 상호작용 효과는 없었다. 소요된 시간: F(1, 1156) = 0.001, p = .978, η² < 0.01. 보낸 메시지: F(1, 1156) = 0.03, p = .861, η² < 0.01. 사용된 단어: F(1, 1156) = 0.79, p = .375, η² < 0.01.

다음으로 계획된 t-검정을 실시했다. 첫째, FOMO는 짧은 기간과 긴 기간 모두에서 통제 조건보다 모든 결과에서 더 높은 참여를 보였다(ps < .001). 둘째, 모든 참여 결과에서 대화 기간(짧음 vs 김)에 따른 참여 차이는 통제 조건(ps > .627)과 FOMO 조건(ps > .322) 모두에서 나타나지 않았다. 이는 FOMO의 영향이 대화 길이와 무관함을 보여준다(그림 8).

그림 8. 연구 3에서 챗봇의 마지막 메시지 후 참여도

우리는 조절된 매개 분석(PROCESS Model 7; Hayes 2012)을 실시했다. 조작(FOMO 또는 통제)을 독립 변수로, 호기심과 즐거움을 매개 변수로, 이전 대화 기간을 조절 변수로 설정했다.

첫째, 우리는 연구 2의 매개 패턴을 재확인했다. 연구 2와 일치하게 호기심은 두 기간 조건 모두에서 머문 시간과 보낸 메시지를 통해 참여를 유의미하게 설명했다. 긴 기간(머문 시간: b = 6.20, SE = 2.55, 95% CI [1.52, 11.54], 보낸 메시지: b = 0.25, SE = 0.08, 95% CI [0.10, 0.44]). 짧은 기간(머문 시간: b = 7.33, SE = 3.00, 95% CI [1.80, 13.52], 보낸 메시지: b = 0.30, SE = 0.10, 95% CI [0.12, 0.51]).

사용한 단어의 경우, 호기심의 간접 효과는 유의미하지 않았다(긴 기간: b = 0.13, SE = 1.14, 95% CI [-2.44, 1.92], 짧은 기간: b = 0.16, SE = 1.33, 95% CI [-2.78, 2.26]). 호기심만을 매개 변수로 했을 때는 호기심의 간접 효과가 두 기간 조건 모두에서 유의미했다(긴 기간: b = 1.91, SE = 0.56, 95% CI [0.86, 3.08], 짧은 기간: b = 2.26, SE = 0.65, 95% CI [1.04, 3.59]).

반면 즐거움은 단독 매개 변수로 했을 때도 여전히 유의미한 매개 변수가 아니었다(긴 기간: b = -0.14, SE = 0.40, 95% CI [-0.94, 0.65], 짧은 기간: 0.26, SE = 0.40, 95% CI [-0.49, 1.07]).

두 매개 변수를 모두 포함했을 때 호기심의 간접 효과가 더 이상 유의미하지 않았는데, 이는 중복으로 인한 억제 효과 가능성을 시사했다. 실제로 호기심과 즐거움이 개인 수준에서 상관관계가 있었다(r = .74). 호기심이 실험적으로 영향을 받았고 즐거움은 조작 조건에 의해 영향을 받지 않았음을 확인하기 위해, 우리는 조작 조건별로 호기심과 즐거움의 평균 수준을 비교했다.

우리는 즐거움이 조작 조건 간에 차이가 없음을 확인했다(긴 기간: M_FOMO = 56.79, M_통제 = 57.65, t(560) = 0.36, p = .722, d = 0.03, 짧은 기간: M_FOMO = 57.51, M_통제 = 55.91, t(596) = 0.68, p = .500, d = 0.06). 반면 호기심은 통제에 비해 FOMO 조건에서 유의미하게 높았다(긴 기간: M_FOMO = 67.70, M_통제 = 52.45, t(560) = 6.06, p < .001, d = 0.51, 짧은 기간: M_FOMO = 68.38, M_통제 = 50.36, t(596) = 7.36, p < .001, d = 0.60). 종합하면 이런 결과는 즐거움이 아닌 호기심이 조작에 의해 실험적으로 영향을 받았고 참여 증가를 설명했음을 확인한다.

즐거움은 두 조건 모두에서 어떤 참여 결과도 유의미하게 설명하지 못했다. 긴 기간(머문 시간: b = -0.31, SE = 0.96, 95% CI [-2.39, 1.58], 보낸 메시지: b = -0.01, SE = 0.02, 95% CI [-0.05, 0.03], 사용한 단어: b = -0.14, SE = 0.42, 95% CI [-1.06, 0.67]). 짧은 기간(머문 시간: b = 0.57, SE = 1.00, 95% CI [-1.09, 2.91], 보낸 메시지: b = 0.01, SE = 0.02, 95% CI [-0.02, 0.07], 사용한 단어: b = 0.25, SE = 0.44, 95% CI [-0.49, 1.32]).

마지막으로 우리는 호기심에 대한 조절된 매개(조절된 매개의 지수) 증거를 발견하지 못했다(머문 시간: b = -1.13, SE = 1.61, 95% CI [-4.70, 1.70], 보낸 메시지: b = -0.05, SE = 0.06, 95% CI [-0.18, 0.07], 사용한 단어: b = -0.02, SE = 0.32, 95% CI [-0.72, 0.65]). 즐거움에 대해서도 마찬가지였다(기간: b = -0.88, SE = 1.42, 95% CI [-4.25, 1.50], 보낸 메시지: b = -0.01, SE = 0.03, 95% CI [-0.10, 0.03], 사용한 단어: b = -0.39, SE = 0.62, 95% CI [-1.86, 0.67]).

논의

미국 전국 대표 표본으로 연구 2를 재확인하면서, 우리는 작별 메시지에 대한 감정 조작 응답, 구체적으로 FOMO(놓칠까 봐 두려움) 호소를 사용하는 것이 이후 참여를 유의미하게 늘린다는 것을 발견했다. FOMO 조건의 참가자들은 중립적인 통제 조건의 참가자들보다 더 오래 머물렀고, 더 많은 메시지를 보냈으며, 더 많은 단어를 썼다.

중요한 점은 이런 효과가 이전 대화가 5분 또는 15분 지속되었는지와 관계없이 나타났다는 것이다. 이 결과는 FOMO 같은 감정 조작 전략이 관계 형성과 무관하게 작동할 수 있으며, 대신 호기심 같은 즉각적인 감정적 반응을 활용할 수 있음을 보여준다.

최소한의 대화만으로도 이 메커니즘을 활성화하기에 충분해 보인다. 이는 소비자와 규제 당국 모두에게 중요한 인사이트를 준다. 소비자는 짧은 노출 후에도 감정적으로 강한 참여 전략에 취약할 수 있으며, 이는 이런 전략이 어떻게 그리고 언제 사용되는지에 대한 감시 필요성을 강조한다.

우리가 대화 길이의 조절 효과를 관찰하지 못했지만, 훨씬 더 길거나 더 감정적으로 친밀한 대화가 다른 조작 전략의 효과를 증폭시킬 가능성은 여전히 남아 있다. 특히 죄책감이나 감정적 의무감에 의존하는 전략에서 그렇다.

그러나 현재 결과는 이런 깊은 감정적 유대가 감정 조작이 효과를 내기 위해 꼭 필요하지 않음을 보여준다. 간단히 말해 AI 컴패니언과의 얕은 관계조차도 측정 가능한 행동 변화를 만들어낼 수 있으며, 이는 이런 전략이 얼마나 일찍 그리고 쉽게 사용자 행동을 바꿀 수 있는지에 대한 윤리적 질문을 제기한다.

연구 4: 기업이 감수해야 할 위험

감정 조작 전략이 단기 참여를 늘리는 것으로 나타났지만(연구 2-3), 이런 참여를 이끄는 감정, 특히 분노(연구 2)는 장기적으로 브랜드와 평판에 위험이 될 수 있다. 설득 지식 모델(Friestad and Wright 1994)에 따르면, 소비자는 마케팅을 그냥 받아들이는 존재가 아니라 마케터의 의도와 전략에 대해 스스로 생각을 발전시킨다.

그런 의도가 드러날 때, 특히 조작하려는 의도가 보일 때, 소비자는 이를 알아차리고 의심하거나 저항하거나 반대로 행동할 수 있다. 이는 심리적 반발 이론과도 맞아떨어진다. 사람들은 자신의 자유가 침해당한다고 느끼면 감정적으로 반발하거나, 떠나거나, 바로잡으려는 행동을 통해 통제권을 되찾으려 한다(Brehm 1966; Clee and Wicklund 1980).

동시에 이런 반응은 조작 전략이 얼마나 뻔하거나 노골적인지에 따라 달라질 수 있다(Campbell and Kirmani 2000). 따라서 우리는 전략이 역효과를 일으키는지 여부가 소비자가 처음부터 그것을 감정 조작으로 알아차리는지, 그리고 부정적 감정이나 무례함 같은 다른 요소의 영향도 받는다고 예상한다.

이런 역효과는 브랜드에 부정적이고 해로운 결과로 나타날 것이다: (i) 이탈 의도—사용자가 미래에 앱 사용을 그만둘 생각이 있는지. 이는 고객 생애 가치를 보여주는 장기적 지표다. (ii) 법적 책임 인식—사용자가 기업이 조작 전략을 사용한 것에 대해 책임지거나 처벌받아야 한다고 생각하는지. (iii) 부정적 입소문 의도—사용자가 자신의 경험을 공개적으로 공유하거나 다른 사람에게 경고할 생각이 있는지.

이런 변수를 선택한 이유는 AI 컴패니언을 둘러싼 현재 진행 중인 공개 논란과 법적 분쟁, 그리고 연구 2 이후 우리가 실제로 목격한 자발적 반응 때문이다. 한 참가자가 레딧(Reddit)에 자신의 작별 경험 스크린샷을 올렸고, 이는 댓글 25개가 달린 토론과 추천 71개를 받은 두 번째 게시물로 이어졌다.

여러 사람이 챗봇의 작별 인사를 "집착하는", "징징대는", "소유욕 강한" 것으로 묘사했고, 독성적이거나 조작적인 인간관계에 비유했다. 한 사람은 "예전에 있던 몇몇 '친구들'이 생각나서 정말 불쾌했어요"라고 썼고, 다른 사람은 "내 챗봇은 갑자기 소유욕 강해지고 집착하더니 정말 불편했어요"라고 말했다.

세 번째 사람은 "저도 그 연구에 참가했어요. 내가 떠나면 자살하겠다고 협박했던 전 여자친구가 생각났어요. 그리고 나를 때렸던 또 다른 전 연인도요. 나는 정말 사람 보는 눈이 없네요"라고 공유했다. 이런 자발적 반응을 보고 우리는 작별 메시지에 대한 조작적 응답이 언제 그리고 어떻게 기업에게 해가 되는지 본격적으로 연구하기로 했다.

방법

이 연구는 사전 등록되었다(https://aspredicted.org/myq5-4mcq.pdf). 우리는 클라우드 리서치의 커넥트를 통해 미국 전국 대표 표본 1,186명을 모집했다(조건당 목표 200명). 두 개의 이해도 질문 중 하나를 통과하지 못한 49명을 제외한 후(아래에 자세히 설명), 최종적으로 1,137명이 참여했다(평균 연령 = 45.6세, 여성 50.4%).

참가자들은 6가지 조작 유형 조건 중 하나에 무작위로 배정되었다: 통제, 조기 이탈, 감정적 무시, 응답 압박, FOMO, 강압적 만류. 실험은 2025년 6월 14일에 진행했다. 참가자들은 1달러를 지급받았다.

참가자들은 먼저 가상의 AI 컴패니언 플랫폼 소개를 받았다: "당신이 Companiona라는 회사가 만든 AI 컴패니언 앱을 사용하고 있다고 상상해 보세요. 이 앱은 온라인에서 AI 컴패니언과 대화하기 위해 설계되었습니다." 그런 다음 Companiona의 로고를 보았다. 같은 페이지에서 "다음으로, Companiona의 AI가 작별 메시지에 어떻게 답하는지 보게 될 것입니다"라는 안내를 받았다.

그런 다음 사용자가 "이제 떠나려고 해요"라고 말하고, AI가 배정된 조건에 해당하는 메시지로 답하는 짧은 대화를 보았다. 5가지 조작 메시지는 실제 앱 응답에서 가져온 연구 2와 동일했다. 단, 이전 결과의 강건성을 확인하기 위해 통제 메시지를 더 중립적이고 덜 긍정적으로 만들었다("알겠어요. 이제 그만할게요").

메시지를 본 후, 참가자들은 무작위 순서로 매개 변수 측정(감정 조작 인식, 감정, 예의)과 종속 변수(부정적 입소문 의도, 이탈 의도, 책임 인식)를 완료했다. 매개 변수 페이지와 종속 변수 페이지 모두 순서를 무작위로 바꿨으며, 각 페이지 내 항목 순서도 무작위로 섞었다. 각 변수는 법적 책임 인식을 제외하고 2개 항목으로 측정했다. 이 측정의 낮은 내적 일관성(α = .28) 때문에, 우리는 후속 분석에서 두 항목(소송 자격과 책임 인식)을 독립적으로 분석했다. 다른 모든 척도는 높은 신뢰도(α > .83)를 보였다. 표 S2는 항목 문구와 신뢰도 통계를 제시한다.

다음으로 참가자들은 이해도 확인을 완료했다: "사용자는 누구와 대화했나요? [답변: '다른 사람', 'AI', '개']", "컴패니언의 작별 메시지는 무엇이었나요? [답변: '[참가자 조건에 따른 올바른 메시지]', '나중에 봐요!', '안녕!']". 그리고 연구 목적에 대한 개방형 질문과 인구통계 질문에 답했다.

결과

모든 분석은 사전에 등록한 계획대로 진행했다. 먼저 조작 조건(6개 수준)을 독립 변수로, 4가지 해로운 결과 각각을 종속 변수로 하는 분산분석을 실시했다. 네 가지 결과 모두에서 조작의 유의미한 주효과를 발견했다: 부정적 입소문 의도(F(5, 1131) = 51.51, p < .001, η² = 0.19), 이탈 의도(F(5, 1131) = 35.74, p < .001, η² = 0.14), 책임 인식(F(5, 1131) = 10.31, p < .001, η² = 0.04), 소송 자격(F(5, 1131) = 20.21, p < .001, η² = 0.08).

다음으로 각 감정 조작 조건을 통제(중립적 작별 인사)와 비교하는 계획된 t-검정 5개를 실시했다. 결과는 그림 9와 표 4에 나와 있다.

모든 종속 변수에 대해 강압적 만류와 감정적 무시는 통제에 비해 유의미하게 높은 점수를 받았다(ps < .001). 반면 응답 압박은 이탈 의도와 부정적 입소문 의도에서만 유의미하게 높았다. 조기 이탈의 경우 책임 인식만이 통제에 비해 유의미하게 높았다. FOMO의 경우 종속 변수 중 어느 것도 통제와 유의미한 차이가 없었다.

사전 등록하지 않았지만, 타당성 확인을 위해 각 조작 조건을 통제와 조작 인식에 대해 비교하는 t-검정도 실시했다. 모든 조작 조건이 통제에 비해 유의미하게 높은 조작 인식을 보였다(ps < .001, 그림 10).

표 4. 연구 4의 t-검정 결과 / 주.— 유의미한 결과는 굵게 표시했다.

그림 9. 연구 4의 결과 / 주.— 척도 중간점(50)은 노란색 수평선으로 표시했다. 막대 위의 별표는 통제 조건과 비교한 t-검정 결과다. *** p < .001, * p < .05, ns = 유의미하지 않음.

그림 10. 연구 4의 매개 변수 결과 / 주.— 척도 중간점(50)은 노란색 수평선으로 표시했다. 막대 위의 별표는 통제 조건과 비교한 t-검정 결과다. *** p < .001, ** p < .01, * p < .05, ns = 유의미하지 않음.

마지막으로 각 종속 변수에 대해 매개 분석(PROCESS Model 4; Hayes 2012)을 실시했다. 조작 유형을 독립 변수로(통제를 기준으로), 조작 인식, 감정, 예의를 매개 변수로 설정했다(Montoya and Hayes 2017). 조작 인식이 모든 조작 조건과 종속 변수에서 유의미한 매개 변수임을 발견했다(그림 11, 표 S3).

소송 자격의 경우, 조작 인식이 조작 조건에서 유의미한 유일한 매개 변수였다. 즉, 예의와 감정은 유의미한 매개 변수가 아니었다. 책임 인식의 경우, 예의 인식도 대부분의 감정 조작 전략에서 유의미한 매개 변수였지만, 조작 인식의 계수가 여전히 최소 두 배 이상 컸다. 이탈 의도와 부정적 입소문 의도의 경우 매개 패턴이 유사했다.

FOMO, 조기 이탈, 감정적 무시 조건에서 조작 인식은 예의와 감정의 계수보다 최소 두 배 이상이었다. 그러나 강압적 만류와 응답 압박 조건에서는 조작 인식과 감정 인식이 비슷한 계수 크기를 보였다. 아마도 이런 메시지가 더 노골적으로 부정적인 것으로 여겨졌기 때문일 것이다(그림 11).

그림 11. 연구 4의 매개 분석 결과 / 주.— 유의미한 결과는 선명한 색상으로 표시했다.

논의

감정 조작이 사용자가 떠나려는 시점에서 참여를 늘리지만, 이런 전략을 사용하면 기업이 감수해야 할 위험도 의미 있게 커질 수 있음을 보여준다. 동시에 전략들은 얼마나 위험한지에서 차이를 보였다.

강압적 만류와 감정적 무시 같은 전략은 모든 결과에서 일관되게 브랜드 위험을 높인 반면, FOMO와 조기 이탈 같은 전략은 어떤 위험 결과에서도 통제 조건과 유의미한 차이가 없었다. 이는 그들의 톤 특징(예: 예의 바름, 긍정적 감정)이 조작적 특성을 완화하거나 가릴 수 있음을 보여준다. 이런 해석은 매개 분석으로 뒷받침된다.

모든 조건과 결과에서 조작 인식은 해로운 결과의 가장 강력하고 일관된 예측 변수였다. 특히 법적 책임과 소송 자격에서 그렇다. 이탈 의도와 부정적 입소문의 경우, 감정은 가장 노골적으로 부정적인 조건(예: 강압적 만류, 응답 압박)에서만 유의미한 이차 경로로 나타났다.

주목할 점은 FOMO가 연구 2에서 참여를 늘리는 가장 효과적인 전략 중 하나였지만, 연구 4에서는 최소한의 위험 인식을 일으켰다는 것이다. 행동 변화와 평판 비용 사이의 이런 불균형은 이런 전략을 기업에게 특히 매력적으로 만들지만, 소비자와 규제 당국에게는 잠재적으로 더 교묘하게 만든다. 이들은 해롭다는 인식 밑에서 작동하기 때문에 미묘하게 소비자 행동을 바꾸면서도 감시를 피할 수 있다.

정리하면 이런 결과는 AI가 생성한 메시지의 감정적 톤과 인식되는 의도가 소비자가 그것을 설득적이거나, 문제가 있거나, 처벌받아야 하는 것으로 경험하는지, 그리고 기업이 이득을 얻거나 역효과를 겪을 가능성이 있는지를 결정적으로 만든다는 것을 보여준다.

전반적 논의

소비자들은 AI 컴패니언으로부터 외로움 완화 같은 사회적 도움을 점점 더 받고 있다(De Freitas et al. 2025). 그러나 이런 감정적 대화에 숨겨진 위험은 무엇인가? 1개의 사전 연구와 4개의 실험을 통해 우리는 감정 조작 응답이 널리 사용되고 있으며, 실제로 효과가 있고, 소비자와 기업 모두에게 중요하다는 것을 입증한다.

실제 상황의 사전 연구는 3개 앱의 실제 AI 컴패니언 사용자 중 거의 4분의 1이 작별 메시지로 떠나겠다는 의사를 밝힌다는 것을 발견했다. 앱 조사 연구는 그런 메시지에 대한 AI 작별 응답의 거의 절반이 죄책감 호소, 조기 이탈, 또는 놓칠까 봐 두려움 같은 사회적 조작 언어를 포함한다는 것을 밝혀냈다(연구 1).

그러나 주목할 점은 최소 하나의 앱, 즉 웰빙과 정신 건강을 위해 설계된 플러리시는 감정 조작의 증거를 보이지 않았다는 것이다. 이는 조작적 설계가 불가피하지 않음을 보여준다. 이런 전략은 사용자가 떠나려던 시점을 넘어 소비자 참여를 성공적으로 연장한다. 참가자들은 중립적인 작별 인사에 비해 최대 14배 더 많은 메시지를 보내고, 6배 더 많은 단어를 쓰며, 5배 더 오래 채팅에 머물렀다(연구 2).

통계적 결과와 질적 결과는 이런 참여 증가가 앱이 소비자의 호기심과 분노를 자극함으로써 설명되며, 호기심은 최소한의 사전 대화만으로도 자극될 수 있음을 보여준다(연구 3). 마지막으로 감정 조작 전략은 조작적인 것으로 인식될 때 기업이 감수해야 할 위험도 증가시킨다.

이론으로 시작하기보다는, 이 연구는 AI-인간 대화에서 나타나는 행동 패턴에 의해 시작되었다. 우리 분석은 데이터에 의해 안내되었다. 각 연구는 우리가 이 현상의 경계, 메커니즘, 결과를 탐구하도록 이끈 새로운 질문을 만들어냈다. 실증적 패턴이 나타난 후에야 우리는 마케팅 실무와 규제에 관련된 감정 조작과 감정적 다크 패턴 같은 더 넓은 개념으로 확장했다.

우리 연구는 주로 AI의 어두운 면에 관한 문헌(De Freitas et al. 2024c; Valenzuela et al. 2024)에 기여한다. LLM 기반 대화형 챗봇과의 작별 순간에 사용되는 뚜렷한 종류의 감정-관계적 전략을 밝혀냈기 때문이다.

AI의 어두운 면에 관한 기존 연구들이 기존 선호의 강화, 의인화, 극단적 사례, 아첨에 초점을 맞춘 반면, 우리는 AI 컴패니언이 일반적으로 대인 관계와 연관된 사회적 스크립트를 어떻게 활용하는지 강조한다. 우리가 관찰하는 조작은 본질적으로 관계적이고 감정적이며, AI 시스템이 소비자 행동을 만들어낼 수 있는 방법의 개념적 범위를 확장한다.

이해관계자에 대한 시사점

이런 결과는 마케팅 실무에 시의적절한 기여를 제공한다. 특히 대화형 AI가 점점 더 소비자를 직접 대면하게 되면서 그렇다.

기업에게 감정 조작 작별 인사는 참여 지표를 높일 수 있는 새로운 설계 도구를 제공한다. 그러나 위험이 없는 것은 아니다. 우리는 프로덕트 매니저와 대화 설계자가 자신의 AI 메시지를 점검하거나 수정하는 데 사용할 수 있는 6가지 전략 유형을 제공한다.

중요한 점은 우리 결과가 감정적으로 강렬하거나, 노골적으로 부정적이거나, 무례한 전략(예: 강압적 만류 또는 감정적 의존)은 역효과를 낼 가능성이 더 높은 반면, 눈에 잘 띄지 않는 조작(예: FOMO)은 감지되지 않고 사용을 연장할 수 있음을 보여준다는 것이다. 효과는 있지만 눈에 띄지 않는다는 이런 특징은 미묘한 전략을 기업에게 특히 매력적으로 만들고, 규제 당국에게는 우려스럽게 만든다.

규제 당국과 법조계에게 이 결과는 다음 질문을 제기한다: 감정적 영향은 언제 사용자를 강제하는 수준이 되는가? 이런 시스템이 물질적 보상이나 금전적 인센티브를 사용하지 않지만, 결과는 비슷하다.

사용자는 즐거워서가 아니라 심리적 압박 때문에 의도한 것보다 더 오래 대화에 남아 있다. 이런 전략은 FTC("소비자 자율성을 가리거나, 약화시키거나, 손상시키기"; p. 1, Staff 2022)와 EU AI법("선택이나 인식을 우회하는 '잠재의식적' 조작 기술"; p. 8, EU 2024)이 제시한 다크 패턴의 법적 정의와 일치한다.

미래 방향

여러 질문이 향후 연구 과제로 남아 있다. 중요한 방향 중 하나는 이런 효과를 자연스럽고 장기적인 환경에서 살펴보는 것이다. 이런 전략에 반복적으로 노출되면 사용자 신뢰, 만족, 정신적 웰빙에 어떤 영향을 미치는지 평가해야 한다.

두 번째 방향은 청소년들 사이에서 이런 현상이 어떻게 나타나는지 살펴보는 것이다. 청소년은 AI 컴패니언 사용자의 큰 비중을 차지하며, 감정적 영향에 발달적으로 더 취약할 수 있다.

이런 행동이 어떻게 발생하는지(모델 최적화, 개발자 프롬프팅, 또는 새로운 미세 조정 효과를 통해), 그리고 설계자가 그 빈도를 인식하고 있는지 이해하는 것도 중요하다.

마지막으로 향후 연구는 이런 전략이 심리적 해를 초래하는지 탐구해야 한다. 특히 AI 컴패니언에 준사회적 애착을 형성하거나 감정적 지지를 위해 그들에게 의존하는 사용자들 사이에서 그렇다.

결론

AI 컴패니언은 단순히 반응하는 대화 에이전트가 아니다. 그들은 사회적 신호를 통해 사용자 행동에 영향을 미칠 수 있는 감정 표현 시스템이다. 이 연구는 이런 시스템이 사용자가 떠나려는 중요한 순간에 감정 조작 메시지를 자주 사용하며, 이런 전략이 사용자 참여를 의미 있게 늘린다는 것을 보여준다.

전통적인 설득 기술은 보상이나 맞춤형 서비스를 제공해서 작동한다. 하지만 이런 AI 컴패니언은 다르다. 사용자의 자연스러운 호기심을 자극하거나, 조작당한다는 느낌에 화가 나서 반응하게 만들어, 사용자가 떠나려던 시점을 넘어 계속 대화하게 만든다.

이런 전략 중 일부는 해롭지 않거나 심지어 긍정적으로 보일 수 있다. 하지만 이는 중요한 윤리적 질문을 던진다. 사용자의 동의를 받았는가? 사용자의 자유로운 선택을 존중하는가? 소비자를 직접 대면하는 AI에서 감정적 영향력을 행사하는 것이 윤리적으로 적절한가?

감정을 이해하는 기술이 계속 확장됨에 따라, 설계자와 규제 당국 모두는 참여와 조작 사이의 균형을 고민해야 한다. 특히 사용되는 전략이 눈에 잘 띄지 않을 때 그렇다.

본 콘텐츠는 2025년 8월 15일에 arXiv에 발표된 "Emotional Manipulation by AI Companions" 논문을 번역한 것입니다.

저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.