🧐 Summary
1️⃣ 복잡한 멀티에이전트 시스템일수록 사용자가 흐름을 이해하고 제어할 수 있어야 신뢰가 생깁니다.
2️⃣ 작업 과정과 데이터 흐름을 시각화하면 사용자가 문제를 더 빨리 파악하고 적극적으로 개입하게 됩니다.
3️⃣ ‘보여주기–개입하기–확인하기’ 흐름과 직관적인 수정·변경 확인 설계가 멀티에이전트 UX의 핵심입니다.
우리가 AI를 이야기 할때 가장 쉽게 떠올리는 건 영화 아이언맨의 자비스에요. 말한마디면 나의 의도를 정확하게 이해하고, 내가 기대했던대로 척척 일하는 존재 말이죠. 그런데 현실에서 AI가 이렇게 매끄럽게 동작하기 위해서는 여러 개의 AI가 각각 역할을 맡아 협력하는 멀티에이전트 시스템이 필요합니다.
그런데 여러 AI가 동시에 움직이는건 쉬운 일이 아니죠. 상황이 더 복잡해지고, 예상하지 못한 방향으로 흘러갈 가능성도 높아집니다. 오늘은 CHI 2025년에 발표된 “Interactive Debugging and Steering of Multi-Agent AI Systems” 논문을 바탕으로 멀티에이전트 시스템이 왜 중요하고 어떤 UX 설계 고민이 필요할지 이야기해보겠습니다.
멀티에이전트 UX에서 상황 파악이 핵심인 이유
에이전트는 특정 목표를 위해 스스로 판단하고 행동하는 AI입니다. 예를 들어 ‘오늘 날씨를 검색해서 우산이 필요한지 알려주는 AI’는 날씨 에이전트예요. 멀티에이전트 시스템은 이런 에이전트들이 모여서 각각의 역할에 따라 협력하는 구조입니다. 예를 들어, 여행 계획을 짜는 멀티에이전트 시스템이라면, 항공권 검색 에이전트, 숙소 추천 에이전트, 일정 최적화 에이전트가 서로 대화하면서 결과를 만드는 거죠.
이런 구조는 효율적이지만 사용자 입장에서는 지금 무슨 일이 일어나고 있는지 파악하기 어렵죠. 멀티에이전트 환경에서는 에이전트 간의 상호작용이 눈에 보이지 않기 때문이에요. 여러 팀이 동시에 프로젝트를 진행하는데, 서로 어떤 상태인지 공유가 안 되는 상황과 비슷합니다.
그래서 논문에서는 멀티에이전트 시스템에서는 사용자가 쉽게 문제를 찾고 흐름을 수정할 수 있는 경험을 만드는 것이 중요하다고 말합니다. 여기서 문제를 찾는 다는 것은 오류를 발견하는 것이 아니라, 전체 흐름 속에서 예상과 다른 결과나 진행 방향을 알아채고 필요할때 그걸 바꿀 수 있다는 의미에요. 복잡한 시스템일수록 사용자가 상황을 이해하고 제어할 수 있어야 신뢰를 만들수 있기 때문입니다.
에이전트들이 함께 일하는 모습을 보여주면 생기는 변화
논문에서는 실제로 멀티에이전트 시스템을 만들어서 사람들이 그 과정을 볼 수 있는 인터페이스를 제공했습니다. 예를 들어, 각 에이전트가 지금 무슨 작업을 하는지, 어떤 데이터를 주고받는지를 시각적으로 보여줬어요. 그리고 사용자가 중간에 끼어들어 ‘이건 이렇게 바꿔줘’라고 지시하거나, 불필요한 단계를 건너뛸 수도 있게 했습니다. 어떤 결과가 나왔을까요?
이 논문에서는 멀티에이전트 시스템을 쓰는 사람들이 실제로 어떤 어려움과 패턴을 겪는지 관찰했어요. 많은 사용자들이 에이전트I가 잘못된 방향으로 갈 때 “어디서부터 틀렸는지” 찾는 데 큰 어려움을 느꼈습니다. 중간 과정을 볼 수 없으면 결과만 보고 수정 방향을 잡기가 힘들었죠. 반대로 각 에이전트가 어떤 데이터를 주고받으며 어떤 결정을 내렸는지 보여줬을 때, 사용자는 더 빠르게 문제를 발견하고 고칠 수 있었습니다. 중간에 개입할 수 있었을 때 사용자는 AI를 훨씬 더 능동적으로 활용했습니다. 처음에는 AI의 제안을 그대로 받던 사람들이, 점점 ‘이건 필요 없어’, ‘여기서 다른 옵션도 찾아봐’처럼 적극적으로 수정했습니다.
또, 모든 제어가 가능하다고 해서 좋은 것은 아니였습니다. 조작이 너무 복잡하면 사용자는 지쳐서 “그냥 기본 설정으로 두자”라는 선택을 했죠. 피드백의 방식도 중요했어요. 단순히 ‘성공/실패’ 같은 이분법보다, 왜 그런 결과가 나왔는지를 짧고 명확하게 보여주는 피드백 방식이 사용자 만족도를 크게 높였습니다.
멀티에이전트 UX 설계 포인트
논문에서 발견한 패턴은 멀티에이전트 UX 설계의 핵심을 잘 보여줍니다. ‘보여주기 – 개입하기 – 확인하기’라는 세 단계가 끊김 없이 이어져야 한다는 것이죠. 멀티에이전트 시스템이라면 “에이전트끼리 알아서 잘 처리하면 되는 거 아닌가? 내가 왜 직접 수정하거나 확인해야 하지?”라는 의문이 들 수 있습니다.
하지만 현실에서 우리는 완전 자동화된 결과를 쉽게 믿지 않습니다. “이거 제대로 한 거 맞아?”, “여기 조금 바꾸고 싶은데…” 같은 생각이 자연스럽게 드는 거죠. 그래서 사용자가 과정에 개입할 수 있는 명확한 지점을 설계해두는 것이 중요합니다.
복잡성 가시화
여러 에이전트가 동시에 일하고 있을 때, 그 관계와 흐름을 눈으로 볼 수 있도록 만드는 게 중요합니다. 예를 들어, 각 에이전트를 아이콘이나 색상으로 구분해 네트워크 형태로 보여주면, “아, 지금 데이터 분석 에이전트가 멈춰있네” 같은 상황을 한눈에 파악할 수 있죠. 이런 방식은 정보 제공을 넘어서 사용자가 문제를 발견하고 해결할 수 있게 도와줍니다.
수정은 가볍게
사용자가 수정해야 할 순간이 왔을 때 너무 많은 옵션이나 복잡한 절차가 필요하면 수정할 생각을 하기 어렵죠. 그래서 직관적인 조작 방식이 필요합니다. 아주 예전 리모컨들을 보면 버튼이 많아도 쓰기 어려웠잖아요. 같은 원리입니다. 필요한 순간, 최소한의 동작으로 원하는 방향으로 가볍게 수정할 수 있어야 해요.
변화를 비교할 수 있게
사용자의 조작이 시스템에 어떤 변화를 만들었는지 즉시 보여줘야 합니다. 이때 단순히 완료되었습니다라는 메시지만 주는 것이 아니라, 무엇이 어떻게 달라졌는지를 시각적으로 비교해주는 것이 효과적입니다. 그래야 사용자가 ‘내 행동이 의미 있었다’는 확신을 가질 수 있고 시스템을 신뢰할 수 있기 때문이에요.
멀티에이전트 시스템은 앞으로 더 많은 서비스와 제품의 기본 구조가 될 가능성이 큽니다. 하지만 기술이 아무리 똑똑해져도 사용자가 그 안에서 결정권을 갖지 못한다면 그 기술을 쉽게 신뢰할 수 없겠죠. AI를 나의 파트너로 생각한다면 더 그럴꺼에요. 왜 그런 결정을 내렸는지 알고 싶고, 중간에 대화하면서 결론을 바꿔보고 싶은 마음이 들테니까요. 그래서 멀티에이전트 시대에 중요한건 자동화를 넘어서 그 자동화 속에서 나와 내 AI파트너가 함께 일하고 있다는 느낌을 설계하는 것이에요.
오늘 소개해드린 내용은 함께 일하고 있다는 느낌을 설계하는 기본구조입니다. 사실 더 많은 고민이 필요하겠죠. 목적과 상황에 따라서 혹은 사용자의 성향에 따라서도 달라질 수 있으니까요. 같이 더 깊은 생각들을 하면서, 우리는 다음주 수요일에 만나요!
[inspire X 오픈카톡방]
https://open.kakao.com/o/gBHmseah
Reference
[1] Epperson, W., Bansal, G., Dibia, V. C., Fourney, A., Gerrits, J., Zhu, E., & Amershi, S. (2025, April). Interactive debugging and steering of multi-agent ai systems. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-15).
https://doi.org/10.1145/3706598.3713581
[2] https://blog.futuresmart.ai/multi-agent-system-with-langgraph
의견을 남겨주세요