🍪 AI를 다 알 필요 없어요. AI 리포트는 질문이 바꿉니다

안녕하세요, 구독자님! 12시의 성장 파트너 조이입니다.

오늘 아침, 어제와 똑같은 데이터를 넣고 똑같은 명령을 실행했어요.

그런데 리포트가 달라졌습니다.

AI 모델을 바꾼 것도 아니고, 새로운 데이터를 추가한 것도 아니었어요. 검증을 담당하는 AI에게 질문 세 개를 더했을 뿐입니다.

“전주보다 50% 이상 달라진 수치는 없는가?”“모든 실행 항목에 담당팀이 적혀 있는가?”“분석이 관찰·원인·행동·예측 순서로 작성됐는가?”

질문을 바꾸자, 이전에는 그냥 지나쳤던 오류와 빈칸이 보이기 시작했어요.

오늘은 딱 1가지만 가져가요! 반복 업무 하나를 골라 ‘누가 하고, 무엇을 검사할지’ 나눠보기.

🤖 AI 하나에게 전부 시켰더니 생긴 일

처음에는 AI에게 이렇게 말했습니다.

한 문장으로 모든 일을 맡긴 거죠.

결과물은 빠르게 나왔습니다. 그런데 매번 어딘가 부족했어요.

수치는 맞는데 분석이 얕았습니다.분석은 있는데 무엇을 해야 할지 없었습니다.행동은 적혀 있는데 담당자가 없었습니다.

처음에는 AI가 아직 충분히 똑똑하지 않다고 생각했어요.

하지만 문제는 모델의 성능이 아니었습니다.

한 명에게 너무 많은 역할을 동시에 맡긴 것이 문제였습니다.

사람에게도 데이터 수집, 숫자 검증, 원인 분석, 의사결정, 보고서 발행을 전부 맡기면 실수가 생깁니다. 그런데 AI에게는 이 모든 일을 한 문장으로 시키고 있었던 거예요.

AI가 부족했던 것이 아니라, 업무 구조가 없었던 겁니다.

🧩 AI도 팀처럼 역할을 나눠야 합니다

멀티에이전트라는 말을 들으면 복잡한 기술부터 떠올리기 쉽습니다.

하지만 아주 쉽게 말하면 이겁니다.

한 명의 AI에게 모든 일을 시키지 않고, 역할이 다른 AI 여러 명이 순서대로 일하게 만드는 것.

회사에서 한 사람이 모든 부서의 업무를 하지 않는 것과 같습니다.

제가 만든 리포트 과정에는 여섯 가지 역할이 있습니다.

① Context — 오늘의 상황을 확인합니다

“오늘은 무엇을 봐야 하지?”

요일, 행사, 목표, 지난 이슈처럼 오늘의 분석에 필요한 배경을 정리합니다.

② Collector — 필요한 데이터를 모읍니다

“자료는 어디에 있지?”

판매, 고객, 광고, 재고 등 여러 시스템에서 필요한 숫자를 가져옵니다.

③ Fact-check — 숫자가 맞는지 확인합니다

“이 수치를 믿어도 될까?”

합계가 맞는지, 누락된 항목은 없는지, 날짜 기준이 같은지 검사합니다.

④ Risk — 이상한 변화를 찾습니다

“평소와 크게 다른 것은 무엇이지?”

전주보다 급격히 떨어진 수치나 갑자기 증가한 품절처럼 사람이 먼저 봐야 할 신호를 찾습니다.

⑤ Judge — 보고 기준을 통과했는지 판단합니다

“이 내용을 리더에게 보여줘도 될까?”

원인과 행동이 연결됐는지, 담당자와 기한이 있는지 확인합니다.

⑥ Publisher — 읽기 쉬운 형태로 정리합니다

“누가 봐도 바로 이해할 수 있을까?”

검증된 내용만 정해진 보고서 형식으로 발행합니다.

각 AI는 많은 일을 잘하려고 하지 않습니다.

자신에게 맡겨진 한 가지 역할만 제대로 수행합니다.

이렇게 나누면 결과가 잘못됐을 때 원인도 찾기 쉬워집니다.

숫자가 틀렸다면 수집이나 검증 단계의 문제입니다. 
분석은 맞지만 행동이 없다면 판단 단계의 문제입니다. 
내용은 좋은데 읽기 어렵다면 발행 단계의 문제입니다.

🔗 흩어진 데이터를 연결하는 공용 출입문

역할을 나눴다고 모든 문제가 해결되는 것은 아닙니다.

판매 데이터는 판매 시스템에 있고, 고객 행동은 분석 도구에 있고, 광고비는 광고 플랫폼에 있어요. 재고는 스프레드시트에 있고, 회의 결정은 협업 문서에 흩어져 있습니다.

AI가 아무리 일을 잘해도 이 자료를 읽을 방법이 없다면, 결국 사람이 매일 복사해서 붙여넣어야 합니다.

이때 필요한 것이 MCP(Model Context Protocol)​입니다.

용어는 어렵지만 역할은 단순합니다.

전자제품이 여섯 개 있다고 생각해볼게요.

제품마다 전혀 다른 방식으로 전기를 연결해야 한다면 사용할 때마다 복잡할 겁니다. 공통 규격의 콘센트가 있으면 필요한 제품을 쉽게 연결할 수 있습니다.

MCP도 비슷합니다.

판매 시스템 ─────┐ 고객 분석 도구 ──┤ CRM 캠페인 ──────┤ 광고 성과 ───────┼─→ AI 에이전트 팀 → 리포트 재고 문서 ───────┤ 협업 문서 ───────┘

물론 MCP를 연결한다고 AI가 모든 데이터에 자동으로 접근하는 것은 아닙니다.

어떤 데이터를 읽을 수 있는지, 어떤 행동까지 허용할지, 권한과 보안 기준을 먼저 정해야 합니다.

중요한 변화는 이것입니다.

사람이 여섯 개 시스템을 돌아다니며 자료를 옮기는 대신, 허용된 범위 안에서 AI가 필요한 데이터를 찾아와 다음 역할에 전달할 수 있게 됩니다.

❓ 리포트의 품질은 질문에서 결정됩니다

오늘 아침 리포트가 달라진 이유로 돌아가 보겠습니다.

검증을 맡은 AI에게 다음 질문을 추가했습니다.

이 질문들은 AI에게 생각할 주제를 제안한 것이 아닙니다.

다음 단계로 넘어가기 전에 반드시 통과해야 하는 검사표였습니다.

예를 들어 담당팀이 없는 행동 항목이 발견되면, AI는 보고서를 그대로 발행하지 않습니다.

“담당팀 확인 필요”라고 표시하거나, 앞 단계로 돌려보냅니다.

분석에 원인이 없으면 멋진 문장으로 채우지 않습니다.

“원인 근거 부족”이라고 표시합니다.

이렇게 질문을 통과한 내용만 최종 리포트에 들어가도록 만들었습니다.

더 좋은 AI 모델로 교체한 것이 아닙니다.

더 구체적인 통과 기준을 심은 것입니다.

AI는 우리가 기대하는 것을 알아서 찾아내지 못합니다.무엇을 확인하고, 무엇을 통과시키지 말아야 하는지 구체적으로 알려줘야 합니다.

📌 재현 레시피 — 내 팀 업무를 4가지로 나누기

처음부터 멀티에이전트 시스템을 만들 필요는 없습니다.

AI를 연결하기 전에 업무부터 나눠보면 됩니다.

1단계. 반복 업무를 10개 적습니다

매일, 매주, 매월 반복되는 업무를 적습니다.

예를 들면 다음과 같습니다.

2단계. 업무를 네 가지 유형으로 분류합니다

A형 — 자동으로 처리할 업무

형식과 데이터 출처가 정해져 있습니다.

예시:

AI 역할: 대부분 자동 수행
사람 역할: 예외가 생겼을 때만 확인

B형 — 이상을 찾아 알려줄 업무

임계값이나 조건을 정할 수 있습니다.

예시:

AI 역할: 감지하고 알림
사람 역할: 원인을 확인하고 조치

C형 — 판단을 도와줄 업무

정답이 하나가 아니고 상황 해석이 필요합니다.

예시:

AI 역할: 자료 정리와 초안 작성
사람 역할: 최종 판단과 선택

D형 — 사람이 책임져야 할 업무

관계, 협상, 법적 책임이 따릅니다.

예시:

AI 역할: 자료와 선택지 준비
사람 역할: 직접 판단하고 책임

3단계. A형 업무 하나를 고릅니다

전체 업무를 한꺼번에 자동화하지 않습니다.

형식이 가장 분명하고, 실패했을 때 위험이 작은 업무 하나를 선택합니다.

4단계. 역할을 세 조각으로 나눕니다

최소한 다음 세 역할로 분리합니다.

수집하는 AI → 검사하는 AI → 정리하는 AI

예를 들어 일일 매출 보고라면 이렇게 나눌 수 있습니다.
수집: 매장별 매출 데이터를 가져온다. 검사: 누락 매장와 비정상 수치를 찾는다. 정리: 기준을 통과한 데이터로 보고서를 작성한다.

5단계. 통과 질문을 넣습니다

각 단계가 끝날 때 다음 단계로 넘어가도 되는지 확인합니다.

📝 AI에게 바로 넣는 팀 업무 분류 문장

멀티에이전트 시스템을 직접 설계해보기 전까지, 저는 이걸 "AI를 더 잘 쓰는 기술"이라고 생각했습니다.

그런데 막상 만들어보니, 이건 조직 설계였습니다. 누가 무엇을 담당하는가. 어느 단계에서 넘기는가. 무엇이 통과 기준인가.

Fact-check 에이전트에 질문을 추가했을 때 리포트가 달라진 것처럼, 팀장이 주간 보고 기준을 바꿨을 때 팀원의 행동이 달라지는 것처럼.

사람도 AI도, 어떤 질문으로 평가받느냐에 따라 움직임이 달라진다.

지금 내 팀에서 가장 명확하게 설계되어 있는 기준은 무엇인가. 그 기준이 사람들을 어떻게 움직이게 하고 있는가. 한번 들여다볼 시간이 생겼습니다.

🍪지금 당신 팀에서 A형 업무는 몇 개인가요? 그 중 아직도 사람이 손으로 하고 있는 건 몇 개인가요? 

🔍 결과를 그대로 믿지 않기 위한 검증 2가지

검증 1. 자동화 가능과 자동 실행 가능을 구분합니다

업무 형식이 고정되어 있다고 바로 자동 실행하면 안 됩니다.

데이터 접근 권한, 개인정보, 잘못된 발행을 되돌리는 방법, 예외 상황을 먼저 확인해야 합니다.

특히 외부 발송이나 데이터 수정은 사람이 승인한 뒤 실행하도록 시작하는 것이 안전합니다.

검증 2. AI의 원인 분석과 실제 근거를 구분합니다

AI는 매출이 떨어진 이유를 그럴듯하게 설명할 수 있습니다.

하지만 데이터에서 직접 확인된 사실인지, AI가 추론한 가설인지 구분해야 합니다.

리포트에는 다음처럼 표시하는 것이 좋습니다.

관찰: 실제 데이터에서 확인된 변화 원인: 근거가 있는 설명 가설: 추가 확인이 필요한 추정 행동: 지금 실행할 조치 예측: 조치 후 확인할 지표

🍪 저장용 1장 — AI 업무 분배 의사결정표

질문 1.
형식과 데이터 출처가 고정되어 있는가?
 
 YES → A형
 자동 집계·정리·발행 후보
 단, 오류 시 영향과 승인 절차를 확인한다.
 
 NO → 질문 2로 이동 

질문 2.
숫자나 조건으로 이상 상태를 정할 수 있는가?

 YES → B형
 AI가 감지하고 사람에게 알리는 업무
 임계값과 알림 대상을 명확히 정한다.

 NO → 질문 3으로 이동

질문 3.
자료 정리와 초안 작성은 가능하지만 최종 판단이 필요한가?

 YES → C형
 AI가 분석하고 사람이 결정
 사실·가설·판단을 구분한다.

 NO → 질문 4로 이동

질문 4.
협상·관계·법적 책임이 따르는가?

 YES → D형
 AI는 자료만 준비하고 사람이 수행
 최종 책임자를 명확히 한다.

자동화 전에 반드시 적을 네 가지

① 누가 데이터를 가져오는가?
② 누가 숫자가 맞는지 검사하는가?
③ 무엇을 통과해야 다음 단계로 넘어가는가?
④ 최종 결과에 누가 책임지는가?

📌 쿠키 독자에게만 드리는 생각 한 조각

멀티에이전트 시스템을 만들기 전까지는 이것을 AI 기술이라고 생각했습니다.

더 좋은 모델을 찾고, 더 복잡한 도구를 연결하는 일이라고 생각했어요.

그런데 직접 역할을 나누고 통과 기준을 만들다 보니, 이것은 기술보다 조직 설계에 가까웠습니다.

누가 무엇을 담당하는가. 어느 단계에서 다음 사람에게 넘기는가. 어떤 기준을 통과해야 완료된 것으로 볼 것인가.

검증하는 AI에게 질문을 하나 추가하자 리포트가 달라졌습니다.

팀장이 주간보고의 질문을 바꾸면 팀원의 행동이 달라지는 것과 같았습니다.

“이번 주에 무엇을 했나요?”라고 물으면 업무 목록이 나옵니다.

“어떤 문제를 발견했고, 무엇을 바꿨으며, 다음 주에 어떤 수치로 확인할 건가요?”라고 물으면 판단과 행동이 나옵니다.

사람도 AI도 어떤 질문으로 평가받느냐에 따라 움직이는 방향이 달라집니다.

다음에는 AI를 더 똑똑하게 만드는 방법부터 찾지 않으려고 해요.

먼저 우리 업무의 역할과 기준부터 더 선명하게 만들겠습니다.

🍪 오늘 점심의 한 입

지금 팀에서 매일 또는 매주 반복하는 업무 하나를 골라보세요.

그리고 네 가지만 적어보세요.

누가 자료를 모으는가? 누가 맞는지 검사하는가? 어떤 질문을 통과해야 하는가? 최종 판단은 누가 하는가?

이 네 가지가 보이면 AI를 어디에 놓아야 할지도 보이기 시작합니다.

지금 당신의 팀에는 A형 업무가 몇 개 있나요? 그중 아직도 사람이 손으로 반복하고 있는 일은 무엇인가요?

성장 파트너의 수다