AI 에이전트
AI 비서 시대, 이제 모두가 비서를 데리고 다녀요
안녕하세요, 자동화데니예요.
요즘 저는 정부 창업 지원 프로그램에서 기술 멘토(CTO 멘토)로 활동하고 있어요. 여러 대표님들의 서비스 개발을 돕다 보니, 멘티분들께 이런 요청을 자주 드리게 돼요.
"저(기술 멘토)에게 궁금한 기술 QnA를 정리해서 보내주세요." "서비스 개발에 필요한 요구사항을 정리해주세요."
그런데 며칠 뒤 도착한 회신들을 읽다가, 저도 모르게 웃음이 났어요. 회신들이 하나같이 어딘가 낯익은 문체였거든요. 네, 맞아요. 전부 AI가 쓴 글이었어요.
한 대표님은 Codex와 OpenAI 기반 에이전트로, 다른 대표님은 클로드 API로 회신을 보내오셨더라고요. 마치 각 회사 대표가 진짜 비서를 두고 "이거 멘토님께 답장 보내줘"라고 지시한 것처럼요.
그리고 더 재밌는 건요. 그 회신을 받은 저도, 클로드로 답장을 쓰고 있었다는 거예요. 😄
사람과 사람이 대화하는 줄 알았는데, 알고 보니 에이전트와 에이전트가 편지를 주고받고 있었던 거죠. 그런데 이 과정에서 아주 중요한 걸 발견했어요. 비서를 두는 건 이제 누구나 하는데, 비서의 실력이 너무 다르다는 사실이에요.
이 글에서는 제가 멘토링 현장에서 직접 목격한 'AI 비서 격차'의 실제 사례와, 그 격차가 어디서 갈리는지, 그리고 내 에이전트를 제대로 훈련시키는 방법까지 한 번에 정리해 드릴게요.
1) 이제 모두가 비서를 두고 있어요
먼저 상황을 그려볼게요. 멘토링은 보통 이런 흐름으로 진행돼요.
- 제가 멘티 대표님께 요청을 드려요. "기술 QnA 정리해주세요."
- 대표님이 회신을 보내주세요.
- 저는 그 회신을 바탕으로 멘토링 자료를 준비해요.
겉으로 보면 평범한 사람 대 사람 커뮤니케이션이죠. 그런데 실제로는 이랬어요.
- 제가 요청을 드려요.
- 대표님이 그 요청을 자신의 에이전트에게 넘겨요. (Codex든, 클로드든, ChatGPT든)
- 에이전트가 작성한 회신이 저에게 도착해요.
- 저는 그 회신을 제 에이전트(클로드)에게 넘겨서 답장 초안을 만들어요.
몇 년 전만 해도 "AI 비서"는 대기업 임원이나 쓰는 개념처럼 느껴졌잖아요. 그런데 지금은 1인 기업 대표님도, 예비 창업자분도, 그리고 멘토인 저도 각자의 비서를 데리고 다니고 있어요. 비용도 월 몇만 원 수준이고요.
여기까지만 보면 "와, 좋은 세상이네요"로 끝날 이야기예요. 그런데 진짜 이야기는 지금부터예요.
2) 그런데 비서들의 실력이 너무 달랐어요 (사례 2가지)
같은 시기에, 비슷한 요청을 드렸는데, 돌아온 회신의 품질이 하늘과 땅 차이였어요.
실제 사례 두 가지를 들려드릴게요.
(1) 사례 A: 요청 문장을 그대로 챗봇에 넣은 비서
한 대표님께 "기술 QnA를 정리해주세요"라고 요청드렸어요. 제 의도는 이랬어요.
- 대표님이 만들고 싶은 서비스가 뭔지
- 그 서비스를 만들면서 기술적으로 막히는 지점이 뭔지
- 기술 멘토인 저에게 진짜 물어보고 싶은 게 뭔지
이런 것들이 담긴 질문 리스트를 기대했죠. 그런데 도착한 회신은... 코드 리뷰 수준의 아주 전문적인 질문들이었어요. "이 아키텍처에서 캐싱 전략은 어떻게 가져가나요?" 같은, 누가 봐도 "이걸 지금 왜 물어보시지?" 싶은 질문들이요.
어떻게 된 걸까요? 추측컨대, 제 요청 문장 "기술 QnA 정리해주세요"를 그대로 챗봇에 복사해서 붙여넣으신 거예요. 에이전트 입장에서는 맥락이 하나도 없으니, "기술 QnA"라는 단어만 보고 그럴듯한 기술 질문들을 지어낸 거죠.
비서에게 "답장 좀 써줘"라고만 하고, 상대가 누군지, 우리가 뭘 원하는지 아무것도 알려주지 않은 셈이에요.
(2) 사례 B: 그럴듯한데 사실이 아닌, 할루시네이션 섞인 비서
또 다른 대표님의 회신은 클로드로 작성된 문서였는데요. 문장도 매끄럽고 구조도 좋았어요. 그런데 내용을 읽어보니 실제와 다른 내용들이 사실처럼 섞여 있었어요. AI를 써보신 분들은 아시죠. 할루시네이션이에요.
에이전트가 모르는 부분을 "모른다"고 하지 않고, 그럴듯하게 지어서 채워 넣은 거예요. 검증 단계 없이 그대로 발송되니, 받는 사람 입장에서는 어디까지 믿어야 할지 알 수 없는 문서가 됐죠.
그리고 고백하자면, 그 회신을 받은 저도 클로드로 답장을 쓰고 있었으니까요.
잘못하면 할루시네이션에 할루시네이션으로 답하는 웃지 못할 상황이 될 뻔했어요. 😅
(3) 두 사례의 공통점: 도구가 아니라 '훈련'의 문제
여기서 중요한 포인트가 있어요. 두 분 다 좋은 도구를 쓰고 계셨어요. Codex도, 클로드도 최고 수준의 AI예요. 문제는 도구가 아니라, 비서에게 맥락과 지침을 주지 않은 채 일만 던진 것이었어요.
진짜 비서를 새로 채용했다고 생각해보세요. 첫날부터 "거래처에 답장 보내줘"라고만 하면, 아무리 유능한 비서도 이상한 답장을 쓸 수밖에 없어요. 우리 회사가 뭘 하는지, 거래처와 무슨 이야기가 오갔는지, 대표님이 어떤 톤을 원하는지 알려줘야 하잖아요. AI 비서도 똑같아요.
3) 그래서, 내 AI 비서는 어떻게 훈련시켜야 할까요
멘토링 현장에서 목격한 격차를 뒤집어보면, 잘 훈련된 비서를 만드는 방법이 보여요. 저는 4가지 원칙으로 정리했어요.
(1) 맥락 상속: 내 사업을 아는 비서로 만들기
매번 처음부터 설명하지 말고, 상시 지침을 만들어두세요. 도구마다 이름은 달라요.
- ChatGPT라면 '맞춤 설정(Custom Instructions)'이나 프로젝트 지침
- 클로드라면 프로젝트 지침이나 스타일 설정
- 클로드 코드라면 CLAUDE.md 파일
여기에 이런 내용을 넣어두는 거예요. "나는 OO 서비스를 만드는 1인 기업 대표다. 주 고객은 OO이고, 지금은 MVP 개발 단계다. 기술 스택은 OO를 쓴다." 이 한 번의 투자로, 비서의 모든 답변 품질이 달라져요.
(2) 요청 번역: 받은 지시를 그대로 넣지 않기
사례 A의 교훈이에요. 누군가에게 받은 요청을 그대로 복붙하지 말고, 비서가 일할 수 있는 형태로 번역해서 전달하세요.
나쁜 예: "기술 QnA 정리해주세요" (받은 문장 그대로)
좋은 예: "기술 멘토님께 보낼 질문 리스트를 만들려고 해. 멘토님은 우리 서비스의 개발을 도와주시는 분이야. 우리는 지금 OO 기능 구현에서 막혀 있고, OO를 써야 할지 고민 중이야. 이 상황에서 멘토님께 물어볼 질문을 초안으로 뽑아줘. 내가 검토하고 수정할 거야."
요청의 상대, 목적, 우리 상황 세 가지만 넣어줘도 결과가 완전히 달라져요.
(3) 검증 루프: 무조건 '휴먼 인 더 루프(Human in the Loop)'
사례 B의 교훈이에요. 그리고 이 원칙만큼은 "가능하면"이 아니라 "무조건"이라고 말씀드리고 싶어요.
에이전트가 아무리 발전해도, AI의 할루시네이션은 완전히 없앨 수 없어요. 그래서 에이전트를 돌리는 워크플로우에는 반드시 사람이 개입하는 지점(Human in the Loop)이 설계되어 있어야 해요. 자동화의 목적은 사람을 빼는 게 아니라, 사람이 판단에만 집중하게 만드는 거예요.
- 지침에 "모르면 모른다고 답하고, 추측이면 추측이라고 표시해" 를 넣기
- 사실과 수치에는 출처를 붙이게 하기
- 에이전트가 초안까지만 만들고, 발송·실행 버튼은 사람이 누르게 워크플로우 설계하기
- 그리고 가장 중요한 것: 발송 전에 내가 처음부터 끝까지 읽기
n8n 같은 자동화 툴로 에이전트 워크플로우를 만들 때도 마찬가지예요. 중간에 승인 단계(예: 슬랙/카톡으로 "이대로 보낼까요?" 확인)를 하나 넣는 것만으로 사고의 대부분을 막을 수 있어요.
비서가 쓴 문서라도, 내 이름으로 나가는 순간 그건 내 문서예요. 서명은 사람이 하는 거예요. AI에게 위임할 수 있는 건 '작업'이지, '책임'이 아니에요.
(4) 내 목소리: 'AI 냄새'를 지우는 톤 지침
솔직히 말하면, AI가 쓴 글은 티가 나요. 저도 멘티분들의 회신을 보자마자 알았으니까요.
문제는 AI를 쓴 것 자체가 아니라, 누가 보냈는지 모를 무색무취의 글이 된다는 거예요.
평소 내가 쓴 이메일이나 메시지 몇 개를 비서에게 보여주고 "내 말투를 학습해서 이 톤으로 써줘"라고 지침을 만들어보세요. 문장 길이, 자주 쓰는 표현, 인사 방식까지요. 같은 내용이라도 '내 목소리'가 입혀지면 받는 사람의 신뢰가 달라져요.
결론: 격차는 모델이 아니라 지침에서 나요
이번 멘토링 경험으로 확신하게 된 게 하나 있어요.
AI 비서 시대의 격차는 어떤 모델을 쓰느냐가 아니라, 비서를 얼마나 훈련시켰느냐에서 갈린다는 거예요.
내 비서가 잘 훈련됐는지 판단하는 기준은 간단해요.
- ✅ 합격: 받는 사람이 "정리가 잘 됐네요"라고 느낀다. AI를 썼는지 여부가 중요하지 않을 만큼 내용이 정확하고 맥락에 맞는다.
- ⚠️ 불합격: 받는 사람이 "이걸 지금 왜 물어보시지?"라고 갸웃한다. 그럴듯하지만 사실이 아닌 내용이 섞여 있다.
한 문장으로 요약하면 이거예요. "이 문서에 내가 서명할 수 있는가?" 서명할 수 있으면 보내고, 없으면 비서를 더 훈련시켜야 할 때예요.
그리고 마지막으로 하나만 더요. 에이전트를 아무리 잘 훈련시켜도, 휴먼 인 더 루프는 선택이 아니라 필수예요. 최종 검토와 승인 없이 에이전트가 알아서 돌아가는 순간, 잘 훈련된 비서도 언제든 사례 B가 될 수 있어요. 자동화는 사람을 빼는 기술이 아니라, 사람을 '판단하는 자리'에 두는 기술이에요.
오늘 바로 해볼 수 있는 체크리스트
- 내 에이전트에 상시 지침(내 사업, 고객, 현재 단계, 톤)이 저장되어 있는지 확인하기
- 외부에서 받은 요청을 그대로 복붙하지 말고, 상대·목적·우리 상황을 담아 번역해서 전달하기
- 지침에 "모르면 모른다고 답해, 추측은 추측이라고 표시해" 한 줄 추가하기
- 사실과 수치가 들어간 문서는 출처를 확인하기
- 에이전트 워크플로우에 사람의 승인 단계(휴먼 인 더 루프)가 최소 한 곳은 있는지 점검하기
- 발송 전, 내 이름으로 나가는 모든 문서를 처음부터 끝까지 읽기
- 내 이메일 3~5개를 비서에게 보여주고 톤 지침 만들기
에이전트와 에이전트가 편지를 주고받는 시대, 이미 와 있어요.
이제 질문은 "AI 비서를 쓸까 말까"가 아니라 "내 비서를 어떻게 훈련시킬까"예요.
그리고 그 훈련은 거창한 기술이 아니라, 오늘 지침 파일 하나 만드는 것에서 시작돼요.
여러분의 AI 비서는 지금 어떤가요? 지침을 어떻게 쓰고 계신지, 혹은 비서가 사고 친(?) 경험담이 있다면 댓글로 들려주세요. 재밌는 사례는 다음 레터에서 함께 다뤄볼게요. 궁금한 점은 댓글로 편하게 문의 주세요!
AI 대항해 시대, AI를 활용해 솔로프리너가 되고 싶은 분들을
에이아이밋과 행복한 여정을 함께하세요.
🎥유튜브🎥 매주 AI 최신 정보, AI 교육, AI 서비스/자동화 제작법 등을 소개하고 있어요. 에이아이밋 유튜브: https://s.brainimpact.ai/mailyyoutubefooter
💬카카오 오픈채팅방💬 솔로프리너를 위한 연대와 협업을 하고 있어요. 에이아이밋 오픈채팅방: https://s.brainimpact.ai/mailykakaoallfooter 에이아이밋 자동화 오픈채팅방: https://s.brainimpact.ai/mailykakaoautofooter
AI비서, AI에이전트, 에이전트훈련, 휴먼인더루프, HumanInTheLoop, 프롬프트, 지침설계, 커스텀인스트럭션, Claude, ChatGPT, Codex, 할루시네이션, AI자동화, 솔로프리너, 1인기업, 창업멘토링, aimit, 에이아이밋, 수익자동화, 자동화데니
의견을 남겨주세요