🤖 커리어 상담에서 시작해 AI 에이전트 ‘쏘냐’를 만들기까지, 셩PM님

😎 오늘의 메이커 : 셩PM(이시영)님

오늘 함께할 메이커는 직접 해오던 커리어 상담 경험을 AI 에이전트 ‘쏘냐’로 만들고 있는 셩PM(이시영) 님입니다.

디자이너로 커리어를 시작해 창업을 경험하고, 삼쩜삼과 Match Group에서 PM으로 일해온 셩PM님은 본업 밖에서도 주변 사람들의 이력서를 함께 살펴보고 공고를 찾아주며 커리어 상담을 이어왔는데요. 이 경험을 더 많은 사람에게 제공하기 위해 콘텐츠와 챗봇을 거쳐, 이제는 사용자의 경험과 선택 기준을 이해하고 맞는 채용공고와 지원 방향을 함께 찾아주는 커리어 에이전트 ‘쏘냐’를 만들고 있어요.

오늘 인터뷰에서는 사람을 직접 상담하던 경험을 어떻게 AI 에이전트의 구조와 판단 기준으로 옮겼는지, Claude Code와 Codex를 활용해 직접 제품을 만들어간 과정, 사용자를 잘못 이해하거나 엉뚱한 공고를 추천하는 문제를 어떻게 발견하고 개선했는지 이야기 나눴습니다. 또한 AI로 빠르게 만드는 시대에 무엇을 만들지 판단하는 기준과, 쏘냐를 통해 궁극적으로 해결하고 싶은 커리어의 문제까지 함께 들어봤어요.

레시피 하나, ‘회사 구경’에서 커리어 상담으로

Q. 먼저 구독자분들께 셩PM님 소개 부탁드려요. 지금까지 어떤 일을 해오셨고, 최근에는 어떤 일에 가장 관심을 두고 계신가요?

안녕하세요. 셩PM이라는 이름으로 글을 쓰고 있는 이시영입니다. 디자이너로 일을 시작했고, 직접 창업도 해봤고, 이후에는 삼쩜삼이라는 세금 환급 서비스와 Match Group에서 PM으로 일해왔어요. 사람들의 문제를 찾아서 제품으로 만들고, 실제로 쓰게 만드는 일을 해왔습니다.

최근에는 제가 사람을 만나 직접 하던 일을 AI 에이전트로 어디까지 옮길 수 있는지에 관심이 많아요. 지금 만들고 있는 쏘냐도 그중 하나예요. 제가 주변 분들의 커리어를 상담하고, 공고를 찾아드리고, 지원을 도와드리던 경험에서 출발한 커리어 에이전트입니다.

Q. 본업과 별개로 주변 사람들의 이직이나 커리어 상담을 꾸준히 도와오셨다고 들었어요. 처음에는 어떻게 시작하게 된 일이었나요?

처음부터 상담을 하겠다고 시작한 건 아니었어요. 저는 원래 회사를 구경하는 걸 좋아했어요. 기업 기사도 보고, 어떤 회사가 투자를 받았는지, 무슨 사업을 시작하는지, 어떤 사람을 뽑는지 꾸준히 봤거든요. 채용공고를 읽으면 그 회사가 앞으로 뭘 하려는지도 조금씩 보이니까 재미있었어요.

그렇게 쌓인 것들을 바탕으로 친구들 이력서를 봐주다가, 다른 분이 운영하는 공개 카톡방에서도 이력서에 코멘트를 드렸어요. 그걸 보신 분이 방을 하나 만들어달라고 하셨고, 비개발자분들이 50명 넘게 모이셨어요. 질문을 받고 같이 고민하다 보니 자연스럽게 이어졌습니다. 제가 먼저 상담이라는 일을 정한 것보다, 도움이 필요한 분들이 먼저 찾아오신 쪽에 가까워요.

Q. 그동안 몇 분 정도의 커리어에 대한 상담을 진행하셨나요? 사실 본업이 있으심에도 불구하고 꽤 긴 시간을 상담에 쓰신 이유나 계기가 있으신지 궁금합니다.

한 사람과는 구글밋으로 길게 10시간 넘게 이야기하기도 했어요. 이력서 문장만 고치려고 보면 그렇게 오래 걸릴 일이 아닌데, 그 사람이 어떤 일을 해왔고 앞으로 뭘 원하는지 이해하려다 보니 시간이 길어졌어요. 커리어 이야기를 하다가 인생에서 일이 어떤 의미인지까지 같이 이야기하게 되고요.

처음에는 큰 목적이 있었던 건 아니에요. 도와드리다 보니 제가 쌓아온 정보와 경험이 실제로 도움이 된다는 걸 알게 됐어요. 공고를 추천하고, 이력서 전략과 면접 준비를 같이 하고, 필요한 분에게는 커피챗도 연결했어요. 실제로 채용까지 이어진 분들도 있었고요. 그 과정을 보면서 계속하게 됐습니다.

Q. 여러 사람의 커리어를 직접 상담하다 보니 반복해서 마주치는 고민이나 문제가 있었나요?

어디로 가야 할지 모르겠다고 하시는데, 이야기해보면 어떤 기준으로 회사를 골라야 하는지가 아직 정리되지 않은 경우가 많았어요. 연봉도 중요하고, 회사 이름도 중요하고, 성장도 하고 싶은데, 셋이 부딪히면 무엇을 고를지는 생각해보지 않은 거죠.

또 하나는 본인이 가진 걸 너무 작게 본다는 거예요. 직무를 바꾸려고 하면 이전 경험을 다 버리고 처음부터 시작해야 한다고 생각하기도 해요. 그런데 그동안 익힌 언어, 도구, 일하는 방식이 다른 역할에서 자산이 될 수 있거든요.

그리고 커리어는 생각보다 외로운 영역이었어요. 회사 사람에게 말하기는 조심스럽고, 가까운 사람에게 말해도 내 상황을 깊게 이해한 조언을 받기는 어렵고요. 정보뿐 아니라, 내 상황을 알고 같이 판단해줄 사람이 필요하다는 걸 반복해서 봤어요.

Q. 기억에 남는 상담 사례 하나를 소개해주실 수 있을까요? 처음 어떤 고민을 가지고 왔고, 셩PM님은 어떤 과정으로 그 사람의 이직을 도왔나요?

한 가지 공부에 오랫동안 시간을 쓴 뒤 새로운 진로를 고민하던 동생이 있었어요. 개발자를 생각하고 있었는데, 주니어 채용 상황이나 AI 때문에 이 선택이 맞는지 걱정하고 있었죠.

저는 개발자를 하라거나 하지 말라는 답부터 주지 않았어요. 어떤 삶을 살고 싶은지, 그 삶에서 일은 어떤 역할을 해야 하는지부터 물었어요. 그리고 지금 가진 걸 같이 봤습니다. 본인은 새 출발이라고 생각해서 이전 경험을 다 내려놓으려 했는데, 이미 언어도 잘하고 실무 경험도 있고 익힌 도구도 있었거든요.

그걸 하나씩 꺼내고, 연봉이나 안정성, 성장, 일하는 방식 중 무엇이 중요한지 같이 정리했어요. 제가 상담에서 하는 일이 잘 드러나는 사례라고 생각해요. 직업 하나를 골라주는 것보다, 그 사람이 자기 자산과 기준을 가지고 다음 선택을 볼 수 있도록 돕는 일이요.

레시피 둘, 사람의 경험을 AI의 기준으로 옮기기

Q. 직접 사람들의 이직을 도와주던 경험이 언제부터 ‘이걸 서비스로 만들어볼 수 있겠다’는 생각으로 이어졌나요?

답변이 점점 늦어질 때였어요. 한 사람에게 시간을 많이 쓰다 보니 동시에 도울 수 있는 사람이 몇 명 안 됐거든요. 그래서 반복해서 드리는 이야기를 브런치에 쓰기 시작했어요. 글을 보내드리면 더 많은 분께 도움을 드릴 수 있을 거라고 생각했는데, 글을 보고 연락하시는 분들이 또 생겼어요. 글이 쌓이니까 독자가 자기에게 맞는 글을 찾는 것도 일이 됐고요.

그래서 처음에는 제 글을 찾아서 답해주는 챗봇을 만들었어요. 이후에는 이력서 첨삭이나 추천공고를 제공하는 쏘냐라는 프로덕트를 동료들과 만들었고요. 몇 번의 시도를 거치면서, 제가 직접 하던 일 중 어디에 집중해야 할지 다시 봤어요.

쏘냐에서 잡은 가설은 ‘이 사람을 충분히 이해하고, 그 사람에게 맞는 기회를 가져다줄 수 있는가’였어요. 제가 오래 이야기하며 알아내던 이력서 너머의 맥락을 AI도 활용할 수 있을지 보고 싶었습니다.

Q. AI로 서비스 구축을 준비하시며, 다양한 툴을 비교해보셨을 것 같아요. 최종적으로 채택하고 사용한 AI는 무엇이고 어떤 점이 가장 좋으셨나요?

초기 챗봇을 만들 때는 Claude Code를 썼어요. 제가 원하는 방향을 말하면 구조와 코드를 제안해줬고, 저는 실제 답변을 보면서 ‘이건 내 말투가 아니다’, ‘이건 너무 일반적인 답이다’ 하고 피드백을 반복했고요. 왜 이런 기술을 쓰는지도 계속 물었는데, 만들어진 결과를 보면서 기술을 거꾸로 공부할 수 있었던 점이 좋았습니다.

쏘냐를 개발하고 운영하는 과정에는 Claude Code와 Codex를 활용하고 있어요. 원하는 걸 설명하고 실제로 만들어진 것을 바로 보면서 고칠 수 있다는 게 좋아요. 제가 모르는 부분은 계속 질문하면서 이해하고, 사용자에게 어떤 경험을 줄지는 제가 판단하는 식으로 함께 만들고 있습니다.

하나의 AI를 골랐으니 끝이라고 느끼지는 않아요. 실제 답변의 질, 속도, 비용을 같이 봅니다.

Q. 처음 커리어 상담 과정을 AI로 옮겨보려고 했을 때, 평소 본인이 하던 일을 어떻게 나눠보셨나요?

돌아보면 크게 다섯 가지예요. 사람을 이해하고, 선택의 기준을 정리하고, 회사를 조사하고, 기회를 연결하고, 실제 지원을 돕는 일이요.

사람을 이해할 때는 직군과 연차만 보는 게 아니었어요. 어떤 삶을 원하는지, 어떤 일을 잘하는지, 무엇이 싫었는지까지 들었어요. 그다음 연봉이나 회사 문화, 성장 같은 기준의 우선순위를 정리했고요. 제가 평소 보고 있던 회사 정보와 공고를 그 사람의 맥락에 연결했습니다.

지원하기로 하면 어떤 경험을 앞세울지, 면접에서 무엇을 준비할지 같이 봤어요. 처음 쏘냐에서는 이 전체를 한 번에 완성하려고 하기보다, 사람을 이해하고 공고를 추천하는 부분부터 제품으로 옮겼습니다.

Q. 그 과정을 나눠보니 AI에게 맡길 수 있는 일과 여전히 사람이 해야 한다고 생각한 일은 각각 무엇이었나요?

AI에게는 많은 자료를 읽고 정리하는 일, 대화에서 중요한 정보를 모으는 일, 그 정보를 바탕으로 공고 후보를 찾고 비교하는 일을 맡길 수 있어요. 사람인 제가 모든 공고를 매번 다시 읽는 데에는 한계가 있으니까요.

사람에게 남겨야 하는 건 선택의 기준과 책임이라고 생각해요. 연봉을 더 받을지, 일을 조금 줄일지, 새로운 직무를 시도할지는 당사자가 정해야 해요. AI는 그 선택에서 얻는 것과 포기하는 것을 구체적으로 보여줄 수 있고요.

운영자인 제 역할도 있어요. 추천에 실제 근거가 있는지, 그 사람이 싫다고 한 것을 놓치지 않았는지 확인하는 일이요. 최근에는 AI가 만든 추천을 사람이 검토하고 적용하는 방식도 쓰고 있습니다. 어느 부분을 더 맡길 수 있는지는 결과를 보면서 확인하고 있어요.

Q. 평소에는 자연스럽게 하던 판단을 AI에게 맡기려면 기준을 구체적으로 설명해야 했을 것 같아요. 그 과정에서 새롭게 발견한 본인만의 상담 방식이나 판단 기준도 있었나요?

제가 현재 직무보다 그 사람의 경력 전체를 보고 있었다는 게 더 선명해졌어요. 예를 들어 마케팅을 하다가 PM으로 옮긴 분이라면, PM 공고만 찾는 게 아니라 두 경험이 함께 쓰이는 그로스 PM 같은 역할도 볼 수 있거든요. 이건 실제 한 사람의 성공 사례라기보다, 제가 추천할 때 보는 조합의 예시예요.

또 ‘더 좋은 회사’의 기준도 사람마다 달랐어요. 누군가에게는 회사 이름이고, 누군가에게는 주도권이고, 누군가에게는 생활을 지킬 수 있는 조건이에요. 그래서 그 사람이 좋아하는 것뿐 아니라 싫어하는 것까지 같이 봐야 했어요.

결국 제가 하던 일은 제 기준을 상대에게 적용하는 게 아니라, 그 사람의 기준에서 다음 선택의 가치를 찾는 일이었어요. AI에게 설명하다 보니 그 차이를 훨씬 구체적으로 적게 됐습니다.

Q. 처음 에이전트를 만들 때 예상했던 것과 가장 크게 다른 점이 있다면 무엇일까요?

한 번 틀린 게 그 대화에서 끝나지 않는다는 점이요. 잘못 읽은 정보가 기억에 남으면 다음 대화도, 추천도 계속 영향을 받아요. 화면의 잘못된 문장을 고쳤는데, AI가 읽는 다른 기억에는 그 내용이 남아 있기도 했어요.

대화도 제가 그린 순서대로 흘러가지 않았어요. 질문하면 답하고 다음으로 갈 줄 알았는데, 사용자는 중간에 진행 상황을 묻거나 다른 고민을 꺼내죠. 같은 질문도 여러 방식으로 하고요.

그래서 답변 하나를 잘 만드는 것보다, 사용자의 말이 어떻게 저장되고 다음 판단에 어떻게 들어가는지까지 봐야 했어요. 에이전트는 대화를 할수록 쌓이는 서비스라는 걸 만들면서 체감했습니다.

레시피 셋, 대화가 쌓이는 에이전트를 설계하다

Q. 그렇게 만들어진 커리어 에이전트는 어떤 서비스인가요? 현재 사용자는 어떤 과정을 거쳐 도움을 받게 되나요?

출처 : 셩PM님 브런치

쏘냐는 카카오톡에서 이직과 커리어 고민을 같이 풀어가는 에이전트예요. 카톡에서 말을 걸면 시작할 수 있고, 대화로 지금 하는 일과 경력, 원하는 방향을 알아갑니다. 이력서나 링크드인으로 정보를 보태는 경로도 있어요.

그 정보를 바탕으로 공고를 추천하고, 왜 볼 만한지와 지원 전에 무엇을 확인해야 하는지 알려줘요. 공고 상세와 내 정보는 연결된 웹 화면에서도 볼 수 있고, 관심 있는 공고를 담고 지원 과정을 관리하는 기능도 붙이고 있습니다.

중요한 건 그다음 반응이에요. 관심이 있는지, 어떤 점이 안 맞는지 다시 이야기하면 다음 판단의 재료가 돼요. 제가 만들고 싶은 경험은 ‘내 상황을 아는 사람과 다음 기회를 같이 보는 것’입니다.

Q. 첫 번째 버전을 만들 때는 무엇부터 시작했나요? 문제를 정리한 순간부터 실제 사용 가능한 버전이 나오기까지의 과정을 순서대로 소개해주세요.

사람을 이해하고 맞는 공고를 가져다주는 흐름부터 검증하기로 한 뒤, 접점을 정했어요. 새 앱을 설치하게 하기보다 이미 매일 쓰는 카카오톡 안으로 들어가고 싶었어요.

코드 기록상 6월 6일 첫 버전에는 카카오톡 연결, AI 대화, 프로필 저장이 들어 있어요. 이때 공고 검색은 아직 다음 단계였어요. 이어서 6월 10일에는 공고 수집과 추천 파이프라인을 붙였고, 그다음 며칠 동안 검색 결과와 추천 판단을 고쳤어요. 회사 조사와 추천 평가 기능도 이어서 붙였고요.

기본 흐름을 만든 뒤에는 주변 분들에게 사용을 부탁드렸어요. 거기서 질문 반복, 잘못된 분류, 응답 속도 같은 문제가 드러났고, 실제 대화를 보면서 계속 바꿨습니다. 

Q. 사용자가 처음 대화를 시작하면 에이전트는 어떤 정보를 확인하고, 그 사람을 이해하기 위해 어떤 정보를 기억하나요?

처음에는 어떻게 불러드릴지, 재직 중인지, 어떤 일을 얼마나 해왔는지 같은 기본 정보를 확인해요. 지금 이직을 원하는지, 조금 더 지켜보는 중인지에 따라서도 대화가 달라지고요.

그다음에는 선호하는 회사나 일하는 방식, 중요하게 보는 조건, 피하고 싶은 것들을 알아가요. 현재 직무만이 아니라 이전 경험이나 프로젝트도 재료가 됩니다.

기억은 대화 전체를 하나의 요약으로만 저장하지 않아요. 대화 원문과 이력서 같은 원본을 두고, 직군·연차처럼 구조가 있는 정보, 선호나 경험 같은 기억, 화면에서 보여줄 정리된 설명을 나눠둡니다. 어디서 나온 정보인지와 언제 확인한 것인지도 함께 다루고요. 잘못 이해했을 때 원문으로 돌아가 고칠 수 있어야 하기 때문이에요.

Q. 사용자의 정보와 채용공고를 연결해 실제 추천이 만들어지기까지는 어떤 과정을 거치나요?'

먼저 공고를 모으고, 같은 공고인지, 아직 지원할 수 있는지, 어떤 역할을 찾는지 정리해요. 그다음 사용자에게 맞을 법한 후보를 찾습니다. 구현된 자동 추천에서는 단어 검색과 의미가 비슷한 공고 검색, 직군과 연차 같은 구조적인 조건을 함께 써요.

후보가 모이면 AI가 더 자세히 읽어요. 이 사람이 실제로 해온 일로 이 역할을 할 수 있는지, 이 사람이 원하는 방향과 맞는지, 어떤 근거로 추천하는지를 봅니다. 이미 거절한 공고나 중복, 현재 재직 중인 회사, 마감 여부도 확인하고요.

최근 수동 검토 방식에서는 AI가 사용자 기록과 공고를 읽어 초안을 만들고, 근거와 제외 조건을 검사한 뒤 제가 검토해 적용해요. 자동 파이프라인이 구현돼 있다는 것과 지금 추천을 어떤 방식으로 운영하는지는 구분해서 보고 있습니다.

Q. 이 과정에서 AI에게 주는 지침이나 프롬프트는 어떻게 만들고 관리하고 있나요? 처음 만들었던 방식과 지금 방식에서 가장 크게 달라진 점도 궁금해요.

출발점은 제가 실제로 쓴 글과 상담에서 중요하게 보던 기준이었어요. 그걸 넣고 답변을 본 다음, 너무 일반적인지, 제 관점과 다른지, 사용자를 제대로 이해했는지 보면서 고쳤어요.

처음에는 지침에 더 자세히 적으면 될 거라고 생각했던 부분이 많았어요. 그런데 이미 답한 정보를 다시 묻지 않는 것, 연차를 계산하는 것, 마감된 공고를 막는 것처럼 명확히 확인할 수 있는 일은 코드로 처리해야 했어요. 지침을 썼다는 사실만으로 동작이 보장되지는 않더라고요.

실제 답변을 보면서 제가 중요하게 보는 기준을 더 구체적으로 설명하게 됐어요. 예를 들어 지금은 쉬어가고 싶은 사람에게 계속 성장이나 도전을 권하면, 아무리 좋은 말이어도 그 사람에게 맞는 답은 아니잖아요. 제가 직접 상담할 때는 자연스럽게 구분하던 건데, AI에게는 왜 이 사람에게 다른 답을 해야 하는지까지 설명해야 했어요. 그래서 답변이 마음에 안 들면 어떤 맥락을 놓쳤고 어떤 기준으로 다시 봐야 하는지를 하나씩 짚어주는 식으로 다듬었습니다.

Q. 지금의 에이전트를 하나의 구조로 설명한다면 어떻게 구성되어 있나요? 각 과정에서 어떤 AI 모델이나 서비스, 데이터 저장 방식 등을 활용했는지도 함께 소개해주세요.

출처 : 셩PM님 브런치

대화에서 다음 기회까지한 사람을 이해하고, 그 사람의 기준으로 기회를 고릅니다.

대화와 반응이 쌓이며 다음 추천의 기준도 달라집니다. 실제 채용까지 이어지는 사례가 생기고 있어요.

Q. 만들면서 기술적으로 가장 난이도가 높고 진척이 어려웠던 지점은 어디였나요?

사용자를 잘못 이해했을 때 제대로 고치는 일이 가장 어려웠어요. 한 번 잘못 저장된 정보가 대화와 추천 여러 곳에 영향을 줄 수 있기 때문이에요. 그래서 단순히 화면의 값을 고치는 게 아니라, 정보가 어디서 왔고 어디에 쓰이는지를 함께 관리해야 했습니다.

속도도 계속 어려워요. 맥락을 많이 주면 답이 나아질 수 있지만 응답이 20초, 30초 걸리면 사용자가 기다리기 힘들어요. 모델과 프롬프트를 바꿔가며 답변의 질, 속도, 비용 사이의 균형을 어떻게 잡을지 연구 중입니다.

에디터: 답변 품질·속도·비용 사이에서 실제로 어떤 실험을 해보셨고, 진행 중이신가요? 모델이나 전달하는 맥락, 프롬프트를 바꿨을 때 어떤 차이가 있었고, 지금은 무엇을 기준으로 선택하고 있는지 구체적인 사례가 궁금해요!

실제로 대화 모델을 다른 모델로 바꿨다가 되돌린 적이 있어요. 바꾼 뒤 대화가 전보다 못해졌다는 반응이 있었고, 답변이 아예 비어 나오는 문제도 생겼거든요. 모델을 바꿀 때는 실제 쏘냐의 대화에서 잘 작동하는지 확인해야 했어요.

AI에 전달하는 내용도 줄여봤어요. 처음 온 사용자에게 무엇을 물어볼지 적은 지침이, 이미 정보를 다 알려준 사용자와의 대화에도 매번 들어가고 있었어요. 그 부분을 빼서 해당 사용자의 고정 지침 분량을 약 17% 줄였어요. 다만 분량이 줄었다고 속도나 비용도 그만큼 좋아지는 건 아니어서 따로 확인해야 해요.

속도를 살펴보니 AI를 여러 번 호출하는 과정에서도 시간이 많이 들었어요. 공고 정보를 조회하는 일 자체보다, 조회한 결과를 받아 AI가 다시 답변을 만드는 데 더 오래 걸리는 식이었죠. 그래서 AI를 부를 때마다 걸린 시간과 비용을 따로 기록하도록 바꿨어요.

지금은 실제 답변이 사용자에게 도움이 되는지를 먼저 보고, 기다리는 시간과 운영 비용을 함께 확인하면서 조정하고 있어요. 필요한 정보를 빼서 답변이 부실해지지는 않는지, 같은 일을 하면서 불필요하게 기다리거나 비용을 쓰는 부분은 없는지를 보는 거예요.

Q. 현재의 모습에서 가장 마음에 드는 것과 아쉬운 것을 각각 하나씩 꼽자면 무엇이 있을까요?

마음에 드는 건 제가 도와드리고 싶었던 사람들이 실제로 쓰면서, 어떤 부분에서 도움이 되고 어디서 막히는지가 보이기 시작했다는 점이에요. 제가 혼자 상상한 경험을 넘어, 어떤 부분에서 도움이 되고 어디서 막히는지가 보이기 시작했어요. 카카오톡이라는 익숙한 접점에서 그 반응을 받을 수 있다는 점도 좋고요.

아쉬운 건 이해와 추천의 품질이 아직 고르게 유지되지 않는다는 점이에요. 잘 알고 있다고 생각한 사용자도 정보 하나를 잘못 읽으면 전혀 다른 결과가 나올 수 있어요. 제가 직접 오래 대화하며 도와드렸을 때의 깊이를 더 안정적으로 전달하고 싶습니다.

레시피 넷, 실제 사용자 문제를 테스트 케이스로 바꾸는 법

Q. 처음에는 필요하다고 생각해서 만들었지만 실제로는 빼거나 다시 만든 기능도 있었나요?

있었어요. 쏘냐 이전의 커리어 서비스에서는 성향 테스트, 기록, 대시보드처럼 떠오르는 기능을 많이 만들었어요. AI로 빨리 만들 수 있으니까 ‘이것도 되겠는데?’ 하면서 붙였는데, 나중에는 복잡성을 정리하는 데 시간을 쓰고 있더라고요. 그 경험을 글로도 썼어요.

쏘냐에서는 대화하고 정보를 저장하는 구조를 크게 다시 만들었어요. 처음의 프로필 저장과 기억 처리만으로는 잘못된 정보의 출처나 정정을 끝까지 다루기 어려웠거든요. 원문과 파생된 정보를 구분하는 새 구조로 옮겼습니다.

운영에서도 무조건 더 자주 보내는 방향으로만 가지 않았어요. 먼저 말을 거는 알림을 끄거나, 자동 추천과 사람이 검토하는 추천의 운영을 나누기도 했어요. 기능이 있다는 것과 그 기능이 지금 도움이 된다는 건 계속 확인해야 했습니다.

에디터: 정보 저장 구조를 크게 다시 만들기 전과 후를 비교해서 설명해주실 수 있을까요? 초기에는 어떤 구조였고, 실제 사용자에게서 어떤 문제가 생기면서 현재 구조로 바꾸게 되었는지 궁금해요.

처음에는 대화나 이력서에서 알아낸 정보를 사용자 프로필에 채우고, 기억할 만한 내용은 따로 저장하는 방식이었어요. 그런데 같은 사람의 정보가 여러 곳에 있다 보니, 한 군데를 고쳐도 다른 곳에는 잘못된 내용이 남는 문제가 생겼어요. 사용자가 경력을 정정했는데도 쏘냐가 예전 정보를 바탕으로 다시 이야기하는 식이었죠.

실제로 대화에서 얻은 정보는 정정하면서, 이력서에서 추출한 정보는 그대로 남아 있는 경우도 있었어요. 사용자 입장에서는 이미 “그거 아니에요”라고 말했는데도 같은 설명을 또 해야 하는 거예요.

그래서 사용자가 실제로 한 말이나 보내준 자료와, AI가 그걸 읽고 정리한 내용을 분리했어요. AI가 정리한 정보에는 어떤 말이나 자료를 근거로 만들었는지도 연결했고요. 사용자가 잘못됐다고 알려주면 프로필의 값만 바꾸는 게 아니라, 그 정보와 모순되는 기존 기억도 더 이상 쓰지 않도록 처리하는 구조로 바꿨어요.

예전에는 정보를 잘 저장하는 데 집중했다면, 다시 만들 때는 어디서 나온 정보인지 확인하고, 틀렸을 때 관련된 내용까지 바로잡을 수 있는지를 중요하게 봤어요. 대화가 쌓일수록 더 잘 이해하려면, 기억하는 것만큼 잘못 기억한 것을 고치는 과정도 필요하더라고요.

Q. 실제 사용자를 만나고 나서 예상과 가장 달랐던 부분은 무엇이었나요?

제가 커리어를 보는 방식과 사용자가 커리어 서비스를 찾는 방식이 달랐어요. 저는 평소에도 회사나 공고를 보는 게 재미있으니까, 다른 사람도 자주 들어와서 자기 커리어를 관리할 거라고 생각했어요. 그런데 많은 분은 분명한 필요가 생겼을 때 찾아오셨어요. 입력을 편하게 만드는 것만으로는 그 필요를 만들 수 없었고요.

저는 평소에도 회사나 공고를 보는 게 재미있으니까, 다른 사람도 자주 들어와서 자기 커리어를 관리할 거라고 생각했어요. 그런데 많은 분은 분명한 필요가 생겼을 때 찾아오셨어요. 입력을 편하게 만드는 것만으로는 그 필요를 만들 수 없었고요.

그래서 사용자가 서비스를 얼마나 쉽게 쓰는지만큼, 어떤 순간에 쏘냐를 필요로 하는지를 보는 게 중요하다는 걸 배웠어요.

Q. 에이전트가 사용자를 잘못 이해하거나 적절하지 않은 공고를 추천한 사례도 있었나요? 그런 문제가 생겼을 때 원인을 어떻게 찾고 개선했나요?

있었어요. 예를 들어 제조 분야에서 개발 업무를 한 사용자의 말을 소프트웨어 개발 경력으로 읽은 사례인데요. 같은 ‘개발’이라는 단어인데 앞뒤 맥락을 충분히 반영하지 못한 거예요. 이 정보가 잘못 저장되면 처음부터 엉뚱한 직군의 공고를 찾게 됩니다.

그럴 때는 추천 문장만 고치지 않아요. 사용자가 실제로 한 말, 저장된 직군과 경력, 검색에 사용한 조건, 마지막 판단에 들어간 후보를 순서대로 봐요. 어디서 의미가 달라졌는지 찾는 거죠.

이 사례에서는 잘못된 분류뿐 아니라 수정 과정에서 사라진 전문 경험도 복구하도록 고쳤어요. 이미 저장된 잘못된 정보를 바로잡는 일과, 같은 실수를 다시 막는 일을 함께 해야 했습니다.

에디터: 이런 오류를 발견하면 실제 개발 과정에서는 어떤 방식으로 재현하고 다시 발생하지 않는지 확인하나요? 사용자 대화나 로그를 테스트 케이스로 남기거나, 수정 후 이전 사례들을 다시 검증하는 방식도 사용하고 있으신가요?

네. 실제로 문제가 생겼던 사용자 발화를 테스트 사례로 남겨두고, 코드를 고친 뒤 같은 입력을 다시 넣어 확인해요. 이 사례에서는 “반도체 공정 개발을 한다”는 말을 넣었을 때 소프트웨어 개발자로 분류되지 않는지를 검사했어요.

반대 경우도 함께 확인해요. “제조 회사에서 백엔드 개발을 한다”는 사람은 소프트웨어 개발자로 분류돼야 하잖아요. 한 가지 오류를 막으려다가 원래 맞게 처리하던 경우까지 틀리게 만들 수 있어서, 비슷해 보이지만 답이 달라야 하는 사례를 같이 남겨요.

사용자 분류만 고쳐서는 끝나지 않았어요. 채용 공고 쪽에도 같은 기준이 적용돼야 실제로 맞는 공고와 연결되거든요. 그래서 당시 수집해둔 약 1만 2천 건의 공고에 바뀐 규칙을 적용해보고, 어떤 공고의 분류가 달라지는지 확인했어요. 사용자와 공고가 각각 제대로 분류되는지, 그 둘이 추천 과정에서 연결되는지도 테스트에 넣었고요.

이미 잘못 저장된 사용자 정보도 별도로 바로잡았어요. 수정 과정에서 빠졌던 전문 경력 정보도 복구했고요. 앞으로 같은 오류가 나지 않게 코드를 고치는 일과, 이미 영향을 받은 사용자의 정보를 바로잡는 일을 함께했어요.

Q. AI의 추천이 실제로 잘 작동하고 있는지는 어떤 방식으로 확인하고 있나요?

먼저 추천 이유에 실제 근거가 있는지 봐요. 사용자가 하지 않은 말을 붙이지 않았는지, 공고에 없는 조건을 있다고 하지 않았는지, 거절했거나 이미 본 공고를 다시 보내지 않았는지 확인합니다.

그다음에는 실제 사용 흐름을 봐요. 메시지가 도달했는지, 공고를 열어봤는지, 관심을 보였는지, 지원하려는 행동으로 이어졌는지요. 다만 원문 링크를 클릭한 것과 실제 지원서를 제출한 것은 구분해야 해요. 지인이 한 번 들어온 것과 필요해서 다시 쓰는 것도 다르고요.

지금은 실제 채용까지 이어지는 사례들도 생기고 있어요. 그 과정에서 쏘냐의 어떤 도움이 유효했는지, 어디에서는 여전히 막히는지를 함께 보고 있습니다. 이런 사례들을 통해 더 많은 사람에게 도움이 되려면 무엇을 바꿔야 할지 계속 연구하고 있어요.

Q. 가장 기억에 남는 피드백은 무엇인가요?

한 사용자분이 처음에는 쏘냐를 공고를 대신 찾아주는 서비스로 생각하셨대요. 그런데 실제로 써보고 좋았던 건, 찾은 공고를 어떻게 공략하면 좋을지까지 알려주는 부분이었다고 하셨어요.

그 피드백이 기억에 남아요. 같은 공고를 보더라도 내 경험 중 무엇을 강조하고, 지원 전에 무엇을 준비해야 할지까지 알게 되면 다음 행동이 달라질 수 있잖아요. 제가 상담하면서 도와드리고 싶었던 부분도 거기에 있었고요.

그래서 처음 서비스를 소개할 때도 맞는 자리를 찾고, 그곳에 어떻게 지원할지까지 함께 준비한다는 점이 드러나도록 바꿨어요. 사용자가 어떤 도움을 기대하고 들어오는지부터 잘 맞춰야 한다는 걸 배웠습니다.

에디터: 쏘냐를 통해 실제 채용까지 이어진 사례 중 하나를 처음부터 끝까지 소개해주실 수 있을까요? 처음에는 어떤 고민을 가진 사용자였고, 쏘냐가 어떤 도움을 줬으며, 어느 순간 실제 지원과 채용으로 이어졌는지 궁금해요.

PM으로 직무를 바꾸고 싶어 하셨던 사용자분이 기억에 남아요. 기존 경험을 살리면서 그 방향으로 갈 수 있는 공고도 추천받고 싶다고 하셨어요. 이후 쏘냐가 추천한 회사에 지원해서 면접이 잡혔다는 소식을 주셨어요. 이미 공고가 닫혀 있었는데도 본인이 직접 회사에 연락해서 지원하셨더라고요.

면접을 어떻게 준비하면 좋을지도 물어보셨어요. 쏘냐는 그 회사의 서비스를 직접 살펴보고 어떤 문제를 풀고 싶은지 정리해보도록 안내했어요. 기존에 성과를 냈던 경험과 새로운 서비스를 만들어본 경험을 어떻게 설명할지, 면접에서 어떤 질문을 해보면 좋을지도 함께 짚었고요.

나중에는 합격했다는 소식을 전해주셨어요. 원하던 PM이라는 직무로 일할 수 있고, 배울 수 있는 동료가 있다는 점을 특히 좋아하셨어요. 입사할지는 고민 중이라고 하셨지만, 원하던 방향의 기회를 얻으신 거죠.

직접 지원하고 합격한 건 그분이 해낸 일이에요. 그 과정에 쏘냐의 추천과 면접 준비 대화가 함께 있었다는 게 기억에 남아요. 제가 상담하면서 도와드리고 싶었던 것도, 그 사람에게 맞는 기회를 찾고 실제로 도전할 수 있도록 돕는 일이었거든요.

Q. 해결하고 싶지만 아직 풀지 못한 문제가 있다면 무엇인가요?

실제 채용까지 이어지는 사례는 생기고 있지만, 더 많은 사람이 그 과정에서 도움을 받을 수 있도록 만드는 일이 남아 있어요. 볼 만한 공고를 받아도 이력서가 부담스럽거나 시간이 없어서 지원을 못 할 수 있거든요. 관심 있다는 것과 행동한다는 것 사이에 아직 할 일이 많아요.

기본적인 신뢰도 계속 풀어야 해요. 사용자의 최신 상황을 놓치지 않는 것, 마감된 공고를 보여주지 않는 것, 추천 근거가 실제 원문과 맞는 것들이요.

제가 직접 상담할 때처럼 다음 행동까지 같이 갈 수 있도록 만들고 싶어요. 채용으로 이어진 경험들을 바탕으로, 어떤 도움이 실제 변화를 만드는지 계속 연구 중입니다.

레시피 다섯, 오래 해온 일을 AI 서비스로 만든다는 것

Q. 커리어 상담을 직접 해보던 것과 그 경험을 하나의 AI 에이전트로 만드는 것은 어떤 점에서 가장 달랐나요?

제가 직접 상담할 때는 그 사람이 어떤 이야기를 했고 왜 그런 말을 했는지가 제 머릿속에서 자연스럽게 연결돼 있었어요. 에이전트로 만들려면 그 연결과 판단을 밖으로 꺼내 구조로 만들어야 했습니다.

그리고 제가 직접 상담을 잘했다는 것과 그 경험을 넣은 에이전트가 잘한다는 건 별개였어요. 실제 사용자가 어떤 도움을 받는지 다시 검증해야 했습니다.

Q. 지금 다시 처음부터 커리어 에이전트를 만든다면 첫 번째 버전에는 무엇만 넣고 시작할 것 같나요?

다양한 기능을 만들기보다, 실제 채용으로 이어지는 기능에 더 집중했을 것 같아요. 사이드 프로젝트는 쓸 수 있는 리소스가 정말 한정적이거든요. 시간도 사람도 한정돼 있는데 여러 기능에 나눠 쓰면, 정작 중요한 문제를 깊게 풀 여력이 줄어들어요.

사용자를 이해하고 공고를 추천하는 흐름으로 작게 시작하는 건 이미 했어요. 다시 한다면 그다음 기능을 고를 때 ‘이게 실제 채용으로 이어지는 데 어떤 도움이 되는가’를 더 분명하게 봤을 것 같아요. 맞는 공고를 받은 사람이 실제로 지원하도록 돕고, 준비 과정에서 막히는 부분을 풀어주는 데 한정된 리소스를 더 집중했을 것 같습니다.

Q. 셩PM님처럼 자신이 오랫동안 해온 일이나 경험을 AI 에이전트로 만들어보고 싶은 사람이 있다면, 자신의 경험을 어떤 순서로 꺼내보고 정리해보라고 이야기하고 싶나요?

잘하는 일을 추상적인 단어로 정리하기보다, 실제로 누군가를 도왔던 한 장면부터 꺼내보면 좋겠어요. 그 사람은 무슨 문제로 왔는지, 나는 무엇을 물었는지, 어떤 자료를 봤는지, 왜 그 선택을 권했는지요.

그다음에는 비슷해 보이는데 다른 답을 줬던 사례를 같이 놓아보세요. 저는 거기서 기준이 더 잘 드러난다고 생각해요. 누군가에게는 성장을 권하고 다른 사람에게는 쉬어가는 선택을 권했다면, 무엇이 달랐는지 보는 거예요.

그리고 자료를 모으는 일, 판단하는 일, 실제로 행동하는 일을 나눠보면 좋겠어요. 그중 작은 하나를 AI에게 맡기고, 원래 자신이 했던 결과와 비교해보는 거죠. 다르면 ‘내 스타일이 아니야’에서 멈추지 말고, 어떤 정보를 놓쳤고 어떤 기준이 달랐는지 구체적으로 말해주는 게 중요할 것 같아요.

Q. 쏘냐가 궁극적으로 해결하고 싶은 목표는 무엇이라고 정의할 수 있을까요?

커리어를 혼자 판단해야 하는 부담을 줄이고 싶어요. 공고와 정보는 많은데, 그중 무엇이 내게 맞는지 연결하는 일은 여전히 개인에게 남아 있거든요. 나를 깊게 이해하고 같이 봐주는 사람이 모두에게 있는 것도 아니고요.

내가 어떤 경험을 해왔고 무엇을 중요하게 생각하는지 아는 상대가 있으면, 필요할 때 처음부터 나를 다시 설명하지 않아도 돼요. 그 위에서 다음 기회를 보고, 준비하고, 선택할 수 있고요.

장기적으로는 커리어에 대해 편하게 이야기하고 도움받을 수 있는 환경을 만들고 싶어요. 지금은 그중에서 이직을 고민하는 한 사람에게 실제로 도움이 되는 작은 흐름부터 만들고 있습니다.

Q. 이 프로젝트가 셩PM님 개인에게는 어떤 의미로 다가올까요?

AI 덕분에 제가 제품에 참여할 수 있는 범위가 넓어졌다는 의미가 커요. PM으로 어떤 문제를 풀고 무엇을 만들지 정하는 데서 더 나아가, 시스템을 어떻게 설계하고 실제로 구현할지까지 직접 참여해볼 수 있었어요. 엔지니어이자 설계자의 관점에서도 제품을 만들어보는 경험인 거죠.

직접 만들고 운영하다 보니, 제가 생각한 해결책이 실제로 어떻게 작동하고 어디에서 막히는지까지 보게 돼요. 사용자의 반응을 듣고 다시 고치면서 배우는 과정이기도 하고요.

사람들이 겪는 문제를 이해하고, 해결할 방법을 만들고, 실제로 도움이 되는지 확인하는 것. 그게 제가 PM이라는 직업을 사랑하는 이유예요. 쏘냐는 그 과정에 더 깊이 참여해볼 수 있는 프로젝트이고, 그 과정 자체가 제가 계속하고 싶은 일이기도 합니다.

Q. 마지막으로 구독자분들께 한말씀 부탁드립니다.

자기가 오래 해온 일은 너무 익숙해서 별것 아니라고 생각하기 쉬운 것 같아요. 저도 회사 구경하고, 공고 읽고, 주변 사람들 이력서 봐주던 일이 이렇게 이어질 줄은 몰랐어요.

누군가가 나를 반복해서 찾아오는 일이 있다면, 거기에 이미 도움이 되는 무언가가 있을 수 있어요. 그 장면을 한 번 자세히 꺼내보셨으면 좋겠어요. 어떤 질문을 하고, 무엇을 보고, 왜 그렇게 판단했는지요.

저도 아직 답을 찾아가는 중이에요. 다만 직접 만들어보니까 제가 뭘 알고 있고 뭘 모르는지는 훨씬 잘 보이더라고요. 작게 만들어서 실제로 필요한 사람에게 써보게 하는 것부터 시작해보시면 좋겠습니다.

쏘냐는 거창한 AI 아이디어에서 시작한 서비스라기보다, 셩PM님이 오래 반복해온 일을 다시 들여다보는 데서 출발했습니다. 사람을 이해하고, 선택의 기준을 정리하고, 맞는 기회를 찾고, 실제 행동을 돕던 경험을 AI에게 옮기자 평소에는 자연스럽게 지나갔던 판단이 하나씩 기준과 구조가 됐죠. 빠르게 만들 수 있게 된 만큼 무엇을 만들 것인지, 그리고 그것이 실제로 사람에게 도움이 되는지를 계속 확인하는 일도 더 중요해졌습니다.

여러분이 너무 익숙해서 별것 아니라고 생각했지만, 누군가가 반복해서 도움을 요청해오는 일은 무엇인가요?

🧐 AI로 만드는 법보다, 무엇을 어디까지 만들어야 할지가 더 어렵다면!

아이디어는 있는데 어떤 문제부터 풀어야 할지, 첫 버전은 어디까지 만들어야 할지, AI에게는 무엇을 맡기고 내가 무엇을 판단해야 할지 고민한 적 있으신가요?

팁스터가 지난 인터뷰에서 만났던 기획자 데이먼님과 9월 30일, 비개발자 메이커의 실제 앱 제작 과정을 깊게 들여다보는 온라인 워크숍을 엽니다.

데이먼님은 기획자에서 1인 메이커로 확장하며 ‘슬로그램’과 ‘그해오늘’ 두 개의 앱을 직접 만들고 운영해왔어요.

이번에는 완성된 결과보다 “어떻게 만들었는가”와 “그 과정에서 어떤 판단을 했는가”에 집중합니다.

1부 — 비개발자 메이커의 앱 제작 딥다이브

2부 — 참가자의 고민으로 이어지는 사전 질문 Q&A

플레이북을 작성하며 남겨주신 질문을 미리 모아 데이먼님과 함께 이야기합니다. 내 프로젝트에서 막혀 있는 질문을 가져오셔도 좋아요.

모든 참가자에게는 슬로그램 메이커 플레이북 확장판도 제공합니다. 워크숍 전에 내 아이디어와 고민을 먼저 정리하고, 워크숍에서 들은 데이먼님의 경험과 판단 기준을 연결해 내가 다음에 무엇을 해야 할지 정리할 수 있도록 구성했습니다.

아직 만들고 싶은 서비스가 명확하지 않아도 괜찮습니다. 'AI로 나도 무언가 만들어보고 싶은데 어디서부터 시작해야 하지?'라는 단계라면 참여하실 수 있어요.

📅 9월 30일(수) 20:00–22:00 / 온라인

🎟 참가비 30,000원

오픈채팅방을 통해 뉴스레터로 다 소개하지 못한 정보를 확인해보세요!

팁스터가 인스타그램을 시작했어요!