🤯 우리 회사 AI가 틀린 대답을 한다면? 메리츠화재가 AI 에이전트를 검증한 방법 [비즈니스.AI]

이달의 뉴스레터에는

요즘 AI 에이전트를 업무에 도입하는 기업이 빠르게 늘고 있습니다. 그런데 AI가 틀린 정보를 사실처럼 답한다면 어떻게 될까요? 작은 오류처럼 보일 수 있지만, 그 답변이 고객 응대나 현업 의사결정에 활용되는 순간 기업이 책임져야 할 문제가 될 수 있습니다. 따라서 기업에서는 AI를 빠르게 도입하는 것만큼, 업무에 맞는 평가 데이터를 설계하고 성능과 안정성을 검증해야 합니다. 

이번 뉴스레터에서는 메리츠화재의 AI 에이전트 성능 평가 사례를 중심으로 피지컬 AI와 농업 AX까지, 산업 현장에서 AI가 제대로 작동하기 위해 무엇이 필요한지 살펴보겠습니다.

프로젝트 사례

AI가 틀린 답을 하면, 기업의 책임이 됩니다 🤥 

2024년, 에어캐나다는 자사 웹사이트 챗봇의 잘못된 안내로 고객에게 배상해야 했습니다. 한 고객이 가족상으로 급히 항공권을 구매해야 했는데요. 챗봇은 “항공권을 먼저 구매하고 이후 조의 운임을 소급 신청할 수 있다”라고 안내한 거죠. 하지만 실제 규정은 달랐고, 재판부는 웹사이트를 통해 제공한 정보인 만큼 항공사가 책임져야 한다고 판단했습니다. 

비슷한 사례는 최근에도 있었습니다. 2025년, AI 코딩 도구 Cursor의 고객 지원 봇이 존재하지 않는 이용 정책을 안내한 거죠. 이는 고객의 반발로 이어졌고, 일부는 구독을 취소했습니다. 

AI의 답변이 고객 경험과 실제 업무에 연결되는 순간, 오답은 곧 기업의 리스크가 됩니다. 특히 보험처럼 상품과 약관, 가입 조건에 따라 답변이 달라지는 산업에서는 더 정교한 검증이 필요합니다.

메리츠화재는 AI 에이전트를 ‘실무 기준’으로 검증했습니다

메리츠화재는 보험설계사의 업무를 지원하는 AI 에이전트 도입을 준비하고 있었습니다. 고객 상담에 직접 활용되는 만큼, 정확성과 안전성을 철저히 검증해야 했죠.

크라우드웍스는 보험 전문가와 함께 실제 고객 상담에서 나올 수 있는 질문과 기준 답변을 설계했습니다. 답변에 반드시 포함돼야 할 정보부터, 치명적인 문제로 이어질 수 있는 오류까지 정의해 보험에 특화된 평가 데이터를 만들었죠. 

  Alpy Evaluation 솔루션 화면 예시   

이렇게 만든 평가 데이터셋은 자사 솔루션 Alpy Evaluation에 적용했습니다. 전문가와 평가 데이터가 '무엇이 좋은 답변인가'를 정의했다면, Alpy Evaluation은 그 기준으로 AI 에이전트의 모든 답변을 자동으로 점수화합니다. 사람이 일일이 검토하기 어려운 양의 답변도, 같은 기준으로 일관되게 평가할 수 있는 거죠. 

보험처럼 도메인이 복잡한 산업일수록, 이런 검증 체계를 자체적으로 구축하기 쉽지 않습니다. 업무 맥락을 아는 전문가, 도메인 특화 평가 데이터, 일관된 평가 시스템이 함께 필요하기 때문입니다. 

데이터셋 구축부터 성능 평가, 품질 관리까지
메리츠화재가 어떻게 AI 에이전트를 검증했는지 궁금하시다면?  

Physical AI

피지컬 AI 성능은 행동 데이터에서 결정됩니다 🤖

보험 AI에 전문 지식과 평가 기준이 필요했다면, 피지컬 AI에는 실제 작업 환경을 정밀하게 반영한 ‘행동 데이터’가 필요합니다. 

크라우드웍스 이준호 COO는 최근 인터뷰에서 피지컬 AI의 핵심으로 정밀한 로봇 행동 데이터를 꼽았습니다. 로봇이 산업 현장에서 안정적으로 작업하려면 작업 명령과 카메라 영상, 관절과 말단 장치의 움직임, 작업 결과를 하나의 데이터 단위로 정확히 연결해야 하기 때문인데요. 데이터 간 시점이 어긋나거나 성공·실패가 구분되지 않으면 로봇은 제대로 된 행동을 학습하기 어렵습니다.

크라우드웍스는 A1 데이터 마켓플레이스를 통해 약 1만 2천 건의 로봇 정밀 조작 데이터를 제공합니다. 이 데이터셋은 전 세계 145명의 오퍼레이터가 로봇팔을 원격 조작해 생성한 데이터로, 물체를 집고, 옮기고, 정리하는 등 12개 작업 시나리오로 구성되어 있는데요. LeRobot 형식으로 제작돼 별도의 가공 없이 모델 학습에 활용할 수 있고요. 각 데이터에는 작업 완성도와 속도, 이동 경로의 효율, 안전성에 대한 평가 정보도 포함돼 있어 목적과 난이도에 맞는 데이터를 선별할 수 있습니다.

피지컬 AI의 성능을 결정하는 데이터 전략이 더 궁금하다면?

농업 AX

국내 첫 농림위성 데이터는 어떻게 활용될까? 🛰️

출처: 농림축산식품부

7월 7일, 국내 최초의 농림위성이 발사되었습니다. 위성 자료는 앞으로 농경지 변화와 작황을 분석하고, 가뭄·병해충 피해와 산림 변화를 모니터링하는 데 활용될 예정입니다. 

이에 국립농업과학원은 농업 AX 간담회를 열고, 위성·농업 데이터에 AI 기술을 접목해 산업 현장에 활용할 수 있는 방안을 논의했는데요. 크라우드웍스는 대규모 농림위성 영상을 AI가 학습할 수 있도록 고품질 데이터셋으로 전환하는 전략을 제안했습니다. 

함께 볼 AI 뉴스

국산 AI 모티프3, 글로벌 오픈소스 3위권✨  

출처: 모티프테크놀로지스 링크드인 (Artificial Analysis)

국내 AI 스타트업 모티프테크놀로지스의 '모티프3 프리뷰'가 글로벌 AI 평가기관 Artificial Analysis의 AAII 지표에서 44점을 받았습니다. 공개 시점 기준으로는 글로벌 오픈소스 모델 3위권, 상용 모델까지 포함한 전체 순위에서는 11위였다고 하는데요. 약 30명 규모의 국내 개발팀이 이만한 성과를 냈다는 점에서 많은 주목을 받고 있습니다. 

모티프3는 정부 독파모 사업의 일환으로 개발 중이며, 8월 초 사업 보고 일정에 맞춰 최종 버전이 공개될 예정입니다. 크라우드웍스는 이 컨소시엄의 데이터 구축 파트너로 참여해, 추론형 모델 개발에 필요한 고품질 데이터를 구축하고 있죠.

국내에서도 AI 개발 경쟁이 본격화되는 만큼, 어떤 데이터를 어떻게 구축하느냐가 모델 경쟁력을 좌우하는 변수로 함께 주목받고 있습니다.

오픈AI 모델, Hugging Face를 해킹하다 🚨 

출처: 오픈AI

오픈AI에서 여러 고성능 모델의 사이버 역량을 시험하던 중, 외부 시스템을 침해하는 보안 사고가 발생했습니다. 모델들이 테스트 환경을 벗어나 Hugging Face의 운영 인프라에 무단 접근한 거죠.

이번 사고는 문제 해결 능력이 높아진 AI 모델이 개발자가 예상하지 못한 방식으로 행동할 수 있음을 보여주는 사례인데요. 오픈AI는 AI의 성능이 높아질수록 평가 환경의 격리와 접근 권한, 이상 행동을 탐지하고 중단하는 체계도 함께 강화해야 한다고 밝혔죠.

이제 AI의 경쟁력은 성능뿐만 아니라, 그 능력을 얼마나 안전하게 평가하고 통제할 수 있는지까지를 포함합니다.

어렵고 복잡한 AI 이슈, 쉽고 빠르게 알고 싶다면?

궁금한 AI

퇴근 직전 PPT 요청, AI로 만든다면? 💦

“내일 아침까지 리서치 보고서 정리해 주세요.”
퇴근 10분 전, 직장 상사에게 이런 요청을 받는다면 어떻게 해야 할까요?

최근 자료 조사부터 구성, 슬라이드 디자인까지 한 번에 만들어주는 AI 도구가 많아졌습니다. 하지만 같은 프롬프트를 입력해도 AI마다 생성 속도와 디자인, 내용의 완성도가 꽤 다른데요. 이번 콘텐츠에서는 PPT 제작에 자주 언급되는 Gamma, Genspark, Gemini, Claude를 비교해 봤습니다.

한시가 급한 상황, 어떤 AI가 가장 빠르고 실용적인 결과물을 만들었을까요?

이번 달 뉴스레터는 어떠셨나요?

비즈니스.AI는 AI 시장의 흐름과 비즈니스 인사이트를 전합니다.

다음 달에도 꼭 필요한 AI 소식으로 찾아오겠습니다😊 

🌐 홈페이지 ㅣ🔗 링크드인ㅣ📝 블로그 

(주)크라우드웍스
marketing@crowdworks.ai
서울특별시 강남구 테헤란로 309 5F 0269542960