✉️ 제이슨 노트
미국의 한 약국 체인이 AI 전화 어시스턴트를 세 달 만에 거둬들였습니다. 회사 이사는 약사에게 오는 전화가 줄었다며 효과를 자평했어요. 같은 기간, 고객 불만은 수백 건 쌓이고 있었고요.
이런 소식을 보면 "AI가 아직 부족해서"라고 정리하고 싶어져요. 그런데 이 사건을 뜯어보면 무너진 건 모델이 아니라 설계였어요. 약 이름을 못 알아듣는 건 업계 전체의 한계인데, 같은 한계를 안고도 멀쩡히 굴러가는 곳들이 있거든요.
오늘은 그 설계가 갈린 네 지점을 따라가 볼게요. 마침 한국에서도 약사 단체가 업무지원 AI 개발 계약을 맺은 참이라, 남의 이야기가 아닙니다.
📰 3분 브리핑
▪ 대한약사회, '약사업무지원 AI' 개발 계약7월 24일 셀빅과 계약하고 개발을 시작했어요. 이번 호의 실패 사례가 반면교사로 직결되는 이유예요.
▪ 싱가포르 NUHS, 9개월 만에 약국 AI 도구 4개약사 26명이 요구사항을 주도했고, AI는 권고만 만들어요. 아래 딥다이브의 대비 사례예요.
▪ CVS는 하루 150만 통을 AI가 받아요약물명을 못 알아듣는 문제를 전제하고, 오류를 고치는 계층을 따로 뒀어요. 같은 한계, 다른 설계죠.
🔍 딥다이브
세 달 만에 끝난 도입, 무엇이 무너졌을까요?
버몬트·뉴욕의 약국 체인 Kinney Drugs는 지난 5월 AI 음성 어시스턴트 'Burt'를 도입했어요. 환자 전화를 받고 리필을 처리하는 역할이었죠. 명분은 반복 업무를 줄여 약사 시간을 확보하는 것이었고요.
세 달 뒤인 8월 7일, 회사는 공식 철회를 발표했습니다. 걸려오는 전화는 예전 터치톤 시스템으로 돌아갔어요.
그 사이에 쌓인 문제는 이래요. Burt는 약 이름을 알아듣지 못해 같은 질문을 반복했어요. 잘못된 용량을 주문했고, 오래 다닌 고객의 계정을 찾지 못했고, 리필 완료 알림을 빠뜨렸어요. 지역 매체 VTDigger가 고객 12명을 취재해 7월 29일 보도했고, 열흘 만에 철회가 나왔죠. 전국 보도 기준으로 불만은 수백 건이었습니다.
철회를 발표하며 사장 존 마라파가 한 말이 핵심을 짚어요. 프라이버시와 보안을 지켰다고 경험까지 잘한 건 아니었다고, 우리는 못했고 그걸 인정한다고요. 보안 문제가 아니라 경험 설계의 실패라는 자인이에요.
성능 탓으로 보이죠. 같은 한계를 안고도 안 무너진 곳이 있어요
약 이름을 못 알아듣는 건 Burt만의 결함이 아니에요. 음성인식은 약물명에서 유독 약해요.
💊 ASR · 사람의 말소리를 글자로 바꾸는 음성인식 기술이에요. 전화 AI는 이 전사 결과 위에서 판단해요.
연구로 재본 수치가 있어요. 상위 처방약의 제네릭 이름 인식률은 가장 좋은 엔진도 84~85%였어요. 6~7건에 1건은 틀린다는 뜻이죠. 발음이 어려운 약물명은 사람 쪽 발음부터 절반 가까이 틀렸고요.
그러니까 '약물명을 틀리는 AI'는 이 업계의 상수에 가까워요. 그 상수를 어떻게 다루느냐가 회사마다 갈립니다.
CVS는 하루 약 150만 통을 AI가 받는데, 전사가 틀릴 것을 전제로 문맥에서 오류를 잡아 고치는 계층을 따로 뒀어요. 새 기능은 사전승인 확인처럼 답이 정해진 업무부터 좁게 열고요. 싱가포르 NUHS는 아예 AI를 환자 앞에 세우지 않았어요. 약사 26명이 요구사항을 주도했고, 1,600건 사례로 검증했고, AI는 권고만 만들고 최종 권한은 약사가 가져요.
같은 기술 수준에서 한쪽은 무너지고 한쪽은 굴러갑니다. 성능은 상수였고, 갈린 건 설계였어요.
설계가 갈린 지점은 네 곳이에요
첫째, 동의 구조예요. Kinney 약관은 전화번호를 제공하면 자동으로 동의한 것으로 봤어요. 빠지려면 고객이 직접 옵트아웃해야 했죠. 사전 안내는 없었고요.
💊 옵트인·옵트아웃 · 옵트인은 동의해야 시작, 옵트아웃은 거부해야 멈추는 구조예요. 기본값을 어디에 두느냐의 문제죠.
약관에는 Burt가 부정확할 수 있다는 면책 조항과, 고객의 입력을 Burt 학습에 쓸 권리를 유보한다는 조항까지 있었어요. 참고로 한국에서는 이 구조가 출발부터 성립하기 어려워요. 건강 정보는 민감정보라서 별도의 옵트인 동의가 원칙이거든요.
둘째, 인터페이스예요. 문제없이 작동하던 키패드 입력을 없애고 음성만 남겼어요. 한 고객의 말대로 Burt와 말하지 않으면 약을 받을 수 없는 구조였죠. 음성인식이 틀렸을 때 탈출구가 없으니, 오류를 고치려는 시도가 오류를 키우는 루프로 이어졌어요. 고령자 음성기기 연구에서 반복 확인된 패턴 그대로요.
셋째, 성공 지표예요. 회사는 약사에게 오는 전화 수의 감소를 효율로 쟀어요. 그런데 현장에서는 반대 일이 벌어졌어요. AI가 만든 문제를 수습하려고 고객이 약사에게 더 몰렸거든요. 지표는 좋아지는데 현실은 나빠지는, 지표와 목적이 어긋난 상황이죠.
넷째, 책임과 이관이에요. 경쟁 벤더 OneDose는 임상적이거나 모호한 질문은 무조건 약사에게 넘기는 것을 설정이 아니라 설계 제약으로 박아뒀어요. NUHS는 최종 임상 권한을 약사에게 뒀고요. Kinney 사례에서 이런 이관 설계는 확인되지 않았고, 정확성 문제는 약관의 면책 문구로 처리됐어요.
네 지점 모두 모델 성능과 무관합니다. 전부 도입하는 쪽이 정하는 것들이에요.
👥 직군별 생각 포인트
💊 지역약국 약사라면 — 전화 응대 AI를 검토할 때 두 가지부터 확인하세요. 키패드 같은 비AI 경로가 남는지, 그리고 모호한 요청이 약사에게 자동으로 넘어오는지요. 이 둘이 빠져 있으면 데모 성능이 아무리 좋아도 Kinney와 같은 구조예요.
🏥 병원·임상약사라면 — NUHS가 성공 경로로 불리는 이유는 도구가 아니라 약사 26명이 요구사항을 주도했다는 사실이에요. 우리 병원에서 도입 논의가 시작되면, 정확도 몇 %에서 배포할지 검증 게이트를 문서로 요구할 시점이에요.
🏛️ 공직·기관 약사라면 — 대한약사회 업무지원 AI가 개발에 들어갔어요. 성공 지표를 업무량 감소로 잡는 순간 Kinney의 지표 역전이 재현될 수 있어요. 무엇이 줄었는지가 아니라 그 시간이 어디로 갔는지를 지표에 넣을 때예요.
📎 한 걸음 더
▪ VTDigger 탐사보도 원문고객 12명의 증언과 전문가 코멘트가 다 실려 있어요.
▪ Kinney 약관 원문자동 동의, 면책, 학습 사용권 조항을 직접 볼 수 있어요.
▪ NUHS 사례 기사약사 주도 도입이 실제로 어떻게 굴러가는지 나와요.
🎯 직접 확인해보기 · 소속 조직의 AI 도입 문서에서 '성공 지표'와 '사람 이관' 항목을 찾아보세요. 둘 중 하나라도 없다면, 그게 성능보다 먼저 고칠 설계예요.
💌 푸터
여러분 조직의 AI 도입 계획에는 성공 지표가 뭐라고 적혀 있나요? 답장으로 보내주세요 — 사례를 모아 다음 호에서 이어가 볼게요. 요즘 '이거 진짜야?' 싶었던 AI 제약·헬스케어 뉴스도 언제든 환영이에요.
다 읽어요.
의견을 남겨주세요