AI 교육을 늘리면 직원은 정말 더 잘 배울까?

AI 교육 대시보드의 숫자는 좋아지고 있습니다. 수료율은 100%에 가깝고, 학습시간과 프롬프트 작성 횟수도 늘었습니다. 그런데 교육을 마친 직원에게 AI가 만든 보고서의 오류를 찾아 설명해 보라고 하면 답이 막히기도 합니다. AI와 함께 과제를 끝낸 것일까요, 아니면 직원이 새로운 능력을 배운 것일까요?

AI 교육이 필요한지는 이제 논쟁거리가 아닙니다. 문제는 교육을 얼마나 많이 제공할지가 아니라 무엇을 학습의 증거로 볼지입니다. 수강시간, 수료율, 실습 결과를 모두 ‘학습’이라는 하나의 숫자로 묶으면 중요한 차이를 놓칠 수 있습니다.

AI와 함께 잘한 것과 실제로 배운 것은 다르다

튀르키예의 한 고등학교에서 약 1,000명의 학생을 대상으로 흥미로운 현장실험이 진행됐습니다. 학생들은 수학 연습시간에 교과서만 사용하거나, 일반적인 GPT 도구 또는 학습용 보호장치를 둔 GPT Tutor를 사용했습니다. 이후에는 AI와 자료 없이 시험을 치렀습니다.

일반 GPT를 사용한 학생들은 연습문제 성과가 대조군보다 48% 높았습니다. 하지만 AI 없이 치른 시험에서는 오히려 17% 낮았습니다. GPT Tutor를 사용한 학생들은 연습 성과가 127% 높았고, 일반 GPT 조건에서 나타난 독립 시험 성과 하락도 대부분 사라졌습니다. 다만 독립 시험 성과가 대조군보다 높아지지는 않았습니다(Bastani et al., 2025).

두 도구의 차이는 단순히 성능에 있지 않았습니다. 일반 GPT는 학생이 요청하면 답을 제공할 수 있었습니다. GPT Tutor는 학생이 먼저 시도한 내용을 보여주게 하고, 정답 대신 단계적인 힌트를 주도록 설계됐습니다. 대화 기록에서도 일반 GPT를 사용한 학생들은 답을 요구하거나 옮기는 경향을 보였고, GPT Tutor를 사용한 학생들은 자신의 풀이를 시도하고 도움을 요청하는 상호작용을 더 많이 했습니다.

그렇다고 AI가 학습을 방해한다고 결론 내릴 수는 없습니다. 하버드대학교 물리학 수업의 교차 무작위 실험에서는 학습과학 원칙에 맞춰 설계한 AI 튜터를 사용한 학생들이 강의실 능동학습 조건보다 더 큰 학습 향상을 보였습니다. AI 튜터를 사용한 시간의 중앙값은 49분으로 강의실 수업의 60분보다 짧았습니다(Kestin et al., 2025). 이 튜터는 학습 내용을 순서대로 제시하고, 학생의 수준에 맞춰 피드백하며, 답을 바로 주기보다 참여를 유도하도록 세심하게 설계됐습니다.

두 연구는 학교의 수학과 물리학 수업을 다뤘습니다. 직장인의 AI 교육 효과를 직접 입증한 연구는 아닙니다. 그래도 한 가지 질문은 남깁니다. 직원이 AI를 사용할 때 더 빨리 답을 냈다는 사실을, 직원이 더 잘 배웠다는 증거로 봐도 될까요?

교육장 밖에서 써먹을 수 있어야 한다

직장 교육에서는 한 단계가 더 필요합니다. 교육에서 익힌 행동이 실제 업무로 이어지는 ‘교육훈련 전이’입니다. 89개 연구를 종합한 메타분석에서는 학습 동기와 지원적인 업무환경 등이 교육훈련 전이와 정적인 관계를 보였습니다(Blume et al., 2010). 좋은 강의를 제공해도 현업에서 시도할 시간과 기회가 없거나 관리자가 기존 방식을 고집한다면 배운 행동은 자리 잡기 어렵습니다.

AI 협업이 일상적인 중국 기업 종사자 455명을 조사한 연구에서는 직무 통제가 자기효능감과 정적인 관계를 보였습니다. 자기효능감과 학습목표 지향성도 학습행동과 정적인 관계를 보였습니다(Chen et al., 2023). 직원이 자신의 업무 방식을 조정하고 새로운 시도를 할 수 있다는 느낌이 학습과 관련될 수 있다는 의미입니다.

HR이 바꿔야 할 세 가지

첫째, 교육 참여와 독립 수행을 따로 측정해야 합니다. 수료율과 실습 점수는 교육에 참여했고 AI의 도움을 받아 과제를 수행했다는 사실을 보여줍니다. 여기에 AI 없이 핵심 절차 설명하기, 잘못된 결과 찾아내기, 판단 근거 작성하기를 추가해야 합니다. 교육 직후뿐 아니라 일정 기간이 지난 뒤에도 같은 능력이 남아 있는지 확인할 필요가 있습니다.

둘째, AI를 정답 제공자가 아니라 코치로 활용해야 합니다. 직원이 먼저 초안을 만들거나 해결 방법을 적은 뒤 AI를 사용하게 하십시오. AI는 완성된 답을 바로 주기보다 빠진 조건을 묻고, 단계별 힌트를 제공하고, 직원이 선택한 이유를 다시 설명하게 할 수 있습니다. 연구에서 검증된 프로그램을 그대로 옮긴 것이 아니라 앞선 결과를 직장 교육에 확장한 설계 제안입니다.

셋째, 교육 이후의 업무까지 설계해야 합니다. 교육을 마친 직원에게 2주 안에 실제 업무 하나에 적용해 보게 하고, 관리자나 동료가 결과와 과정을 함께 검토하게 할 수 있습니다. 성공 사례만 공유하지 말고 AI가 틀린 장면, 사람이 개입한 기준, 다음에 바꿀 점도 남겨야 합니다. 교육 횟수를 추가하기 전에 직원에게 적용할 시간과 권한이 있는지부터 확인해야 합니다.

AI 교육의 성과는 직원이 도구를 켰을 때만 잘하는지, 도구가 없어도 판단할 수 있는지, 그리고 그 능력을 실제 업무에서 반복하는지까지 살펴봐야 드러납니다.

우리 조직은 AI 교육을 얼마나 많이 했는지를 세고 있습니까, 직원에게 무엇이 남았는지를 확인하고 있습니까?

새로운 HR 연구와 현장 적용 아이디어를 계속 받아보고 싶다면 HRer 성장노트를 구독해 주세요.

[참고자료]