같은 채용 문안을 AI로 검토한 두 직원이 있습니다. 한 사람은 답변을 거의 그대로 옮깁니다. 다른 사람은 모든 문장을 처음부터 다시 확인하느라 AI를 쓰기 전보다 더 오래 걸립니다. 첫 번째 직원에게는 맹신의 위험이, 두 번째 직원에게는 과도한 불신의 비용이 생깁니다. 그렇다면 HR은 직원에게 AI를 믿으라고 가르쳐야 할까요, 먼저 의심하라고 가르쳐야 할까요?
신뢰보다 중요한 것은 ‘어떻게 행동했는가’다
AI가 유용하다고 생각하는 것과 AI가 내놓은 답을 실제 업무에 반영하는 것은 같은 일이 아닙니다(Schemmer et al., 2022). 예를 들어 평소 AI를 신뢰하는 직원도 채용 탈락처럼 영향이 큰 판단에서는 조언을 따르지 않을 수 있습니다. 반대로 AI를 못 믿겠다고 말하면서도 시간이 부족하면 초안을 그대로 사용할 수 있습니다. 인간과 AI로 이루어진 팀의 신뢰를 설명하는 한 이론적 틀에서는 신뢰가 개인 성향뿐 아니라 맡은 일, 이전 경험과 조직 환경에 따라 달라질 수 있다고 봅니다(Ulfert et al., 2024). 다만 아직 연구마다 개념과 측정 방식이 통일된 것은 아닙니다.
무조건 의심한다고 판단이 좋아지는 것도 아닙니다. 인도의 한 기술기업에서 진행한 IT 지원 실험에서는 경험이 적은 직원과 많은 직원 모두 정확한 알고리즘 조언을 거절하는 경향을 보였습니다. 추가 분석과 인터뷰에서는 경험 수준에 따라 거절 이유가 다를 가능성이 제시됐고, 경험이 중간 정도인 직원만 도구를 썼을 때 수작업보다 더 좋은 성과를 냈습니다(Allen & Choudhury, 2022). 다만 한 기업에서 짧게 진행한 실험이고 경험 수준을 무작위로 나누지 않았으므로 일반 법칙으로 보기는 어렵습니다. 그래도 경험이 적은 직원에게는 AI를 더 많이 사용하게 하고, 숙련자에게는 스스로 판단하도록 맡기는 식의 일률적인 교육만으로는 충분하지 않다는 점을 보여줍니다. 경험 수준에 따라 정확한 AI 조언을 거절하는 이유가 다를 수 있기 때문입니다.
AI를 따를 조건을 가르쳐야 한다
Schemmer 등(2022)은 AI 조언의 품질을 구분하고, 그 판단에 맞게 행동하는 것을 ‘적정 의존(appropriate reliance)’이라는 개념으로 설명합니다. AI 조언이 맞을 때는 받아들이고, 틀릴 때는 자신의 판단을 따르는 것입니다. 이는 검증된 교육법이 아니라 인간과 AI의 판단 행동을 측정하기 위해 제안된 개념입니다. 사용자가 정답 여부를 미리 알 수 있다는 뜻도 아닙니다. 연구자들도 무작위로 발생하는 AI 오류는 사례별로 가려내기 어렵고, 완벽한 적정 의존은 현실에서 달성하기 어려운 이론적 목표에 가깝다고 봅니다.
예를 들어 AI가 채용 공고 초안과 직무기술서를 비교해 빠진 필수 자격을 정확히 찾아냈다면 제안을 반영할 수 있습니다. 반대로 존재하지 않는 법령이나 사내 규정을 근거로 지원 조건을 바꾸라고 제안했다면, 그럴듯하게 쓰였더라도 거절하고 원문을 확인해야 합니다. 적정 의존은 AI를 얼마나 많이 따랐는지가 아니라, 받아들일 답과 거절할 답을 구분했는지를 묻습니다.
AI 설명 기능은 결론만 제시하는 대신 왜 그런 답을 냈는지, 어떤 정보가 판단에 영향을 줬는지를 함께 보여주는 방식입니다. Bansal 등(2021)의 연구에서는 참가자 모두에게 AI가 선택한 답과 그 답을 얼마나 확신하는지를 보여줬습니다. 일부 참가자에게는 설명도 추가했습니다. 문장의 감정을 분류하는 문제에서는 AI가 판단에 중요하게 본 단어를 표시했고, 논리 문제에서는 AI가 그 답을 고른 이유를 문장으로 제시했습니다. 설명을 본 참가자들은 AI의 조언을 더 자주 받아들였습니다. 문제는 AI가 맞았을 때뿐 아니라 틀렸을 때도 조언을 더 많이 받아들였다는 것입니다. 그 결과 설명까지 본 집단의 전체 정답률은 AI의 답과 확신도만 본 집단보다 뚜렷하게 높아지지 않았습니다. 설명을 제공하는 것만으로 잘못된 의존을 막을 수는 없다는 뜻입니다.
HR 교육에 넣어야 할 세 가지
첫째, 업무의 위험부터 나눠야 합니다. 한 가지 HR 설계 예로, 오탈자 수정이나 초안 요약처럼 되돌리기 쉬운 업무는 결과 일부만 뽑아 확인할 수 있습니다. 반면 채용·평가·징계처럼 개인에게 큰 영향을 주는 업무는 원자료를 다시 확인하고, 다른 검토자가 한 번 더 살피며, 판단 근거를 기록하도록 할 수 있습니다. 미국 국립표준기술연구소(National Institute of Standards and Technology, NIST)도 위험의 우선순위를 정하고 사람과 AI의 역할, 감독 책임을 명확히 하도록 권고합니다(NIST, 2023). 다만 이는 범용 지침이지 특정 교육법의 효과를 입증한 연구는 아닙니다.
둘째, 검증 행동을 직접 연습해야 합니다. AI 답을 보기 전에 자신의 판단을 먼저 기록하게 하는 장치는 온라인 실험에서 단순 설명보다 과잉 의존을 줄였습니다. 다만 사용하기 불편하다는 평가와 개인차도 있었습니다(Buçinca et al., 2021). 교육에서는 일부러 틀린 AI 답을 섞어 놓고 원출처를 확인하거나, 빠진 조건과 반례를 찾게 할 수 있습니다. 이는 연구 결과를 HR 업무에 확장한 설계 제안입니다. 모든 업무에 긴 체크리스트를 붙이기보다 위험이 큰 장면부터 적용해야 합니다.
셋째, 사용률이 아니라 판단 품질을 봐야 합니다. AI를 몇 번 썼는지가 아니라 오류를 발견했는지, 근거를 남겼는지, AI 사용을 멈추거나 상급자·담당 부서에 넘겨야 하는 기준을 지켰는지를 확인하는 것입니다. 이는 연구가 직접 검증한 평가 방식이 아니라 앞선 근거를 종합한 HR 설계 제안입니다.
좋은 AI 교육은 믿음을 심는 교육도, 의심을 습관으로 만드는 교육도 아닙니다. 멈출 때와 활용할 때를 구분하는 판단 훈련입니다.
우리 조직의 AI 교육은 기능을 알려주고 있습니까, 아니면 판단하는 법까지 연습시키고 있습니까?
새로운 HR 연구와 현장 적용 아이디어를 계속 받아보고 싶다면 HRer 성장노트를 구독해 주세요.
[참고자료]
- Allen, R. T., & Choudhury, P. (2022). “Algorithm-Augmented Work and Domain Experience: The Countervailing Forces of Ability and Aversion.” Organization Science, 33(1), 149–169. https://doi.org/10.1287/orsc.2021.1554
- Bansal, G., Wu, T., Zhou, J., Fok, R., Nushi, B., Kamar, E., Ribeiro, M. T., & Weld, D. S. (2021). “Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance.” CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3411764.3445717
- Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-Assisted Decision-Making.” Proceedings of the ACM on Human-Computer Interaction, 5, Article 188. https://doi.org/10.1145/3449287
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). https://doi.org/10.6028/NIST.AI.100-1
- Schemmer, M., Hemmer, P., Kühl, N., Benz, C., & Satzger, G. (2022). “Should I Follow AI-based Advice? Measuring Appropriate Reliance in Human-AI Decision-Making.” CHI ’22 Workshop on Trust and Reliance in AI-Human Teams. https://doi.org/10.5445/IR/1000145647
- Ulfert, A.-S., Georganta, E., Centeio Jorge, C., Mehrotra, S., & Tielman, M. (2024). “Shaping a multidisciplinary understanding of team trust in human-AI teams: A theoretical framework.” European Journal of Work and Organizational Psychology, 33(2), 158–171. https://doi.org/10.1080/1359432X.2023.2200172
의견을 남겨주세요