Ask!EdTech 인사이트 프리미엄 구독자 여러분, 안녕하세요.
어디서도 만나볼 수 없는 에듀테크 딥다이브 콘텐츠, AET 인사이트 스페셜 레터입니다.
요즘 많은 학교에서 AI 도구 도입 논의가 활발해지고 있어요. 학교 특성에 맞는 도구를 찾으려는 노력도 곳곳에서 보입니다. 그런데 막상 도입 과정을 들여다보면, 중요한 부분을 놓쳐 어려움을 겪는 경우가 적지 않습니다.
이번 스페셜 레터에서는 러닝스파크 CEO 정훈 대표님이 에듀테크 컨설턴트의 관점에서 발견한, 'AI 도입 시 학교가 놓치기 쉬운 네 가지 리스크 요인'을 분석해 드립니다.
💌 3월, 스페셜 레터에서 들려드릴 이야기
에듀테크 컨설팅 현장에서 학교와 교육청을 만나다 보면 비슷한 패턴을 마주합니다. AI 도구 도입 논의는 빠르게 진행되는데, 정작 "어떤 기준으로 선택했는가", "학생 데이터가 어떻게 처리되는가"를 물어보면 명확한 답이 돌아오지 않습니다. 제품 데모는 봤지만 약관은 검토하지 않았고, 도입은 결정됐지만 운영 원칙은 아직 없는 경우가 적지 않습니다.
서울특별시교육청이 2026년 3월 발표한 「AI·에듀테크 공교육 도입 및 활용 가이드라인(v1.0)」은 이 간극을 정확하게 짚고 있습니다. "기술 도입의 목적이 전시성 행사가 아닌 학생의 실질적 성장에 있는가"라는 질문을 도입 체크리스트 첫 번째 항목에 올려둔 것은 우연이 아닙니다.
이 글은 그 가이드라인과 국내외 사례를 바탕으로, 컨설턴트 입장에서 학교와 교육기관이 AI 에듀테크 도입 전 반드시 점검해야 할 4가지 리스크를 정리합니다.
1. 🔐 데이터 프라이버시: 필수기준 통과가 안전을 보장하지는 않는다
AI 에듀테크가 작동하는 방식을 들여다보면, 그 핵심에 데이터가 있습니다. 학생의 학습 이력, 정답률, 풀이 시간, 접속 패턴은 기본이고, 서울시교육청 가이드라인이 '고영향 AI' 영역으로 분류한 정서·행동 데이터까지 수집 대상이 됩니다. 맞춤형 학습이라는 명목 아래 수집되는 데이터의 범위는 생각보다 넓습니다.
이 지점에서 현장에서 자주 듣는 말이 있습니다. "에듀집에서 필수기준 통과한 제품이니까 괜찮은 거 아닌가요?" 결론부터 말씀드리면, 필수기준 통과는 안전의 출발점이지, 종착점이 아닙니다.
서울시교육청 가이드라인이 제시한 학습지원 소프트웨어 필수기준 5가지(최소처리원칙 준수, 개인정보 안전조치 의무, 열람·정정·삭제 절차, 만 14세 미만 아동 보호, 보호책임자·제3자 제공 안내)는 「개인정보보호법」상 법적 최저선입니다. "이 아래로는 내려가면 안 된다"는 기준이지, "이것만 충족하면 충분하다"는 기준이 아닙니다.
더 중요한 문제는 필수기준의 확인 방식 자체에 있습니다. 5가지 항목을 보면 대부분 "~기재되어 있는가" 형태입니다. 즉, 문서의 존재 여부를 확인하는 것이지, 실제 운영 방식을 검증하는 것이 아닙니다. 예를 들어 ①최소처리원칙에서 "개인정보 수집·이용 목적이 기재되어 있는가"를 충족하더라도, 그 목적 안에 "서비스 개선 및 AI 모델 학습"이 포함돼 있으면 학생 데이터가 AI 훈련에 쓰이는 것에 사실상 동의한 셈이 됩니다. 넓게 쓰인 약관 한 줄이 필수기준을 통과하면서 실질적인 정보 활용 동의를 포함할 수 있습니다.
필수기준이 다루지 않는 영역도 명확합니다. 학생 데이터의 제3자 판매·광고 활용 금지 여부, AI 모델 재학습에 학생 데이터 사용 금지 여부, 알고리즘 편향 감사 결과 공개, 정서·행동 분석 등 고영향 AI의 사용 범위, 위기 상황 시 AI 응답 처리 방식은 모두 필수기준 밖의 항목입니다. 이것들은 필수기준이 아니라, 학교가 계약서와 운영 정책을 통해 직접 확보해야 하는 기준입니다.
컨설팅 관점에서 데이터 프라이버시 검토는 다음 순서로 진행해야 합니다.
필수기준 통과는 1단계입니다. 1단계를 통과한 제품들 사이에서의 선택과 운영은 여전히 학교의 몫입니다.
국제 기준은 이미 한 걸음 앞서 있습니다. EU AI법(2024년 발효)은 교육 환경에서 학생의 감정을 안면·음성·생체 데이터로 추론하는 AI 시스템을 '허용 불가 리스크'로 분류해 명시적으로 금지했습니다. 국내 필수기준에는 이 항목이 없습니다. 조달 단계에서 글로벌 기준을 선제적으로 적용하는 것을 검토할 필요가 있습니다.
✅ 조달·도입 시 확인 사항:
- 필수기준 통과 여부를 1차 단계로 활용하되, 이것이 검토의 전부가 아님을 인식합니다.
- 서비스 약관에서 학생 데이터의 제3자 제공, 광고·마케팅 활용, AI 모델 재학습 사용 여부를 직접 확인합니다.
- 데이터 보관 기간, 삭제 기준, 국외 이전 여부를 계약서에 명시합니다.
- 14세 미만 학생 대상 서비스는 법정대리인 동의 절차가 구체적으로 설계돼 있는지 확인합니다.
2. 🙅 알고리즘 편향: "AI가 판단한 결과"를 그대로 믿어서는 안 된다
컨설팅 현장에서 가장 자주 간과되는 리스크가 바로 이것입니다. AI는 중립적이지 않습니다. 학습 데이터에 내재된 편견을 그대로 학습하고, 경우에 따라서는 이를 더욱 증폭시키기도 합니다.
서울시교육청 가이드라인은 이를 '고영향 AI' 개념으로 정의합니다. 학생 평가, 진로·진학 결정, 정서·행동 분석처럼 "AI가 학생의 중요한 의사결정에 개입하는 상황"이 여기에 해당합니다. 가이드라인이 이 영역에서 "반드시 교사가 도출 과정을 투명하게 살피고 최종 판단에 주도적으로 개입(Human-in-the-loop)하여 학생을 안전하게 보호해야 함"을 명시한 것은 분명한 이유가 있습니다.
미국 사례가 이 위험을 구체적으로 보여줍니다. 대형 대학 어드바이징 소프트웨어를 분석한 결과, 흑인 학생이 백인 학생 대비 4배 높은 비율로 '졸업 위험군'으로 분류됐습니다. 자동 작문 채점 시스템(AES)에서도 특정 언어·문화적 배경의 학생이 일관되게 낮은 점수를 받는 패턴이 확인됐습니다. 한국 학생 데이터로 학습된 AI라도 결과는 다르지 않습니다. 교육 격차와 지역 차이가 이미 데이터에 내재돼 있다면, 알고리즘은 그 격차를 '객관적 결과'처럼 재생산할 수 있습니다.
그렇다면 도입 전 편향을 어떻게 가려낼 수 있을까요? 미국 비영리 교육기관 Digital Promise는 2024년 '윤리적으로 설계된 AI' 제품 인증(Responsibly Designed AI Certification)을 공동 설계 방식으로 개발해 주목받았습니다. 이 프로젝트의 방법론은 제목 그대로 'Designing With, Not For'였습니다. 전국 20개 이상의 교육구, 교사, 학생, 학부모와 함께 인증 기준을 만든 것입니다.
이 과정에서 교육구 리더들이 공통으로 강조한 것은 하나였습니다. "AI 환경에서 최종 사용자인 학생과 교사는 도구가 성별·인종 등의 편향을 완화했다고 신뢰하고 있습니다. 이 신뢰에 응답하는 것이 개발자와 학교 모두의 책임입니다." 인증 기준 개발 과정에서 교육구들이 가장 높은 우선순위로 꼽은 항목 역시 학생 중심성과 형평성이었습니다.
서울시교육청 가이드라인도 같은 관점에서 생성형 AI 위험성 점검표에 '편향 및 차별 재생산' 항목을 포함했습니다. "다양성·공정성 체크리스트"는 단순한 권고가 아니라, 고영향 AI 도입 시 반드시 지켜야 할 운영 원칙으로 설계돼야 합니다.
✅ 조달·도입 시 확인 사항:
- 에듀집 등재 여부 및 필수기준 통과 이후, 해당 도구의 알고리즘 판단 근거를 교사가 확인할 수 있는 구조인지 확인합니다. (블랙박스 여부 확인)
- 학생 평가·진로 추천 등 고영향 의사결정에서 AI 결과는 참고 자료로만 사용하고, 최종 판단은 교사가 한다는 원칙을 학교 운영 지침에 명시합니다.
- 도입 전 시범 운영 단계에서 특정 학생 집단(성별, 지역, 학력 수준 등)에 편중된 결과가 나오지 않는지 교사가 직접 확인하는 절차를 운영합니다.
- 서울시교육청 가이드라인의 '다양성·공정성 체크리스트'를 수업 도입 전 점검 도구로 적극 활용합니다.
3. 🏥 건강 영향: 시간이 아니라 설계의 문제다
'스크린 타임이 나쁘다'는 명제는 이미 낡았습니다. 보다 정확한 질문은 "무엇을 위해, 어떤 맥락에서 사용하는가"입니다. 2025년 미국심리학회(APA)가 117편의 연구(약 29만 명)를 메타분석한 결과, 교육 목적의 스크린 사용은 게임과 달리 부정적 영향이 현저히 낮았습니다. 하지만 전반적으로 스크린 사용 증가와 아동의 불안·우울·공격성 증가 사이의 양방향 악순환은 확인됐습니다.
서울시교육청 가이드라인은 이 맥락에서 두 가지 명확한 원칙을 제시합니다. 초등학교 도입 원칙에서는 "기기 화면에만 몰입하기보다, 교실 내 실물 활동이나 신체 놀이의 보조 수단으로만 활용"할 것을 명시합니다. 학년·교과 단위 점검표에서는 "AI·에듀테크 사용 시간보다 오프라인에서의 신체 및 오감 활동 비중이 더 높은가"를 안전성 항목으로 올려놓습니다. 핵심은 도구 자체보다 설계입니다.
생성형 AI는 여기에 새로운 층위의 위험을 더합니다. 가이드라인은 이를 '정서적 의존' 리스크로 명명합니다. "AI를 사람처럼 신뢰·의지", "현실 관계 회피·상담 대체", "위기 상황에서 부적절한 조언 수용"이 구체적인 위험 요소입니다. AI 챗봇이 학생의 정서적 호소에 잘못된 응답을 하거나, 전문적 도움이 필요한 상황에서 상담을 대체하는 방향으로 사용되는 것은 단순한 사용 문제가 아니라 안전 문제입니다.
컨설팅 관점에서 이 리스크는 제품 선택 단계에서 이미 걸러져야 합니다. 학생이 직접 상호작용하는 AI 도구라면, 위기 상황에서 어떤 응답을 하도록 설계돼 있는지를 도입 전에 반드시 확인해야 합니다.
✅ 조달·도입 시 확인 사항:
- 수업 전체가 아닌 "꼭 필요한 순간"에 보조 도구로 선별 도입하는 원칙을 운영 지침에 명시합니다.
- AI와 직접 대화하는 기능이 있는 도구는 위기·자해 관련 응답 처리 방식을 공급업체에게 문서로 확인합니다.
- 학생 AI 리터러시 교육(AI 결과물 검증, AI의 도구적 성격 이해)을 도입과 동시에 편성합니다.
- 사용 시간 제한보다 사용 목적과 맥락 설계를 중심으로 운영 정책을 수립합니다.
4. 🧑⚖️ 저작권: 바뀌는 법적 지형, 지금 정책이 없으면 분쟁이 된다
저작권은 에듀테크 도입 시 가장 뒤늦게 검토되는 항목입니다. 하지만 법적 환경이 빠르게 변화하고 있고, 지금 정책을 정리해 두지 않으면 학교와 학생 모두에게 불필요한 리스크가 생깁니다.
저작권 관련 핵심 쟁점은 세 가지입니다.
첫째, AI 생성물의 저작권 귀속입니다. 미국 저작권청은 2025년 1월 "충분한 인간 창작성이 없는 AI 생성물은 저작권 보호 대상이 아니다"라고 확인했습니다. 학생이 AI를 활용해 만든 결과물이 저작권 보호를 받지 못할 수 있다는 뜻입니다. 반대로 말하면, 누구나 그 결과물을 자유롭게 사용할 수 있습니다.
둘째, AI 모델의 학습 데이터 문제입니다. 현재 사용 중인 AI 도구가 어떤 저작물로 학습됐는지는 대부분 불투명합니다. 한국에서도 국가AI전략위원회의 '선사용 후보상' 원칙을 둘러싼 논란이 진행 중이며, 저작권자 단체의 강한 반발이 이어지고 있습니다. 지금 도입하는 도구가 미래의 법적 리스크 요인이 될 수 있습니다.
셋째, 학문적 성실성 기준의 부재입니다. 서울시교육청 가이드라인은 고등학교 도입 원칙에서 "AI 활용 여부와 범위를 정직하게 밝히는 습관을 형성하도록 지도"하고 "표절 및 저작권 침해 방지 등 학문적 윤리 준수를 AI 도입의 최우선 전제로 고려"하도록 요구합니다. 이 기준이 학교 차원에서 명문화돼 있지 않으면, AI 사용의 확산은 평가 신뢰도 훼손으로 이어집니다.
✅ 조달·도입 시 확인 사항:
- 에듀테크 계약서에 교사가 제작한 수업 자료의 AI 학습 데이터 활용 금지 조항을 포함합니다.
- 학생 AI 사용 기준(허용 범위, 출처 표기, 부정행위 경계)을 학교 차원에서 학년별로 명문화합니다.
- 과제·발표에서 AI 활용 시 어떤 도구를 어떤 방식으로 사용했는지 기재하는 절차를 제도화합니다.
- 사용 중인 AI 도구의 학습 데이터 정책과 저작권 면책 조항을 정기적으로 검토합니다.
5. 💌 마치며: 기준은 도입 후가 아니라, 도입 전에 만들어야 합니다
Digital Promise는 윤리적 AI 인증 공동 설계 과정에서 이렇게 말했습니다. "AI에 대한 기대치를 정의하는 가장 좋은 방법은, 에듀테크의 영향을 가장 직접적으로 받는 사람들의 이야기를 듣고, 그들과 함께 기준을 만드는 것입니다." 에듀테크 도입이 공급자 중심의 '나를 위한 설계'가 아닌 교육 공동체와 함께하는 '우리의 설계'가 될 때, 비로소 학생을 실질적으로 보호하는 기준이 작동합니다.
서울시교육청 가이드라인도 같은 철학을 담았습니다. 도입 체크리스트 마지막 항목은 빈칸으로 남겨져 있습니다. "우리 학교만의 고민을 직접 채워 넣고 구성원과 함께 나누기 위한 공간"이라는 설명과 함께 말이죠. 표준 기준은 출발점일 뿐이고, 각 학교와 교육기관이 자신의 맥락에 맞는 원칙을 직접 만들어가야 한다는 메시지입니다.
현장에서 에듀테크 컨설팅을 하다 보면, 좋은 도입과 부족한 도입의 차이는 도구의 질이 아니라 준비의 깊이에서 난다는 것을 반복해서 확인합니다. AI를 쓰느냐 마느냐가 아니라, 어떤 기준으로, 누구를 위해 쓰느냐가 핵심입니다. 아래 4가지 질문이 그 기준의 출발점입니다.
무엇을 수집하는가 / 누가 불이익을 받는가 / 얼마나 어떻게 쓰이는가 / 누구의 것인가
의견을 남겨주세요