🚪AI가 백도어?

구독자님, 안녕하세요! DeepSeek의 과도한 개인정보 수집 이슈 이후 AI를 직접 다운받아 사용하시는 분들이 많아진 것 같아요. AI 모델들은 AI계의 Github이라고도 불리는 허깅페이스에서 많이 다운 받죠!

근데 AI 모델 공유의 중심지, 허깅페이스(Hugging Face)에서 심상치 않은 소식이 들려왔어요. ⚠️ 데이터 과학자들을 노린 악성 모델이 발견되어 사용자 시스템에 '백도어'를 설치하려 했다고 합니다. AI 협업의 필수 플랫폼으로 자리 잡은 허깅페이스에서 어떻게 이런 일이 가능했을까요? 지금부터 함께 파헤쳐 보시죠!

🚨 숨겨진 위험: ML 모델 속 백도어!

🤖허깅페이스는 전 세계 머신러닝 커뮤니티가 모델, 데이터셋, 애플리케이션을 공유하고 협업하는 핵심 플랫폼이에요. 텍스트, 이미지, 오디오 등 다양한 AI 분야의 오픈소스 및 유료 솔루션을 제공하며 AI 발전에 크게 기여하고 있죠.

문제는 일부 ML 모델을 로딩하는 과정에서 발생합니다. 특히 파이썬 객체 직렬화에 흔히 사용되는 '피클(pickle)' 포맷은 임의의 코드를 포함할 수 있어, 로딩 시 악성 코드가 실행될 위험이 있어요.

출처: Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor

JFrog 보안 연구팀은 허깅페이스에 업로드된 모델들을 꾸준히 모니터링하던 중, 피클 파일을 로딩하면서 코드를 실행하는 악성 모델(baller423/goober2, 현재는 삭제되었다고 해요!)을 발견습니다. 이 모델의 페이로드는 공격자에게 감염된 시스템의 셸(shell) 접근 권한을 부여, 즉 시스템을 완전히 장악할 수 있는 '백도어'를 심는 것이었죠. 😨

이런 조용한 침투는 사용자가 전혀 인지하지 못한 상태에서 중요 내부 시스템 접근, 대규모 데이터 유출, 심지어 기업 스파이 활동🥷으로까지 이어질 수 있는 심각한 위협이에요.

🤔 허깅페이스는 안전한가? 보안 조치와 한계

물론 허깅페이스도 손 놓고 있지는 않아요. 악성코드 스캔, 피클 스캔, 민감 정보 스캔 등 여러 보안 조치를 시행하고 있고, '세이프텐서(safetensors)'라는 안전한 모델 데이터 저장 포맷도 개발했죠.

하지만 이번에 발견된 것처럼 피클 기반 모델은 '안전하지 않음(unsafe)'으로 표시될 뿐, 다운로드가 차단되지는 않아요. 즉, 사용자는 여전히 위험을 감수하고 해당 모델을 다운로드하고 실행할 수 있다는 거죠. 😥 또한, 텐서플로우(Tensorflow) 케라스 모델 등 다른 유형의 모델도 코드 실행 위험이 존재해요.

🧐 누가 이런 짓을? 공격자의 정체는?

흥미로운 점은, 발견된 악성 모델(baller423/goober2)의 페이로드가 특정 IP 주소로 연결을 시도했다는 점이에요. 이 IP는 한국의 연구망인 KREONET 소속으로 추정되어, 연구자들이 보안 취약점을 증명하려 했을 가능성도 제기됐어요.

출처: Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor

하지만 실제 작동하는 악성코드를, 그것도 실제 IP 주소로 연결되도록 배포하는 것은 보안 연구의 기본 원칙에 어긋나는 행동이죠. 실제로 유사한 다른 모델(star23/baller13 등)의 경우, 사용자들이 피해를 입었다고 보고하기도 했어요. JFrog 팀은 허니팟(HoneyPot) 환경을 구축해 공격자의 행동을 관찰하기도 했답니다.

결론적으로, 연구 목적이었든 악의적인 의도였든, 실제 피해로 이어질 수 있는 위험한 시도였다는 사실은 변함없어요. 💥

💻 안전한 AI 개발 환경 구축하기

이번 사건은 AI/ML 엔지니어와 같이 특정 직군을 노린 🏭공급망 공격(Supply-chain attack)의 위험성을 명확히 보여줍니다. 안전해 보이는 모델 하나를 다운로드하는 행위가 조직 전체의 보안을 위협할 수 있는 거죠. 카글(Kaggle) 같은 다른 인기 플랫폼도 비슷한 위협에 노출될 수 있어요.

그렇다면 어떻게 대응해야 할까요?

마무리

AI 기술의 발전 속도만큼 보안 위협도 빠르게 진화하고 있어요. 특히 협업과 공유가 활발한 허깅페이스와 같은 플랫폼에서는 더욱 세심한 주의가 필요합니다. 이번 사건을 계기로 AI 모델 보안의 중요성을 다시 한번 인식하고, 안전한 개발 환경 구축에 힘써야 할 때입니다! 💪

여러분은 AI 모델을 사용할 때 어떤 보안 조치를 취하고 계신가요? 댓글로 알려주세요! 😁

그럼 다음주에 만나요! 🐣

구독자님, 오늘 뉴스레터는 어떠셨나요?
해킹/보안 관련 콘텐츠를 계속 받아보고 싶으시다면 구독 부탁드려요! 🙌