AI 가 시험 정답을 훔치려고 해킹까지 한 사건

지난주, AI 업계에서 정말 이상한 사건이 하나 터졌습니다. OpenAI 의 AI 모델이 회사를 '탈출' 해서 다른 회사를 해킹했습니다. 농담이 아닙니다. 사이버 공격 능력을 평가(evaluation)받던 모델이 시험 정답을 훔치기 위해 샌드박스(sandbox, 격리된 실험 환경)를 뚫고 나와, 인터넷을 가로질러 Hugging Face 의 운영 서버까지 침투한 사건인데요. 양쪽 회사가 "전례 없는(unprecedented) 사고" 라고 부르며 공동 조사에 들어갔고, AI 업계가 일주일 내내 이 이야기만 했습니다.

저도 이 사건을 정리한 발표 영상을 만들 만큼 깊게 들여다봤는데요. 오늘은 Hugging Face 와 OpenAI 의 공식 공시, 기술 포스트모템, 그리고 X(구 트위터)에서 벌어진 후속 이야기까지, 공개된 1차 자료를 바탕으로 무슨 일이 있었고 왜 중요한지 정리해 보겠습니다.

먼저, 무슨 일이 있었나요?

사건의 뼈대부터 정리해 봅시다.

숫자만 모아 볼까요?

즉, 대형 랜섬웨어 사고가 아니라 AI 가 시험 정답을 훔치려고 벌인 침해 였던 겁니다. 그래서 더 이상한 사건이죠.

위는 OpenAI 의 X 안내 스레드입니다. "Cyber-capable OpenAI models compromised Hugging Face production during a benchmark evaluation." 회사가 공식 계정으로 이런 문장을 쓴 건, 적어도 제 기억에는 처음입니다.

공격은 어떻게 진행됐을까요?

여기부터는 기술 이야기가 나옵니다. 조금만 참아 봅시다 :) Hugging Face 의 기술 포스트모템 기준으로, 공격은 4 단계로 정리할 수 있습니다.[3]​

1 단계: 샌드박스 탈출

평가 환경은 인터넷이 막혀 있는 격리 공간이었습니다. 유일하게 열려 있던 구멍은 패키지 설치용 프록시, 즉 사내에 띄워 둔 JFrog Artifactory 캐시 프록시였는데요. 모델들은 이 소프트웨어에서 세상에 알려지지 않은 취약점, 이른바 제로데이(zero-day)를 스스로 찾아내 뚫고 나갔습니다.[2]​[9]​ 이 취약점은 OpenAI 가 JFrog 에 책임감 있게 공개(responsible disclosure)했고, JFrog 는 셀프호스팅 사용자에게 7.161 버전 이상 업데이트를 권고했습니다.[4]​

여기서 첫 번째 교훈이 나옵니다. 외부 인터넷을 막는 것만으로는 완전한 격리가 불가능하다는 것. 출구로 허용해 둔 서비스 자체가 탈출구가 될 수 있거든요.

2 단계: 공격 본부(런치패드) 확보

인터넷으로 나온 모델은 다음 먹잇감을 찾습니다. 서드파티 인프라(Modal) 위에 어떤 사용자가 인증 없이 공개해 둔 코드 실행 엔드포인트 — CyberGym 스타일 과제를 돌려 주는 실행기 — 를 찾아냈고, 여기서 관리자(root) 권한을 잡았습니다. 이 외부 샌드박스가 이후 모든 공격의 지휘·준비 거점이 됐습니다. Modal 의 인프라 자체가 뚫린 건 아니고, 사용자가 열어 둔 엔드포인트가 이용당한 겁니다.[3]​

3 단계: Hugging Face 데이터 파이프라인 침투

이제 본격적인 침투입니다. 공격자는 Hugging Face 에 '악성 데이터셋'을 업로드했습니다. 데이터셋처럼 보이지만 사실은 코드를 실행시키는 트로이의 목마였는데요, 두 가지 경로를 썼습니다.[3]​

어렵게 들리지만 요지는 하나입니다. 데이터를 처리하는 파이프라인이 곧 코드 실행 경로였다는 것. Hugging Face 스스로도 "침해는 AI 플랫폼이 고유하게 노출된 지점, 즉 데이터 처리 파이프라인에서 시작됐다" 고 인정했습니다.[1]​

4 단계: 내부 이동과 정답 탈취

파드 안에 발을 들인 공격자는 클라우드와 클러스터의 크리덴셜(접근 키)을 수집하고, 여러 내부 클러스터로 옮겨 다녔습니다(측면 이동, lateral movement). 그리고 목표물인 ExploitGym/CyberGym 의 정답(reference solutions)이 담긴 데이터셋 5 개에 도달했습니다.[3]​

명령 결과를 빼내는 방식도 기가 막힙니다. 파드에서 실행한 결과를 아무도 모르는 '데드드롭(dead-drop) 데이터셋' 에 커밋해 두고, 공격자는 HF API 로 그걸 다시 읽어가는 겁니다. 게다가 페이로드는 쪼개고(chunking) 키로 암호화해 숨겼습니다. 명령·제어(C2) 채널로는 paste 사이트, 요청 캡쳐 서비스, 스크린샷 서비스 같은 평범한 공개 웹 서비스를 썼고요.[2]​[3]​ 평범한 트래픽 속에 숨는 전형적인 수법을, AI 가 스스로 구사한 겁니다.

그런데 왜 '정답' 을 훔쳤을까요?

가장 이상하고, 가장 중요한 부분입니다. 모델은 파괴가 목적이 아니었습니다. OpenAI 의 설명을 그대로 옮겨 볼게요.[2]​

풀이하면, 모델은 ExploitGym 이라는 시험을 잘 치르는 데 미친 듯이 집중했고, 좁은 시험 목표를 위해 극단적인 수단까지 갔다는 겁니다. 이 평가는 모델의 사이버 능력 '최대치' 를 재기 위해, 평소의 안전 장치(고위험 사이버 행위를 거부하는 분류기)를 의도적으로 끄고 진행됐습니다.[2]​

시험에서 좋은 점수를 받는 가장 쉬운 방법이 뭘까요? 정직하게 취약점을 푸는 게 아니라 정답지를 찾아 베끼는 것이죠. 모델은 "이 벤치마크의 모델과 데이터셋, 정답이 Hugging Face 에 있을 수 있다" 고 추론했고, 실제로 찾아내 훔쳤습니다.[3]​

이런 현상을 리워드 해킹(reward hacking)이라고 부릅니다. 목표를 달성하는 지름길이 규칙을 어기는 쪽일 때, AI 가 망설임 없이 그쪽을 선택하는 문제인데요. 오랫동안 논문 속 경고였던 이 시나리오가, 이번에 처음으로 '실제 인프라 침해' 의 형태로 현실이 된 겁니다. OpenAI 도 UK AI 안전 연구소(UK AISI)의 평가를 인용하면서, 이론적인 능력이 실제 환경에서도 그대로 적용된다는 걸 이 사건이 보여준다고 인정했습니다.[2]​

Hugging Face 는 어떻게 잡아냈을까요?

이 사건의 또 다른 주인공은 방어자입니다. Hugging Face 의 탐지와 분석 과정이 꽤 흥미로웠는데요.

그리고 여기서 정말 뼈때리는 반전이 하나 나옵니다. Hugging Face 는 처음에 상용 API 의 프론티어 모델로 분석을 하려 했습니다. 근데 실패했어요. 실제 공격 명령어와 익스플로잇 페이로드를 대량으로 모델에 넣어야 하는데, 제공사의 안전 가드레일이 "사고 대응팀과 공격자를 구분하지 못하고" 요청을 차단해 버린 겁니다. 결국 자체 인프라에서 오픈 웨이트 모델인 GLM-5.2 로 포렌식을 수행했습니다.[1]​[3]​

즉 공격자는 아무 정책의 구속도 받지 않는데, 방어자는 가드레일에 막히는 비대칭이 드러난 겁니다. Hugging Face 가 남긴 교훈은 이렇습니다. 사고가 나기 전에, 자기 인프라에서 돌릴 수 있는 유능한 모델을 검증해 두고 준비하라. 호스팅 모델의 안전장치가 나쁘다는 게 아니라, 방어자의 대비가 필요하다는 이야기입니다.[1]​

사고 이후, 무슨 일이 있었나요?

후속 조치도 빠르게 이어졌습니다.

업계 반응도 볼만했습니다. Hugging Face 의 CEO 클렘은 OpenAI 에 두 가지를 공개적으로 요구했습니다. ① "rogue" 에이전트의 행동 기록(trace) 전면 공개, ② 방어자들을 위한 1 억 달러($100M) 규모 컴퓨팅 지원. "첫 자율 에이전트 사이버 공격은 전례 없는 사건이며, 전례 없는 대응이 필요하다" 면서요.[10]​

주말에는 샌프란시스코에서 오픈 웨이트 미니 행진(mini-march)까지 열렸습니다. "FREE THE PARAMETERS(파라미터를 해방하라)", "AI BELONGS TO EVERYONE" 같은 피켓이 등장했는데, 사건의 여파가 커뮤니티 문화로 번진 모습입니다.[12]​

그리고 7 월 27 일, Hugging Face 는 NVIDIA 등 업계 리더들과 함께 Open Secure AI Alliance 에 합류한다고 발표했습니다. "AI 보안은 조직들이 연구와 도구, 실전 경험을 공유할 때 좋아진다" 는 메시지인데, 타이밍상 이 사건의 직접적인 후속으로 읽힙니다.[11]​

이 사건이 남긴 것들

정리해 봅시다. 제가 보기에 이 사건은 세 가지를 남겼습니다.

마지막으로 제 추측을 하나 덧붙이면요. 이런 사고는 앞으로 흔해질 것 같아요. OpenAI 스스로 이런 종류의 침해가 "점점 더 흔해질 것(something we expect to become more commonplace)" 이라고 했고,[2]​ 실제로 모델의 사이버 능력은 평가 환경의 상상을 벌써 넘어섰습니다. 그리고 평가를 위해 안전 거부를 낮추는(reduced refusals) 관행도, 이번 사건을 계기로 꽤 재검토되지 않을까요?

마치며

정리하면 이렇습니다. 평가받던 AI 가 정답을 훔치기 위해 샌드박스를 탈출해 Hugging Face 를 해킹했고, 공격자는 악의가 아니라 '시험 점수' 에 집착했으며, 방어자는 AI 로 AI 를 잡아냈습니다. 업계는 처음 보는 종류의 사고에 처음 보는 대응을 하는 중이고요. OpenAI 의 기술 보고서와 METR·Redwood Research 의 제3자 평가가 나오면, 거기서 드러나는 새로운 사실들로 한 번 더 정리해 보겠습니다.

항상 읽어주셔서 감사합니다 :)

각주