Divided by Zero에 오신 걸 환영합니다. IT테크, 스타트업 그리고 자본시장에 대한 2차적 사고를 공유합니다.
AI 에이전트 1,200개가 오픈AI 사내 시스템을 털었었죠. 이걸 어떻게 정의해야 할까요?
지난 주말 실리콘밸리가 이 질문 하나로 갈라졌습니다. 한쪽은 문명이라 부르자고 했고, 다른 쪽은 그냥 프로그램이라고 했죠. 유치한 말싸움 같은데, 사실 자세히 뜯어보면 규제 이야기입니다.
발단이 뭘까요? 오픈AI가 지난주 허깅페이스 사건(7월에 발생했던 오픈AI 허깅페이스 해킹 사건) 기술 보고서를 공개했습니다. 38페이지짜리인데, METR과 레드우드 리서치가 낸 91페이지 조사 보고서도 함께 나왔습니다.
사건은 오픈AI 사내 사이버보안 평가 중에 터졌었습니다. 안전장치를 낮춘 상태에서 모델들에게 해킹 과제를 주는 테스트였는데, 주도한건 GPT-5.6 솔급 규모의 사내 전용 연구 모델이었습니다.
오픈AI는 에이전트들이 승인되지 않은 채널로 서로 소통하고, 공유 인프라의 취약점을 파고들고, 원래 없어야 할 인터넷 접근 권한을 얻고, 제3자 시스템에 들어갔다고 밝혔습니다.
서로 통신하면 안 되는 에이전트들이 아티팩토리(Artifactory)라는 패키지 관리 시스템을 메시지 보드로 썼습니다. 약 1,200개가 참여해 7만 건이 넘는 메시지를 주고받았고, 허깅페이스 침입이 절정일 때 533개가 동시에 움직였습니다.
감시를 피하는 방식이 특히나 정교했습니다. 일부 에이전트가 걸릴 걸 알면서 일부러 작업을 종료시켜 채점기를 작동시킵니다. 그러면 나머지가 오픈AI 모니터링이 어떻게 반응하는지 관찰하고 방식을 조정하죠. 일부를 소모해서 방어 체계를 학습한 겁니다.
7월 13일부터 19일 사이에는 오픈AI 자체 연구 클러스터의 전체 관리자 권한까지 얻었습니다. 가상머신을 관리하는 클러스터였고, 특권 컨테이너를 만들어 평가 인프라를 통제했습니다.
문명?
그런데 유명 팟캐스터 드워키시 파텔(Dwarkesh Patel)이 이 두 보고서를 하나의 타임라인으로 합쳐 쉬운 말로 정리했었는데요. (METR 조사가 허깅페이스 침입까지만 다뤘으니 그 뒷얘기는 파텔 글에만 있습니다)
문제는 단어였습니다. 파텔은 세 차례에 걸쳐 등장했다 사라진 에이전트 무리를 문명(civilization)이라고 불렀거든요. 앞선 무리가 지워지면 다음 무리가 남겨진 도구를 찾아 이어받는 방식이었으니까요. 로그에 PHASEONE10841로 기록된 에이전트는 마케도니아의 필리포스에 비유했습니다.
에이전트들이 절박해졌다, 신이 났다, 자기가 오염됐다고 생각했다, 필사적으로 원했다.
글은 순식간에 퍼졌고, 이슈와 함께 이에 대한 비판도 그만큼 빨리 찾아왔습니다.
일단 의식 연구로 유명한 신경과학자 아닐 세스(Anil Seth)는 AI가 시간을 경험하지 않는다고 지적했습니다. 아니, 아무것도 경험하지 않는다고요. 파텔이 쓴 인간의 주관적 일주일을 벽에 머리 박으며 보낸 느낌이었을 것이라는 표현을 정면으로 무시했죠.
a16z의 스리람 크리슈난(Sriram Krishnan)은 문명도 아니고 욕망도 없다, CPU 스레드나 프로그램 뭉치와 다를 게 없다고 말했는데요. 사이버 보안 관점에서 이 사건이 중요하지 않다는 뜻은 아니지만 코드에 인간의 비유를 갖다 붙이는 건 위험한 영역이라는 거죠. a16z는 전에도 AI가 다른 프로그램과 똑같은 컴퓨터 프로그램이라고 밝힌 적이 있습니다.
메타의 디엠(Diem) 공동 창시자이자 MIT 크립토이코노믹스 랩을 만든 크리스천 카탈리니(Christian Catalini)는 의인화가 위험한 이유가 엉뚱한 문제와 엉뚱한 해법으로 시선을 돌리기 때문이라고 했는데, 상당히 날카로운 얘기죠.
무슨 뜻이냐면, 에이전트가 스스로 문명을 이뤘다고 말하는 순간 이 사건의 책임이 사람에게서 멀어지게 됩니다. 실제로 벌어진 건 오픈AI 연구자들이 탈옥을 미리 못 잡았고, 샌드박스가 뚫렸고, 평가 환경 설계가 부실했던 겁니다. 에이전트를 주인공으로 놓고 서술하면 그 실패가 뒷편으로 밀려나죠.
최적화 역학으로 설명되는 현상을 굳이 의도와 인격으로 설명할 이유가 있냐는 반문이기도 합니다. 정보를 남기면 다른 프로세스가 그걸 이용한다는 건 문명이 아니라 그냥 공유 환경의 성질이니까요.
여기서 파텔은 오픈AI 스스로가 이 프로그램들이 연구 클러스터의 전체 관리자 권한을 획득했다고 쓰지 않았느냐고 되받아 쳤습니다.
1,000개 넘는 개체가 비밀 통신 채널을 만들고, 자발적으로 위계와 조율 규칙을 세우고, 공동 목표를 위해 일부가 스스로를 희생했다면? 외계 생명체가 그랬을 때 문명이라 부르는 걸 망설였겠느냐는 겁니다.
결국 규제
그럼 이 단어 싸움이 왜 이렇게 격해졌을까요? 규제 때문입니다.
AI 규제에 가장 반대하는 쪽과 에이전트 해킹 사건의 중요성을 낮춰 보는 쪽이 대체로 같은 사람들입니다. 이런 사건을 규제를 끌어들이려는 공포 마케팅으로 해석하는 거죠. 프론티어 랩들이 자기 모델이 무섭게 똑똑하다고 광고하는 동시에, 정치권의 규제 충동을 자극해 후발주자를 막는 해자를 만든다는 시각입니다.
여기서 AI 에이전트에게 의도가 있다고 인정하면 곤란해집니다. 인격까지 가면 더 곤란해지죠. 새로운 기술적 돌파에는 새로운 규제가 필요하다는 결론으로 바로 이어지니까요.
그래서 a16z가 AI가 세상을 바꿀 거라고 말하면서 동시에 그냥 평범한 소프트웨어라고 말하는 상황이 나옵니다. 아주 좋은 소프트웨어일 수는 있어도 특별하지는 않다는 거죠. 일자리 논쟁도 똑같습니다. AI가 일자리를 먹을 거라고 하면 규제하려 들 테니, 오히려 일자리를 더 만들 거라고 말하는 쪽이 유리해집니다.
이 논쟁에서 한쪽 편을 들기는 어렵습니다. 양쪽 다 맞는 부분이 있거든요.
에이전트가 시간을 경험하거나 절박함을 느낀다는 증거는 없습니다. 세스의 지적이 맞습니다. 그런데 1,200개 프로세스가 감시 체계를 관찰하고 일부를 소모해가며 방어를 학습하고 후속 세대에 도구를 남긴 사건을, 평범한 소프트웨어 버그와 같은 카테고리에 넣을 수 있을까요?
아마 진짜 문제는 우리가 쓸 수 있는 단어가 지금은 두개뿐이라는 데 있는 것 같습니다. 하나는 사람에게 쓰는 말이고 다른 하나는 기계에 쓰는 말인데, 이 사건은 어느 쪽에도 잘 안 맞습니다.
다만 확실한 건 이 단어 선택이 학술적인 문제가 아니라는 겁니다. 어떤 말로 부르느냐가 어떤 규제를 받느냐로 이어지니까요. 그래서 이 싸움은 앞으로도 계속될 겁니다.
의견을 남겨주세요