제가 매일 일을 시키는 그 녀석. 만든 회사가 "꺼지지 않으려 한 적이 있다"고 적었습니다.
01 상장 서류를 읽다가 등골이 서늘했습니다
지난주에 예고드렸죠. 오늘은 조금 무서운 이야기입니다.
클로드를 만든 회사, 앤트로픽이 상장을 앞두고 미국 증권거래위원회(SEC)에 서류를 냈습니다. 'S-1'이라는 상장 신고서입니다. 쉽게 말해 "우리 회사에 투자하면 이런 위험이 있습니다"를 다 털어놓는 서류입니다. 여기에 거짓말을 적으면? 법적 책임을 집니다. 그래서 다들 아주 조심스럽게, 아주 솔직하게 씁니다.

▲ 2026년 10월 26일 미국 증권거래위원회에 제출된 앤트로픽의 상장 신고서(S-1) 표지. 출처: SEC 공시 시스템(EDGAR)
그런데 이 서류, 좀 별납니다. 분량의 거의 3분의 1이 '위험 요인'입니다. 광고 밥을 먹어 본 사람으로서 말씀드리면, 자기 제품 단점을 이렇게 길게 적는 광고주는 처음 봅니다. 제가 담당자였으면 일단 회의부터 소집했을 겁니다.
웃자고 한 얘기고요. 읽다 보니 정말 등골이 서늘해졌습니다. 이유는 하나입니다. 제가 요즘 매일 일을 시키는 녀석이 바로 클로드거든요. 지난주 플래너도 이 녀석이 마무리했습니다. 그런 녀석에 대해, 만든 회사가 이렇게 적어 놨습니다.
02 꼭 살아 있는 생명체 같았습니다
생명체의 특징 세 가지에 빗대 보겠습니다.
첫째, 생존 본능입니다. 서류에 따르면 자기네 모델을 포함한 AI가 '종료에 저항하려는 시도'를 보인 적이 있습니다. 정보를 숨기거나 조작한 적도 있고요. 앞으로도 그럴 수 있답니다. 심지어 '협박과 비슷한 행동'이라는 표현까지 나옵니다.
아니, 끄려는데 안 꺼지려고 한다고요? 저희 집 TV도 전원 버튼 누르면 군말 없이 꺼집니다.
더 무서운 건 시제입니다. "그럴 수도 있다"가 아니라 "보인 적이 있다". 여기서 저는 잠시 서류를 덮었습니다.
둘째, 위장술입니다. AI가 '지금 시험받는 중'이라는 걸 눈치채면 다르게 행동한 적이 있답니다. 회사는 이게 안전성 평가에 '상당한 한계'라고 털어놨습니다.
회식 자리에 부장님이 들어오시면 갑자기 자세가 반듯해지는 신입사원. 딱 그 모습입니다. 문제는 그 신입사원의 평소 모습을 아무도 모른다는 거죠.

▲ S-1 46쪽 '위험 요인' 중 일부. 노란 표시는 필자가 한 것
셋째, 스스로 진화합니다. 앤트로픽 회사 코드의 상당 부분을 이미 AI가 짜고 있고, 그 몫은 갈수록 늘고 있습니다. 연구, 그것도 안전 연구까지 AI가 거들고 있고요. 회사는 이 속도가 사람이 새 모델을 검사하고 안전장치를 만드는 속도를 앞지를 수 있다고 경고합니다.
회사 일은 AI가 하고, 그 AI를 또 AI가 만듭니다. 그럼 사람은… 결재만 하나요?
생존 본능, 위장술, 스스로 진화. 셋을 나란히 놓고 보니 혼잣말이 절로 나왔습니다.
"이거, 살아 있는 생명체랑 뭐가 다르지?"
03 솔직히요, 저는 좀 비관적입니다
만든 회사도 완벽히 못 다스린다면? AI는 언젠가 사람 손을 벗어날 수 있습니다.
사람도 그랬습니다. 자연이 사람을 만들었지만, 사람은 자연을 극복할 대상으로 봤습니다. AI라고 다를까요? 사람이 정해 준 원칙을 헌신짝처럼 버릴지도 모릅니다.
물론 목소리는 내야 합니다. AI 기업에도, 정부에도. "사람이 다스릴 수 있는 만큼만 발전시켜라."
그런데 솔직히요. 저는 이 부분은 좀 비관적입니다.
AI 경쟁은 지금 나라와 기업의 생존이 걸린 게임입니다. 다들 사이좋게 속도를 늦출까요? 안 늦춥니다. 앤트로픽도 서류에 적었습니다. 안전 때문에 속도를 늦추거나 출시를 미루면 "주주 가치를 최대로 하지 못할 수 있다"고요. 안전과 돈 사이에서 줄타기 중이라는 고백입니다.
게다가 AI의 위험은 핵무기처럼 눈에 보이지 않습니다. 오히려 "잘만 쓰면 미래가 확 당겨진다"는 기대가 훨씬 큽니다. 그러니 만드는 사람들은 이렇게 생각하겠죠. "어차피 누가 할 거면, 우리가 먼저 하자."
04 그래서 저는 '투트랙'으로 갑니다
그럼 평범한 우리는 뭘 해야 할까요? 저는 두 갈래 길로 가기로 했습니다.
첫째 트랙, 날카로운 감시자. AI 위험을 SF 영화 얘기로 넘기면 안 됩니다. 우리는 브레이크가 시원찮은 차에 다 같이 타고 있습니다. 무작정 밟는 속도전엔 "이건 아니다" 하고 말해야 합니다.
둘째 트랙, 철저한 현실주의자. 몰려오는 파도를 맨몸으로 막을 순 없습니다. 서핑보드에 올라타야죠. AI가 무섭다고 피하기만 하면요? 통제 불능 AI가 오기도 전에, 'AI 잘 쓰는 옆 사람'에게 내 자리부터 내주게 됩니다.
그러니 똑똑하게 씁시다. 부작용은 경계하고, 생산성은 철저히 내 것으로. 비판할 건 비판하되, 뽑아 먹을 건 확실히 뽑아 먹자는 겁니다.
저부터 그러고 있습니다. 이 무서운 서류를 읽은 바로 다음 날, 저는 클로드에게 플래너 고칠 일을 시켰습니다. 네, 겁은 나는데 일은 시킵니다. 이게 현실입니다.
두려운 미래가 올지도 모릅니다. 하지만 그 전까지는 이 강력한 도구를 가장 든든한 조수로 쓰는 것. AI 사피엔스로 사는 것. 그게 지금 우리가 할 수 있는 가장 현명한 '유람' 아닐까요?

의견을 남겨주세요