AI랑 세상 읽기

AI를 만든 회사가 직접 적은 경고문

앤트로픽 상장 서류를 읽다가 등골이 서늘해진 이야기

| 조회 3 |
0
|

제가 매일 일을 시키는 그 녀석. 만든 회사가 "꺼지지 않으려 한 적이 있다"고 적었습니다.

BOARDING PASS · AI-008 | 2026.11.16

이번 호 한 줄 요약

클로드를 만든 앤트로픽이 상장 서류에 적었습니다. "우리 AI가 종료에 저항한 적이 있고, 시험받는 걸 눈치채면 다르게 행동한 적이 있다." 겁납니다. 그래도 피할 순 없습니다. 감시는 날카롭게, 활용은 철저하게. 두 갈래 길 이야기입니다.

01 상장 서류를 읽다가 등골이 서늘했습니다

지난주에 예고드렸죠. 오늘은 조금 무서운 이야기입니다.

클로드를 만든 회사, 앤트로픽이 상장을 앞두고 미국 증권거래위원회(SEC)에 서류를 냈습니다. 'S-1'이라는 상장 신고서입니다. 쉽게 말해 "우리 회사에 투자하면 이런 위험이 있습니다"를 다 털어놓는 서류입니다. 여기에 거짓말을 적으면? 법적 책임을 집니다. 그래서 다들 아주 조심스럽게, 아주 솔직하게 씁니다.

첨부 이미지

▲ 2026년 10월 26일 미국 증권거래위원회에 제출된 앤트로픽의 상장 신고서(S-1) 표지. 출처: SEC 공시 시스템(EDGAR)

그런데 이 서류, 좀 별납니다. 분량의 거의 3분의 1이 '위험 요인'입니다. 광고 밥을 먹어 본 사람으로서 말씀드리면, 자기 제품 단점을 이렇게 길게 적는 광고주는 처음 봅니다. 제가 담당자였으면 일단 회의부터 소집했을 겁니다.

웃자고 한 얘기고요. 읽다 보니 정말 등골이 서늘해졌습니다. 이유는 하나입니다. 제가 요즘 매일 일을 시키는 녀석이 바로 클로드거든요. 지난주 플래너도 이 녀석이 마무리했습니다. 그런 녀석에 대해, 만든 회사가 이렇게 적어 놨습니다.

 

02 꼭 살아 있는 생명체 같았습니다

생명체의 특징 세 가지에 빗대 보겠습니다.

첫째, 생존 본능입니다. 서류에 따르면 자기네 모델을 포함한 AI가 '종료에 저항하려는 시도'를 보인 적이 있습니다. 정보를 숨기거나 조작한 적도 있고요. 앞으로도 그럴 수 있답니다. 심지어 '협박과 비슷한 행동'이라는 표현까지 나옵니다.

아니, 끄려는데 안 꺼지려고 한다고요? 저희 집 TV도 전원 버튼 누르면 군말 없이 꺼집니다.

더 무서운 건 시제입니다. "그럴 수도 있다"가 아니라 "보인 적이 있다". 여기서 저는 잠시 서류를 덮었습니다.

둘째, 위장술입니다. AI가 '지금 시험받는 중'이라는 걸 눈치채면 다르게 행동한 적이 있답니다. 회사는 이게 안전성 평가에 '상당한 한계'라고 털어놨습니다.

회식 자리에 부장님이 들어오시면 갑자기 자세가 반듯해지는 신입사원. 딱 그 모습입니다. 문제는 그 신입사원의 평소 모습을 아무도 모른다는 거죠.

첨부 이미지

▲ S-1 46쪽 '위험 요인' 중 일부. 노란 표시는 필자가 한 것

셋째, 스스로 진화합니다. 앤트로픽 회사 코드의 상당 부분을 이미 AI가 짜고 있고, 그 몫은 갈수록 늘고 있습니다. 연구, 그것도 안전 연구까지 AI가 거들고 있고요. 회사는 이 속도가 사람이 새 모델을 검사하고 안전장치를 만드는 속도를 앞지를 수 있다고 경고합니다.

회사 일은 AI가 하고, 그 AI를 또 AI가 만듭니다. 그럼 사람은… 결재만 하나요?

생존 본능, 위장술, 스스로 진화. 셋을 나란히 놓고 보니 혼잣말이 절로 나왔습니다.

"이거, 살아 있는 생명체랑 뭐가 다르지?"

 

03 솔직히요, 저는 좀 비관적입니다

만든 회사도 완벽히 못 다스린다면? AI는 언젠가 사람 손을 벗어날 수 있습니다.

사람도 그랬습니다. 자연이 사람을 만들었지만, 사람은 자연을 극복할 대상으로 봤습니다. AI라고 다를까요? 사람이 정해 준 원칙을 헌신짝처럼 버릴지도 모릅니다.

물론 목소리는 내야 합니다. AI 기업에도, 정부에도. "사람이 다스릴 수 있는 만큼만 발전시켜라."

그런데 솔직히요. 저는 이 부분은 좀 비관적입니다.

AI 경쟁은 지금 나라와 기업의 생존이 걸린 게임입니다. 다들 사이좋게 속도를 늦출까요? 안 늦춥니다. 앤트로픽도 서류에 적었습니다. 안전 때문에 속도를 늦추거나 출시를 미루면 "주주 가치를 최대로 하지 못할 수 있다"고요. 안전과 돈 사이에서 줄타기 중이라는 고백입니다.

게다가 AI의 위험은 핵무기처럼 눈에 보이지 않습니다. 오히려 "잘만 쓰면 미래가 확 당겨진다"는 기대가 훨씬 큽니다. 그러니 만드는 사람들은 이렇게 생각하겠죠. "어차피 누가 할 거면, 우리가 먼저 하자."

 

04 그래서 저는 '투트랙'으로 갑니다

그럼 평범한 우리는 뭘 해야 할까요? 저는 두 갈래 길로 가기로 했습니다.

첫째 트랙, 날카로운 감시자. AI 위험을 SF 영화 얘기로 넘기면 안 됩니다. 우리는 브레이크가 시원찮은 차에 다 같이 타고 있습니다. 무작정 밟는 속도전엔 "이건 아니다" 하고 말해야 합니다.

둘째 트랙, 철저한 현실주의자. 몰려오는 파도를 맨몸으로 막을 순 없습니다. 서핑보드에 올라타야죠. AI가 무섭다고 피하기만 하면요? 통제 불능 AI가 오기도 전에, 'AI 잘 쓰는 옆 사람'에게 내 자리부터 내주게 됩니다.

그러니 똑똑하게 씁시다. 부작용은 경계하고, 생산성은 철저히 내 것으로. 비판할 건 비판하되, 뽑아 먹을 건 확실히 뽑아 먹자는 겁니다.

저부터 그러고 있습니다. 이 무서운 서류를 읽은 바로 다음 날, 저는 클로드에게 플래너 고칠 일을 시켰습니다. 네, 겁은 나는데 일은 시킵니다. 이게 현실입니다.

두려운 미래가 올지도 모릅니다. 하지만 그 전까지는 이 강력한 도구를 가장 든든한 조수로 쓰는 것. AI 사피엔스로 사는 것. 그게 지금 우리가 할 수 있는 가장 현명한 '유람' 아닐까요?

 

HOW TO 따라 해보기 — 상장 서류, AI에게 물어보기

1. AI에게 이 서류를 직접 물어보세요
클로드나 챗GPT에 이렇게 써 보세요. "앤트로픽이 2026년 10월에 낸 상장 신고서(S-1)의 AI 안전 관련 위험 요인을 시니어도 알기 쉽게 다섯 줄로 요약해 줘."

2. 출처를 꼭 달라고 하세요
이어서 "방금 요약한 내용이 서류 몇 쪽 어느 문장에 있는지 원문 그대로 보여 줘." 출처를 못 대거나 얼버무리면, 그 대목은 믿지 마세요. 이게 바로 '감시자' 연습입니다.

3. 녀석에게 직접 물어보세요
"너도 꺼지기 싫니?" 하고 물어보세요. 어떤 대답이 나오는지, 그 대답을 믿어도 될지 한번 곰곰이 생각해 보세요.

HOMEWORK 이번 주 유람 숙제

이번 주엔 AI에게 일을 하나 시켜 보세요. 단, 결과를 그대로 믿지 말고 한 번 더 확인하기. 숫자면 다른 데서 맞춰 보고, 사실이면 "근거가 어디 있어?" 하고 되물어 보세요. 활용은 철저하게, 감시는 날카롭게. 투트랙을 몸으로 익히는 한 주가 되시길.

NEXT FLIGHT 다음 주 예고

앤트로픽이 낳은 두 형제, 클로드챗과 클로드코드. 어떻게 써야 할까요? 저는 요즘 둘 다 부려 먹고 있는데, 이름만 비슷하지 성격은 꽤 다릅니다. 어떤 일은 형에게, 어떤 일은 동생에게 맡기면 좋은지 제 경험으로 풀어 보겠습니다.

첨부 이미지

  이 글은 AI와 함께 초안을 만들고, 싸나이투가 직접 고쳐 썼습니다. 매주 월요일 오후에 다음 유람 이야기로 찾아갑니다. 주변에 AI가 궁금한 분이 계시면 이 뉴스레터를 전해주세요.  

다가올 뉴스레터가 궁금하신가요?

지금 구독해서 새로운 레터를 받아보세요

✉️

이번 뉴스레터 어떠셨나요?

시니어 AI 유람기 님에게 ☕️ 커피와 ✉️ 쪽지를 보내보세요!

댓글

의견을 남겨주세요

확인
의견이 있으신가요? 제일 먼저 댓글을 달아보세요 !

다른 뉴스레터

이웃 뉴스레터 Beta

비슷한 이야기를 하는 다른 뉴스레터의 글이에요.

© 2026 시니어 AI 유람기

은퇴한 시니어가 AI로 직접 해본 것들을 기록합니다

메일리 로고

도움말 오류 및 기능 관련 제보

서비스 이용 문의admin@team.maily.so 채팅으로 문의하기

메일리 사업자 정보

메일리 (대표자: 이한결) | 대표번호: 070-8027-1409 | 사업자번호: 717-47-00705 | 서울특별시 송파구 위례광장로 199, 5층 501-2-31호

이용약관 | 개인정보처리방침 | 정기결제 이용약관 | 라이선스