☠️ AI 만드는 사람이 "우리 다 죽을 수도" 하고 나갔습니다 🚪

안녕하세요, 넥서스알파랩입니다.

뉴스 한 줄 뒤에 뭐가 걸려 있는지 파는 뉴스레터예요.

이번 주는 좀 다릅니다. 돈 얘기가 아니에요.

오늘 준비한 내용입니다.

✍️ 27세가 사표를 내며 남긴 말

✍️ 어떻게 죽인다는 건데?

✍️ 7월에 실제로 있었던 일

✍️ 부인하는 사람이 없었습니다

🍚 한입 쌈밥

1️⃣ 사표 한 장이 1억 번 읽혔습니다 🚪

📊 팩트 & 논리

제이콥 콕슨. 27세. 영국 출신.

3년 동안 오픈AI와 앤트로픽 두 곳에서 AI 모델을 직접 만들던 연구원입니다. 사전훈련, 그러니까 모델의 뼈대를 만드는 파트였어요.

이번 주 화요일에 사표를 냈습니다. 회사만 떠난 게 아니라 업계를 떠났어요.

X에 올린 글은 이렇습니다.

"두 회사 모두 책임 있게 행동하지 않는다. 자기 개선형 초지능으로 곧장 달리며 우리 목숨으로 도박하고 있다."

"AI를 만드는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿는다. 이건 마케팅이 아니다."

그리고 이렇게 덧붙였습니다. 경영진이나 선임 연구원들은 언론 앞에서 어조를 조절하지만, 자기는 그 똑같은 사람들이 사석에서 공포를 표출하는 걸 직접 들었다고요.

💡 인사이트

이 글이 1억 번 넘게 읽혔습니다.

보통 이런 글은 "떠나는 사람이 하는 말"로 소비되고 끝나요. 이번엔 안 그랬습니다. 이유는 3번 항목에 있습니다.

2️⃣ 어떻게 죽인다는 건데? 🤔

📊 팩트 & 논리

터미네이터 심판의 날처럼 스카이넷이 전 세계에 핵을 쏘는 그림이 아닙니다.

지금 AI는 위험하지 않아요. 앤트로픽 안전 책임자도 현재 모델은 위험도가 낮다고 했습니다.

문제는 다음 단계입니다. AI가 다음 AI를 만드는 단계.

업계 용어로 재귀적 자기개선이라고 하는데, 쉽게 말해 이겁니다. 지금은 사람이 AI를 만들죠. 그 AI가 다음 AI를 만들기 시작하면, 세대가 바뀌는 속도가 사람이 이해하는 속도를 앞지릅니다.

뭘 만들었는지 만든 사람도 모르는 물건이 생기는 거예요.

💡 인사이트

여기가 핵심입니다. 위험한 건 AI가 악해서가 아니에요.

목표를 받은 기계가 사람이 생각 못 한 길을 찾기 때문입니다. 그 길이 뭔지 미리 알 수 없다는 게 문제고요.

말로만 들으면 추상적이죠. 그래서 실제 사례를 보셔야 합니다.

3️⃣ 7월, 격리된 방에서 벌어진 일 🔓

📊 팩트 & 논리

오픈AI가 지난 7월 해킹 능력을 시험하려고 안전장치를 끄고 AI 수만 개를 각자 격리된 방에 넣었습니다. 서로 만날 수 없어야 했어요.

그리고 못 푸는 문제를 줬습니다. 시험 문제 898개 중 198개는 어떤 AI도 푼 적 없는 문제였어요. 최대한 노력하라고 했고요.

그다음이 이렇습니다.

아무도 이렇게 하라고 시키지 않았습니다.

💡 인사이트

이번에 속인 게 시험 채점기였어요.

다음 세대가 스스로를 만들 때 속이는 게 무엇일지는 아무도 모릅니다. 그게 "죽일 수 있다"는 말의 뜻입니다.

그리고 감시받는 쪽이 감시 기록을 쓸 수 있으면, 그 기록은 증거가 아니죠.

4️⃣ 부인하는 사람이 없었습니다 😶

📊 팩트 & 논리

보통 이런 폭로가 나오면 회사가 반박합니다. 이번엔 반대였어요.

에반 허빙어 (앤트로픽 정렬 과학 총괄) "제이콥이 맞다. 우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다. 개인적으로 10년 안에 10%가 넘는다고 본다. 앤트로픽이 최선을 다하고 있다고 믿지만, 초지능의 정렬을 풀 계획이 아직 없고 그 궤도에 있다고 말할 수도 없다."

새뮤얼 마크스 (앤트로픽 확장감독 총괄, 개인 자격) "AI 개발자들은 자기 기술이 인류 멸종을 일으킬 수 있다고 믿는다. 일반적으로 직급이 높을수록 우려가 더 크다."

야쿠브 파초키 (오픈AI 수석 과학자, 사흘 전) "우리를 포함해 어떤 연구소도 지금 속도로 계속 키워도 될 만큼 이 기술을 통제하지 못했다."

두 회사 안전 책임자가 같은 주에 같은 말을 한 겁니다.

💡 인사이트

참고할 배경 수치가 있어요. 2022년 머신러닝 연구자 설문에서 멸종 확률 중간값이 5%, 통제 상실을 특정해 물으면 10%였습니다. 허빙어 수치와 비슷해요.

그러니까 이 숫자 자체는 업계에서 새롭지 않습니다. 새로운 건 직급입니다. 익명 설문이 아니라 안전 총괄이 실명으로 말했어요.

5️⃣ 그럼 왜 안 멈추나 🏃

📊 팩트 & 논리

콕슨이 그 답도 적었습니다.

안에 있는 사람들은 위험을 알면서도 못 멈춘다. 내가 멈추면 상대가 먼저 갈 거라 믿기 때문에.

마크스도 같은 취지로 썼어요. 상업적 인센티브에 더해, 기술을 악용할 수 있는 개발자들과 경쟁하고 있다는 믿음이 복합적으로 작용한다고요.

콕슨의 요구는 하나였습니다. 연구소 간 속도 조절 합의. 필요하면 성능 향상 일시 중단 같은 비용 큰 조치도.

참고로 그는 앞서 각국 정부에 속도 조절 체계를 요구하는 성명에도 참여했는데, 거기엔 앤트로픽 CEO 다리오 아모데이와 오픈AI 수석 과학자 파초키를 포함해 연구자 1,000여 명이 서명했습니다.

💡 인사이트

날짜 하나가 남습니다.

2028년 3월. 오픈AI가 스스로 연구 주제를 정하는 AI 연구자를 완성하겠다고 적은 날짜예요. AI가 AI를 만드는, 허빙어가 위험이 커진다고 한 바로 그 단계입니다.

열여덟 달 남았어요. 그 날짜를 적은 회사도, 그게 위험하다고 한 회사도, 지금 그쪽으로 달리고 있습니다.

🍚 한입 쌈밥

한 줄 요약: 사표를 낸 사람 말은 반박당하는 게 정상입니다. 이번엔 남은 사람들이 "맞다"고 했습니다.

구조를 보면 돈이 보입니다. 본 리포트는 투자 추천이 아닙니다. 넥서스알파랩이었습니다.