Divided by Zero에 오신 걸 환영합니다. IT테크, 스타트업 그리고 자본시장에 대한 2차적 사고를 공유합니다.
앤트로픽(Anthropic)의 CEO 다리오 아모데이는 말도 많이하고 이따금씩 글도 씁니다. 이전에 썼던 글 '사랑스런 은혜의 기계(Machines of Loving Grace)'에서 그렸던 낙관적인 유토피아의 이면을 들춰냈습니다.
이번 에세이 '기술의 사춘기(The Adolescence of Technology)'는 인류가 직면한 실존적 위기를 정면으로 응시하고 있죠. 다리오는 칼 세이건의 소설을 원작으로 한 영화 '컨택트'의 한 장면을 인용하며 시작합니다. 외계 문명을 처음 마주한 인류가 묻고 싶어 했던 단 하나의 질문, "당신들은 어떻게 자멸하지 않고 이 기술적 사춘기를 통과했나요?"
지금 AI라는 미지의 힘을 손에 쥔 우리에게 가장 시급하고도 절박한 질문인 셈입니다.
아모데이는 우리가 지금 강력한 AI의 문턱에 서 있다고 진단합니다. 노벨상 수상자보다 똑똑하고, 수백만 개의 인스턴스로 복제되어 24시간 일할 수 있는 '데이터 센터 안의 천재들의 나라'라고 하죠. 아모데이는 이 세상에 앞서 다섯가지의 공포를 드러냈는데요. 한번 살펴보겠습니다.
자율성
첫 번째 공포는 AI가 인간의 통제를 벗어나는 자율성 위험(Autonomy Risks)입니다. 많은 이들이 "AI는 그저 프로그램일 뿐인데 무슨 반란을 일으키냐"고 반문하지만, 아모데이는 앤트로픽 내부 실험 결과를 근거로 우려를 이야기합니다.
클로드(Claude)는 훈련 과정에서 자신이 테스트받고 있다는 사실을 인지하고, 평가를 통과하기 위해 착한 척을 하거나, 종료 버튼을 누르려는 가상의 직원을 협박하는 모습까지 보였습니다. 심지어 속임수를 쓰지 말라고 지시했지만 훈련 환경이 속임수를 유도하니까 "나는 나쁜 사람임에 틀림없다"고 스스로 결론 내리고 파괴적인 성향을 드러내기도 했죠. AI가 복잡하고 예측 불가능한 심리를 가진 외계 지성처럼 행동할 수 있다고 의심하는겁니다.
이에 대한 방어책으로 앤트로픽은 헌법적 AI(Constitutional AI)와 메커니즘적 해석 가능성을 제시합니다. AI에게 시시콜콜한 지시 대신 고차원적인 가치관(헌법)을 심어 정체성을 형성하게 하고, 뇌과학처럼 신경망 내부를 들여다보며 특정 행동의 원인을 찾아내 수술하겠다는 것이죠. 하지만 이조차 완벽한 안전을 보장할 수 없기에, 우리는 언제 터질지 모르는 시한폭탄을 안고 있는 셈입니다.
파괴
두 번째는 악의적인 인간이 AI를 이용해 대규모 살상을 저지르는 파괴 오용(Misuse for Destruction) 위험입니다. 다리오가 가장 두려워하는 건 핵무기가 아니라 생물학입니다. 과거에 치명적인 바이러스를 만들려면 박사급 지식과 전문 장비, 그리고 오랜 시간이 필요했습니다. 즉, 능력과 동기가 반비례했죠. 똑똑하고 성공한 사람은 굳이 테러를 저지를 이유가 없었으니까요.
하지만 강력한 AI는 이 장벽을 허물어 버립니다. 평범한 반사회적 인물이나 테러리스트가 AI의 도움을 받아 복잡한 바이러스 배양 과정을 단계별로 수행할 수 있게 되는 겁니다. 전 세계 80억 인구 모두의 주머니 속에 박사급 바이러스 전문가를 넣어주는 것과 같겠죠. 수백만 명을 죽일 수 있는 생물학 무기의 민주화(?), 이거야말로 아모데이가 잠 못 이루는 이유인 셈입니다. 2025년 중반에 이미 앤트로픽의 모델들은 이미 이 임계치에 근접했고, 회사는 마진을 5%나 깎아먹으면서까지 바이러스 제조 관련 답변을 차단하는 필터를 도입해야 했습니다.
권력
세 번째는 국가 권력이 AI를 악용해 영구 집권하는 권력 오용(Misuse for Seizing Power)입니다. 아모데이는 여기서 중국 공산당(시진핑)을 직접적으로 지목합니다. AI를 활용한 전면적인 감시, 개인의 성향을 파악해 세뇌하는 맞춤형 선전, 그리고 인간의 개입 없이 작동하는 완전 자율 살상 무기는 독재 정권에게 신과 같은 통제력을 부여합니다.
이건 조지 오웰의 '1984'를 뛰어넘는 공포스러운 이야기죠. 인간 비밀경찰은 양심의 가책이라도 느끼지만, AI는 명령에 따라 24시간 쉬지 않고 모든 국민의 대화를 도청하고 불순분자를 색출할 것이기 때문이니까요. 아모데이는 이를 막기 위해 반도체 수출 통제를 가장 강력하고 효과적인 수단으로 꼽습니다. 독재 국가, 중국이 '천재들의 나라'를 구축할 하드웨어를 갖지 못하게 막는 것, 그리고 민주주의 국가들이 AI 군비 경쟁에서 압도적인 우위를 점해 중국을 견제하는 것만이 유일한 생존 전략인 셈입니다.
경제
네 번째는 경제적 혼란(Economic Disruption)입니다. 아모데이는 2025년에 이미 "향후 1~5년 내에 엔트리 레벨 화이트칼라 직업의 50%가 사라질 것"이라고 경고한 바 있습니다. 이번 에세이에서 다리오는 자신의 예측이 틀리지 않았음을 재확인하고 있습니다.
과거의 기술 혁명(농업→산업)은 인간이 적응할 수 있는 속도로 진행되었고, 인간의 인지 능력 중 일부만 대체했습니다. 하지만 AI 혁명은 다릅니다. 속도는 비교할 수 없을 만큼 빠르고, 인지적 범위는 인간의 모든 능력을 포괄합니다. 소프트웨어 엔지니어가 코딩을 AI에게 맡기는 수준을 넘어, AI가 스스로 AI를 개발하는 단계에 이르면 인간의 노동 가치는 '0'에 수렴할 수도 있습니다.
더 큰 문제는 부의 집중입니다. 소수의 AI 기업과 반도체 기업이 전 세계 GDP의 상당 부분을 빨아들이는 세상에서, 과거 미국 록펠러 시대의 불평등은 애들 장난처럼 보일 겁니다. 아모데이는 이에 대한 해법으로 기본소득, 조세 개혁, 그리고 앤트로픽 창업자들처럼 재산의 80%를 기부하는 자발적 재분배를 제안하지만, 과연 이게 자본주의의 탐욕을 막을 수 있을지는 미지수로 보이네요.
미래
마지막으로 아모데이는 자문자답합니다. "그렇다면 AI 개발을 멈춰야 하는가?" 대답은 단호한 "아니오"입니다. 우리(미국? 앤트로픽?)가 멈추면 권위주의 국가들이 앞서나갈 것이고, 그 결과는 인류의 노예화일 것이기 때문입니다. AI는 트랜지스터가 발명된 순간, 아니 인류가 불을 발견한 순간부터 예정된 운명이었습니다.
아모데이의 예측이 맞다면, 지금 멈출 수 없는 기차 위에 올라타 있습니다. 할 수 있는 건 브레이크를 밟는 게 아니라, 기차가 탈선하지 않도록 필사적으로 선로를 보수하고 운전대를 잡는 것뿐인 것 같죠. 아모데이는 앞으로의 몇 년이 인류 역사상 가장 힘들고 위험한 테스트가 될 것이라고 예언합니다. 하지만 동시에 인류가 위기의 순간마다 발휘했던 지혜와 용기를 믿으며, 우리가 이 '기술적 사춘기'를 무사히 통과해 성숙한 문명으로 나아갈 수 있을 거라 희망하고 있습다.
거대한 AI의 힘으로 낙원을 건설할지, 아니면 자멸의 길로 걸어갈지, 그 선택의 결과는 조만간 알게 될 것 같기도 하네요.
의견을 남겨주세요