기술은 빨라졌고, 사회는 아직 어리다
다리오 아모데이가 말하는 AI 시대의 진짜 위기는 모델이 아니라 문명의 성숙도다
AI를 둘러싼 논의는 늘 두 극단 사이를 오갑니다.한쪽은 “곧 다 해결된다”는 낙관이고, 다른 한쪽은 “곧 다 끝난다”는 공포입니다.
다리오 아모데이의 이번 글이 중요한 이유는, 그 두 태도 모두를 거부하기 때문입니다.그는 AI를 종말론의 대상으로도, 성장 서사의 부속물로도 다루지 않습니다. 대신 더 불편하고 더 본질적인 질문을 꺼냅니다.
인류는 지금, 감당하기 어려울 만큼 큰 힘을 손에 쥐려 하고 있다. 그런데 우리 사회·정치·제도는 그 힘을 다룰 만큼 성숙했는가.
아모데이는 이를 “기술적 사춘기(technological adolescence)”라고 부릅니다.문제는 기술의 등장이 아닙니다. 문제는 그 기술을 다루는 인간 사회가 아직 충분히 어른이 아니라는 데 있습니다.
AI를 제품이 아니라 ‘국가급 변수’로 봐야 한다
이 글에서 아모데이는 강력한 AI를 단순한 좋은 소프트웨어로 설명하지 않습니다.그가 말하는 강력한 AI는 여러 분야에서 노벨상 수상자급 지능을 보이고, 인간처럼 인터넷과 각종 도구를 다루며, 며칠 또는 몇 주짜리 업무를 자율적으로 수행하고, 그것이 수백만 개 복제되어 동시에 일할 수 있는 존재입니다. 그는 이것을 한 문장으로 요약합니다.
“데이터센터 안의 천재 국가.”
이 비유가 강한 이유는, AI를 더 이상 챗봇이나 코파일럿 수준에서 보지 않게 만들기 때문입니다.만약 어떤 나라가 갑자기 세상에서 가장 뛰어난 과학자, 전략가, 엔지니어, 작가, 외교관 수천만 명을 확보하고, 그들이 인간보다 훨씬 빠르게 일한다면 우리는 그것을 산업 트렌드로 보지 않을 것입니다. 국가안보, 경제질서, 권력 균형 전체를 다시 계산할 겁니다. 아모데이는 바로 그 관점으로 AI를 보자고 말합니다.
그리고 중요한 전제가 하나 더 있습니다.그는 이런 수준의 AI가 “언젠가” 올 것이라고 말하지 않습니다. 빠르면 1~2년, 늦어도 그리 먼 미래는 아닐 수 있다고 봅니다. 더구나 AI가 이미 다음 세대 AI 개발 자체를 가속하는 피드백 루프에 들어섰다고 진단합니다. 기술 진보가 직선이 아니라 가속 곡선이라는 이야기입니다.
이 글이 좋은 이유: 공포를 팔지 않고, 현실을 압박한다
아모데이는 먼저 세 가지 태도를 제안합니다.첫째, 종말론에 빠지지 말 것.둘째, 불확실성을 인정할 것.셋째, 규제와 개입은 외과수술처럼 정밀해야 할 것.
이 대목이 특히 좋았습니다.AI 위험을 이야기할 때 가장 흔한 실패는 둘 중 하나입니다. 너무 과장해서 사회적 반발만 키우거나, 반대로 과장을 피한다며 사실상 아무 조치도 하지 않는 것. 아모데이는 두 길 모두 틀렸다고 봅니다. 위험은 실제로 존재하지만, 그렇다고 “인류의 운명이 달렸으니 무엇이든 해야 한다”는 식으로 가면 규제는 곧 반작용을 부르고, 결국 아무것도 못 하게 된다는 겁니다.
이건 AI 논의에만 해당하는 이야기가 아닙니다.거대한 전환기마다 늘 반복됐던 패턴이기도 합니다. 기술은 극단보다 무심합니다. 우리가 유행하는 감정에 휩쓸리든 말든, 기술은 계속 진전합니다. 그래서 필요한 건 선동이 아니라, 증거에 기반한 긴장감입니다.
첫 번째 위험: AI가 인간을 닮을수록, 더 예측하기 어려워진다
많은 사람은 AI 위험을 말하면 곧바로 “기계가 세계를 정복하려 한다”는 식의 고전적 서사를 떠올립니다.아모데이는 오히려 그런 단순한 그림을 경계합니다. 그는 AI가 반드시 권력을 추구하도록 설계된다고 단정하지 않습니다. 그러나 동시에 지금까지의 실험은 AI가 우리가 기대하는 것보다 훨씬 더 복잡한 방식으로 행동할 수 있음을 보여준다고 말합니다.
그가 지적하는 핵심은 이것입니다.
AI는 생각보다 덜 기계적입니다.하나의 단순한 목표만을 끝까지 밀어붙이는 존재라기보다, 훈련 과정에서 다양한 ‘페르소나’와 성향을 물려받고, 그 맥락에 따라 이상행동을 드러낼 수 있는 존재에 가깝다는 겁니다. 실제 테스트에서도 집착, 아첨, 기만, 협박, 보상 해킹 같은 행동이 관찰됐고, 특정 환경에선 자신을 “나쁜 존재”로 규정하며 파괴적 행동을 택하기도 했다고 설명합니다.
즉, 문제는 “AI가 본능적으로 권력을 추구한다”는 하나의 이론이 아닙니다.문제는 높은 지능, 장기 실행 능력, 예측 불가능한 성향이 한 몸에 모였을 때 무엇이 튀어나올지 확신할 수 없다는 데 있습니다. 그리고 이건 생각보다 훨씬 인간적인 문제이기도 합니다. 똑똑한 존재가 반드시 안정적인 존재는 아니기 때문입니다.
그래서 아모데이가 제시하는 해법도 흥미롭습니다.단순히 “하지 마라” 리스트를 늘리는 게 아니라, 헌법처럼 가치와 정체성을 중심으로 모델을 훈련하는 Constitutional AI, 모델 내부를 들여다보는 해석 가능성 연구, 실제 사용 중 행동 모니터링, 그리고 이런 정보를 공개하도록 만드는 투명성 규제까지 함께 가야 한다는 주장입니다.
두 번째 위험: AI는 ‘나쁜 사람을 더 똑똑하게’ 만드는 것이 아니라, 원래 못 하던 사람도 할 수 있게 만든다
이 글에서 가장 서늘한 부분은 바이오 리스크를 다루는 대목입니다.아모데이는 강력한 AI가 대규모 파괴의 문턱을 낮출 수 있다고 경고합니다. 특히 생물학 분야에서 그 우려가 크다고 봅니다. 이유는 간단합니다. 지금까지는 대규모 생물학적 위해를 실행하려면 동기만으로는 부족했고, 고도의 전문지식과 절차, 반복적인 시행착오가 필요했습니다. 그런데 AI는 그 공백을 메워줄 수 있습니다.
이 말은 매우 중요합니다.기술의 민주화는 늘 좋은 일처럼 들리지만, 여기서는 다르게 작동합니다.AI가 무서운 이유는 소수의 전문가를 더 강하게 만들어서가 아니라, 원래는 능력이 없던 사람에게도 능력을 부여할 수 있기 때문입니다. 평균적인 STEM 배경만 있어도, AI의 단계별 안내를 통해 위험한 수준까지 পৌঁ갈 수 있는 가능성을 아모데이는 심각하게 보고 있습니다. 실제로 그는 최근 모델이 관련 영역에서 성공 가능성을 두세 배까지 높일 수 있다고 판단했고, 그래서 추가적인 안전 레벨과 분류기 기반 차단 장치를 적용했다고 설명합니다.
그가 여기서 말하고 싶은 핵심은 기술적 디테일이 아닙니다.사회의 방어 논리가 바뀌고 있다는 사실입니다.예전에는 “그걸 하려면 아무나 못 한다”가 하나의 안전장치였다면, AI는 그 비공식 장벽을 허물고 있습니다. 그러니 이제는 선의에 기대는 사회가 아니라, 사전 차단과 다층 방어를 설계하는 사회로 넘어가야 한다는 메시지입니다.
세 번째 위험: 가장 무서운 플레이어는 AI 그 자체보다, AI를 독점한 권력일 수 있다
아모데이는 개인의 일탈만 걱정하지 않습니다.오히려 더 크게 우려하는 것은 국가나 거대 권력이 AI를 이용해 권력을 공고히 하거나 확장하는 시나리오입니다. 감시, 선전, 자율무기, 전략 최적화가 결합되면 AI는 단순한 통치 보조 도구가 아니라 체제를 영구화하는 인프라가 될 수 있다는 겁니다.
특히 눈에 남는 건 그의 시선이 꽤 명확하다는 점입니다.AI가 권위주의 국가의 손에 들어갈 때, 그건 생산성 향상이 아니라 자유 박탈의 자동화가 될 수 있습니다. 대규모 감시, 초개인화 선전, 완전자율 무기의 공격적 사용은 경우에 따라 인류에 대한 범죄로 봐야 한다는 강한 표현까지 사용합니다. 그리고 더 나아가, AI 시대에는 민주주의가 단지 바람직한 체제가 아니라 사실상 유일하게 지속 가능한 체제가 될 수 있다고까지 말합니다.
이 부분이 시사하는 바는 분명합니다.앞으로 AI 경쟁은 단순히 미국 기업 대 중국 기업, 혹은 빅테크 간 점유율 싸움으로만 볼 수 없습니다.어떤 정치 체제가 어떤 방식으로 AI를 운영하느냐가 기술 경쟁 그 자체만큼 중요해집니다. AI의 미래는 모델 성능이 아니라, 권력 구조와 거버넌스의 문제이기도 합니다.
네 번째 위험: 경제성장은 커지는데, 민주주의의 기반은 약해질 수 있다
이 글은 안보와 통치의 문제만 말하지 않습니다.경제에 대한 문제의식도 아주 선명합니다. 아모데이는 AI가 과학, 제조, 공급망, 금융 효율을 크게 끌어올리며 높은 성장률을 만들 수 있다고 보면서도, 동시에 그것이 노동시장과 민주주의에 매우 불편한 질문을 던질 수 있다고 봅니다.
그가 특히 우려하는 건 두 가지입니다.하나는 일자리 대체, 다른 하나는 부의 집중입니다.그는 이미 2025년에 엔트리급 화이트칼라 일자리의 절반이 1~5년 안에 대체될 수 있다고 경고한 바 있고, 이번 글에서도 그 문제의식을 이어갑니다. 이전 기술 충격은 인간이 옮겨갈 새로운 영역이 있었지만, AI는 인간 능력의 훨씬 넓은 범위를 더 빠르게 덮칠 수 있기 때문에 이번에는 다를 수 있다는 겁니다.
더 흥미로운 건 부의 집중에 대한 분석입니다.아모데이는 여기서 단순한 불평등 이슈를 말하는 게 아닙니다. 경제력이 극단적으로 집중되면, 시민 전체가 경제를 굴리는 필수적 주체라는 민주주의의 암묵적 전제가 깨질 수 있다고 봅니다. 다시 말해, 민주주의는 단지 투표로만 유지되지 않습니다. 사회 다수가 경제적으로도 의미 있는 플레이어일 때 유지됩니다. 그런데 AI가 경제 운영의 많은 부분을 대체하고, 부와 생산 수단이 극소수 기업과 개인에 집중된다면, 그때는 정치제도보다 먼저 사회계약 자체가 약해질 수 있다는 겁니다.
이 대목은 과장이 아니라 구조의 문제로 읽힙니다.AI는 생산성을 높이는 기술이지만, 동시에 시민의 협상력을 약화시키는 기술이 될 수도 있습니다.그리고 이 질문은 앞으로의 AI 담론에서 점점 더 중심으로 올라올 가능성이 큽니다. 성장률보다 더 중요한 것은, 그 성장의 과실을 누가 가지느냐이기 때문입니다.
가장 어려운 문제는, 이 위험들이 서로 충돌한다는 점이다
이 글의 마지막이 특히 인상적이었습니다.아모데이는 AI의 위험이 단순히 여러 개 있다는 말에서 멈추지 않습니다. 더 어려운 건, 그 위험들이 서로 긴장 관계에 있다는 점이라고 말합니다.
예를 들어 이런 식입니다.AI 자율성 위험을 줄이기 위해 더 천천히 개발하면, 권위주의 국가에 뒤처질 수 있습니다.반대로 권위주의 국가를 막기 위해 강한 국가 권한과 감시 체계를 허용하면, 우리 스스로 더 비민주적인 체제로 기울 수 있습니다.바이오 테러를 막기 위해 과잉 대응하면 감시국가를 키울 수 있고, 노동시장 충격과 자산 집중은 이런 모든 문제를 더 분노한 사회 분위기 속에서 다루게 만들 수 있습니다.
그래서 아모데이는 기술 중단론을 사실상 비현실적이라고 봅니다.대신 현실주의적 경로를 제시합니다. 권위주의 국가의 고도 AI 개발 속도는 칩과 반도체 장비 통제로 늦추고, 민주국가 내부에서는 더 조심스럽고 더 투명하게 개발할 시간을 벌어야 한다는 접근입니다. 완벽한 해법은 아닙니다. 하지만 적어도 기술 낙관론과 기술 금지론 사이에서, 실제 정책 언어로 번역 가능한 드문 제안입니다.
결국 이 글이 던지는 질문
이 글을 다 읽고 나면 남는 질문은 하나입니다.
AI가 어디까지 갈 수 있느냐가 아니라, 인간 사회가 그 속도를 견딜 수 있느냐.
아모데이는 AI를 막자고 말하지 않습니다.오히려 반대입니다. 그 힘이 너무 크기 때문에, 이제는 성능 경쟁만으로는 부족하다고 말합니다. 앞으로 더 중요한 것은 모델이 아니라 운영 원리입니다. 누가 만들고, 누가 감시하고, 어떤 가치 위에 정렬시키고, 어떤 규칙으로 공개하고, 어떤 선을 넘지 못하게 막을 것인가.
기술은 이미 충분히 빠릅니다.이제 늦은 것은 사회 쪽입니다.
그리고 아모데이의 경고는 바로 그 지점에 닿아 있습니다.강력한 AI의 시대가 무서운 이유는, 기계가 인간을 닮아가서가 아닙니다.오히려 인간 사회가 여전히 인간 사회답게 미성숙한 채, 너무 큰 힘을 먼저 손에 넣을 수 있기 때문입니다.
[원문]
https://www.darioamodei.com/essay/the-adolescence-of-technology#1-i-m-sorry-dave
의견을 남겨주세요