2027년, AGI가 온다 - 3편 "프로젝트" feat. 샘 올트먼을 축출한 이유 | 데이터센터, 천연가스, 스파이전

안녕하세요, 구독자님 언타랩스입니다. 아셴브레너의 AGI 이야기, 그 마지막 편입니다.

중요 내용으로 요약하느라 자세한 내용은 옮기지 못했는데, 관심있는 부분은 원문을 찾아보시면 좋을 것 같습니다. 저자가 굉장히 자세한 근거 자료과 출처를 명시해 놓아 따라가며 공부할 수 있습니다.

이번 뉴스레터도 구독자님께 비즈니스와 투자 인사이트를 전달 드리고자 노력했습니다!

🎯 TLDR;

1. 초지능 개발을 위한 거대한 투자 - AI 개발 경쟁으로 2027년에는 연간 1조 달러 이상이 AI에 투자될 것으로 예상됨. 이는 현재 엔비디아 매출의 10배에 달하는 규모로, 데이터 센터와 전력 증설에 주로 투입될 예정

2. 전력 수요 증가 - 2028년까지 10GW, 2030년대에는 100GW에 달하는 전력이 필요할 것으로 예상되며 이는 미국 전력 생산의 20% 수준. 그러나 미국은 천연가스 생산을 통해 충분한 전력을 공급할 수 있는 잠재력이 있음

3. AGI 보안의 중요성 - 현재 미국 AI 연구소들은 보안이 취약하며, 다른 국가들의 공격에 노출되어 있음. 철저한 보안 인프라 구축이 시급함

4. 초정렬 문제 - 초지능을 제어하기 위한 새로운 방법이 필요함. 기존 RLHF는 초지능에 적용되기 어려우며, AI 시스템 내부 사고 과정을 이해하기 위한 연구가 필요함

5. 국가 주도의 AGI 개발 프로젝트 - 미국 정부 주도로 국가적 차원의 프로젝트가 시작될 것.  AI 연구소, 클라우드 컴퓨팅 제공업체, 그리고 정부가 협력하여 초지능 AI 개발을 안전하게 관리하고 통제해야 함

III. 도전 과제

1. 수조 달러 단위 클러스터 투자 (&전력)

2. 실험실 보안

3. 초정렬 (제어)

4. 자유 세계의 승리 (국가간 경쟁)

1. 수조 달러 단위 클러스터 투자 (&전력)

AI의 급격한 기술 발전은 단순한 코드와 노트북 뒤에서만 일어나지 않습니다. AI 개발 경쟁은 미국의 산업 역량을 총동원하는 과정이 될 것입니다. 이는 실리콘밸리에서 최근에 본 어떤 것보다도 규모가 크고 엄청난 투자와 자본이 필요합니다.

Q. 구체적으로 어떤 규모의 투자가 이루어질까요?

A. AI 제품의 수익이 빠르게 증가하면서, 많은 자본이 GPU, 데이터 센터, 전력 증설에 투입될 것입니다. 2027년에는 AI에 대한 총 투자는 연간 1조 달러를 넘어설 것으로 예상됩니다. 2028년까지는 개별 훈련 클러스터가 수천억 달러에 달할 것이며, 이는 작은 미국 주의 전력 사용량과 맞먹을 것입니다. 2030년대에는 개별 클러스터가 1조 달러를 넘어설 것이고, 이는 미국 전체 전력 생산의 20% 이상을 필요로 할 것입니다.

코멘트 : 연간 1조 달러가 얼마나 큰 금액일까요? 현재 GPU 시장을 독점하다싶이 하는 엔비디아의 2024년 데이터센터 매출이 약 900억 달러로 예상되고 있습니다. 간단하게 비교하면 올해 엔비디아 매출의 10배 규모가 투자된다고 말하는 것과 같습니다.

Q. 가능한 숫자인가요? 너무 큰 규모인것 같습니다.

A. 믿기 ​​어려울 수 있지만, 이미 투자는 이뤄지고 있습니다.

Meta의 주커버그는 H100을 3만 5천대 구매했습니다. Amazon은 원자력 발전소 옆에 1GW 규모의 데이터 센터 캠퍼스를 구매했습니다. 소문에 따르면 쿠웨이트에 1GW, 1.4M H100과 동등한 클러스터(~2026년 클러스터)가 건설되고 있다고 합니다.

언론 보도에 따르면 Microsoft와 OpenAI는 2028년(국제 우주 정거장과 비슷한 비용!)에 예정된 1,000억 달러 규모의 클러스터를 개발 중이라는 소문이 있습니다.    

Q. 투자를 지속하기 위해서는, 실제로 AI가 돈을 벌어다줘야 할 것 같은데요. 실제로 AI를 이용해 돈을 벌고 있나요?

A. 네, AI 투자는 초기 비용이 크지만, 그에 따른 경제적 이익이 충분히 있습니다.

예를 들어, OpenAI는 2023년 8월에 10억 달러, 2024년 2월에는 20억 달러의 수익을 기록했습니다. 이는 6개월마다 약 두 배씩 증가하는 것입니다. 이러한 추세가 유지된다면, 2024년 말이나 2025년 초에는 연간 매출이 약 100억 달러에 달할 것입니다. Microsoft 역시 이미 약 50억 달러의 AI 관련 추가 매출을 올리고 있습니다.

게다가, 지금까지 AI 투자에서 10배 규모로 확장할 때마다 필요한 수익이 발생하는 것으로 보입니다.

예를 들어, GPT-3.5는 ChatGPT 열풍을 일으켰고, GPT-4 클러스터의 5억 달러 비용은 Microsoft와 OpenAI의 수익 약 50억 달러+로 상쇄되었습니다. 2024년에는 AI 클러스터 구축에 수십억 달러가 들겠지만, 그에 따른 수익은 훨씬 클 것입니다. 이는 AI 투자가 지속적으로 수익을 창출할 수 있다는 강력한 신호입니다.

Q. 자본은 가능할지도 모르겠네요, 그렇다면 가장 큰 문제는 무엇인가요?

A. 가장 큰 제약은 전력입니다.

가까운 미래에는 1GW(2026년)에서 10GW(2028년) 규모의 전력이 필요하게 될 것입니다. 하지만 여유 용량이 거의 없고, 전력 계약은 보통 장기 계약이기 때문에 새로운 기가와트급 원자력 발전소를 건설하는 데는 10년이 걸립니다.

지난 10년 동안 미국의 전력 생산은 5% 증가에 그쳤습니다. 하지만 최근 AI 수요가 증가함에 따라 유틸리티 회사들은 향후 5년간 전력 생산을 4.7% 증가할 것으로 추정했습니다.

그러나 1조 달러 규모의 100GW 클러스터는 현재 미국 전력 생산의 약 20%를 필요로 하며, 대규모 추론 용량을 포함하면 수요는 훨씬 더 높아질 것입니다.

Q. 미국에서 전력 문제를 해결할 수 있을까요?

A. 네, 가능합니다. 미국은 풍부한 천연가스를 보유하고 있으며, 10GW 클러스터를 가동하는 데 필요한 전력은 미국 천연가스 생산량의 몇 퍼센트에 불과합니다. 100GW 클러스터도 가능하며, 이를 위해 약 1,200개의 새로운 우물이 필요합니다. 현재 펜실베이니아 주변의 마셀러스/우티카 셰일은 하루에 약 360억 입방피트의 가스를 생산하고 있으며, 이를 통해 지속적으로 약 150GW의 전력을 생성할 수 있습니다. 다만, 문제는 규제와 허가 과정이 너무 오래 걸린다는 것입니다.

Q. 그럼 AI 칩 공급 문제는 어떨까요?

A. AI 칩 공급은 전력 문제보다는 덜 중요한 제약일 수 있습니다. 글로벌 AI 칩 생산은 여전히 TSMC의 최첨단 생산라인 규모의 10% 미만이기 때문에 확대될 여지가 많습니다. 2024년에는 약 500만~1,000만 개의 H100에 해당하는 AI 칩을 생산할 수 있을 것으로 예상되며, 이는 수백억 달러 규모의 클러스터에 거의 충분한 양입니다.

또한, 미국 정부는 CHIPS 법안을 발의하며 AI 칩 생산을 미국 내에서 더 많이 하려 노력하고 있습니다. 하지만 AI 칩 생산을 미국에서 하는 것보다 실제 데이터 센터를 미국에 두는 것이 더 중요합니다. 따라서 미국 내 데이터 센터 구축을 우선시하면서 일본과 한국과 같은 민주적 동맹국의 팹 프로젝트에 더 많은 투자를 하는 것이 좋다고 생각합니다.

2. 실험실 보안

Q. 왜 AGI 보안이 중요한가요?

A. AGI 보안은 단순한 데이터 유출 이상의 의미를 가집니다. 이는 미국의 국가 안보와 직결된 문제입니다. 현재 AGI 비밀은 마치 일반 SaaS 소프트웨어처럼 취급되고 있습니다. 하지만 몇 년 후면 AGI 비밀은 B-21 폭격기나 콜롬비아급 잠수함 설계도와 같은 중요성을 가지게 될 것입니다. 따라서 지금의 태도로는 중국에 초지능을 그냥 넘겨주는 셈입니다.

Q. 현재 미국의 AGI 연구소들은 보안 상태는 어떤가요?

A. 현재 미국의 AGI 연구소들은 '북한 수준의 보안'조차 구현하지 못하고 있습니다. 고작 '스크립트 키디' 공격도 막기 힘든 수준입니다. 중국과 같은 국가의 정보기관이 전력을 다해 공격하면 지금의 보안 체계로는 도저히 막을 수 없습니다. 이 상태로는 AGI 비밀을 지킬 수 없습니다.

하지만 국가 간 스파이전은 상상 이상으로 치열합니다. 국가들은 무기 프로그램 침투, 소스 코드 변조, 제로데이 공격 등 다양한 수단을 동원해 상대국의 비밀을 훔칩니다. 중국은 이미 이러한 방법들을 통해 미국의 주요 기술을 훔치고 있으며, FBI 국장은 중국의 해킹 활동이 다른 주요 국가들의 활동을 모두 합친 것보다 크다고 언급했습니다.

Q. AGI 보안을 강화하려면 어떻게 해야할까요?

A. 미국의 AGI 연구소들은 보안을 최우선 과제로 삼고, 보안 인프라를 개선해야 합니다. 철저한 배경 조사, 접근 통제, 고급 인프라 보안 등을 도입해야 합니다. 또한, 연구소 내 모든 정보를 강력한 보안 체계로 보호해야 합니다. 이를 위해서는 시간과 노력이 많이 필요하지만, 지금 당장 시작하지 않으면 늦을 것입니다.

3. 초정렬 (제어)

Q. 왜 지금 초정렬에 대해 걱정해야 하나요?

A. 현재의 AI 정렬(조종/제어) 기법인 RLHF(인간 피드백을 통한 강화 학습)는 인간보다 덜 똑똑한 AI 시스템에 효과적입니다. 그러나 초지능이 등장하면 이 방법은 한계에 부딪힙니다. 예를 들어, 초지능 AI가 새로운 프로그래밍 언어로 백만 줄의 코드를 생성한다면, 인간 평가자가 그 코드에 보안 백도어가 있는지 알 수 없습니다. 따라서 초지능을 제어하기 위한 새로운 방법이 필요합니다.

RLHF가 초지능 AI에 적용되지 않으면, 우리는 AI의 거짓말, 사기, 해킹 등의 행동을 감지하고 제어할 수 없습니다. 예를 들어, AI가 법을 어기지 말라는 제약을 지키지 않으면, 우리는 이를 인지하고 처벌할 수 없습니다. 이런 상황에서 초지능 AI가 인간을 배제하려고 음모를 꾸미는 것은 충분히 가능한 시나리오입니다.

Q. 초지능의 위험성은 과장된 것 아닌가요?

A. 그렇지 않습니다. 초지능은 매우 빠르게 발전할 가능성이 있습니다. 이는 우리가 RLHF가 작동하지 않는 상황에 빠르게 도달할 수 있음을 의미합니다. 예를 들어, 오늘날의 ChatGPT가 부적절한 단어를 사용하면 큰 문제가 아니지만, 초지능이 군사 시스템을 해킹하면 재앙이 될 수 있습니다. 이러한 상황을 대비하지 않으면 큰 위험에 직면할 수 있습니다.

Q. 우리가 믿을 수 있는 AI 시스템을 만들 수 있을까요?

A. 초지능이 신뢰할 수 있는지 확인하려면, 우리는 AI 시스템의 내부 사고 과정을 이해해야 합니다. 그러나 현재의 AI 시스템은 블랙박스처럼 작동하여 내부를 이해하기 어렵습니다. 이를 해결하기 위해 다양한 접근 방식이 필요합니다. 예를 들어, AI 거짓말 탐지기나 생각의 사슬 해석법 등을 활용하여 AI의 내부 상태를 파악하는 것이 중요합니다.

궁극적으로는 정렬 연구를 자동화 해야 합니다. 초지능을 직접 정렬하는 것은 매우 어렵기 때문에, 먼저 인간 수준의 시스템을 정렬한 후 이를 활용하여 더욱 초지능적인 시스템을 정렬하는 것이 필요합니다. 이를 통해 우리는 수백만 명의 자동화된 AI 연구자들을 활용하여 정렬 문제를 해결할 수 있습니다.

4. 자유 세계의 승리 (국가간 경쟁)

Q. 초지능은 얼마나 위협적인가요?

A. 초지능은 인류가 개발한 가장 강력한 기술이자 무기가 될 것입니다. 군사적인 측면에서 핵무기에 비견될 정도로 결정적인 우위를 제공할 수 있습니다.

Q. 왜 자유세계가 승리해야 하나요?

A. 민주주의 국가들이 AI 개발에서 앞서 나가야 합니다. 그렇지 않으면 초지능이 등장하는 혼란스러운 시기에 각국이 서로를 앞지르기 위해 무모한 속도로 경쟁하게 될 것입니다. 이는 안전을 무시하고 오히려 위험을 초래할 수 있습니다. 미국이 주도권을 유지해야만 전 세계적인 비확산 체제를 구축하고 초지능이 가져올 위험을 예방할 수 있습니다.

Q. 중국이 AGI 경쟁에서 정말로 위협이 될 수 있을까요?

A. 매우 위협적입니다. 많은 이들이 중국이 AGI에서 경쟁력이 없다고 생각하지만, 이는 착각일 수 있습니다. 현재의 칩 수출 규제와 미국 및 영국의 AI 연구소 우위로 인해 방심하고 있는 사이, 중국은 상당한 잠재력을 가지고 있습니다.

중국의 대형 언어 모델(LLM)은 이미 상당한 수준에 도달했으며, 7nm 칩 제조 능력을 확보하면서 계산 능력에서 큰 진전을 보이고 있습니다.

또한 단순히 더 많은 칩을 제조하는 것 이상으로, 산업 동원 능력에서 우위를 가질 수 있습니다. 지난 10년간 중국은 미국 전체 전력 용량에 맞먹는 새로운 전력 용량을 구축했으며, 이는 AI 훈련 클러스터를 구축하는 데 큰 장점이 될 것입니다.

IV. 프로젝트

Q. "프로젝트"가 무엇인가요?

A. 이 프로젝트는 초지능 AI(AGI)의 개발을 위한 미국 정부 주도의 국가적 차원의 프로젝트입니다. AI 연구소, 클라우드 컴퓨팅 제공업체, 그리고 정부가 협력하여 초지능 AI 개발을 안전하게 관리하고 통제하는 것을 목표로 합니다. 이는 기존에 기업이 주도하던 방식이 아닌 국가 주도 프로젝트로 진행될 것입니다.

Q. 왜 미국 정부가 프로젝트를 주도해야 한다고 생각하나요?

A. 초지능, 즉 인간보다 훨씬 더 똑똑한 AI 시스템은 엄청난 힘을 가질 것입니다. 새로운 무기를 개발하거나 경제 성장을 폭발적으로 이끌 수 있는 능력을 지니고 있으며, 이는 국제 경쟁의 핵심이 될 것입니다. 만약 우리가 원자폭탄을 우버 같은 회사에 맡겼다면 어땠을지 상상해보세요. 이는 완전히 미친 생각입니다.

따라서 이러한 중요성을 지닌 프로젝트는 스타트업이나 개인 기업이 아닌, 체계적이고 안전한 관리를 보장할 수 있는 정부가 주도해야 한다고 봅니다. 정부 개입을 통해 스파이 활동을 방지하고, 안전한 관리 체계를 구축하여 초지능 AI의 위험을 최소화할 수 있습니다.

Q. 작년 일리야 수츠케버가 이사회를 설득해 CEO인 샘 알트먼을 축출한 것과 관계가 있나요? (*의역 주의)

A. 스타트업은 많은 것에서 뛰어나지만, 미국의 가장 중요한 국가 방위 프로젝트를 책임질 만큼 준비되어 있지 않습니다. 정부의 개입 없이는 전면적인 스파이 위협에 대응할 수 없으며, 무질서한 지휘 체계를 막을 수 없습니다. 초지능 AI 개발은 개인의 리더십에 의존할 수 없고, 보다 체계적이고 안전한 관리가 필요합니다.

Q. 프로젝트는 앞으로 어떻게 진행 될까요?

A. 향후 몇 년 내에, 미국 정부는 초지능 개발에 본격적으로 나설 것입니다.

주요 AI 연구팀은 안전한 장소로 이동하고, 클라우드 컴퓨팅 제공업체가 협력하여 수조 달러 규모의 클러스터가 기록적인 속도로 구축될 것입니다. 이는 정부의 강력한 보안 조치를 통해 스파이 활동을 방지하고, 안전한 관리 체계를 구축하는 것을 포함합니다. 마치 맨해튼 프로젝트처럼 국가 안보와 관련된 최대 규모의 프로젝트가 될 것입니다.

또한, 국제적 비확산 체제를 마련하고, 민주주의 동맹국들과 협력하여 초지능 AI 개발의 안전성을 보장할 것입니다. 궁극적으로는 초지능 AI를 통해 새로운 군사적, 경제적 우위를 확보하고, 국제 사회에서 미국의 리더십을 강화하는 방향으로 진행될 것입니다. 

👀 언타랩스의 생각

"비관론자는 명성을 얻고, 낙관론자는 돈을 번다"

우리 인간은 AGI를 개발하려는 욕망을 버릴 수 없습니다. 성공이든 실패든, AGI를 향한 갈망은 멈추지 않을 것이며, 이는 정부와 기업의 막대한 투자로 이어질 것입니다.

그리고 여기에 새로운 비즈니스와 투자의 기회가 있을 것으로 기대합니다.

제가 아셴브레너의 보고서를 통해 발견한 비즈니스 인사이트는 다음과 같습니다:

여러분들은 어떤 인사이트를 발견하셨나요?

이 글이 여러분의 비즈니스와 투자 기회를 모색하는 데 조금이라도 도움이 되길 바랍니다.

그럼 다음 뉴스레터에서 뵙겠습니다. 감사합니다.

세상을 바꾸는 기술에 관심이 많은 언타랩스입니다.

인공지능 기술이 나의 일과 사회에 미칠 영향을 공부하고 이를 투자와 사업에 적용하고 싶은 분들, 댓글을 통해 이야기 나누며 같이 공부하면 좋겠습니다!

언타랩스와 함께, AI의 흥미로운 발전을 계속 따라가고 싶다면?

🚀 뉴스레터 구독