Microsoft CEO인 사티야 나델라가 유튜브 채널 Dwarkesh Patel과 진행하여 2025년 11월 13일 공개된 인터뷰 내용을 리뷰해봤습니다.
사티야 나델라는 특별한 능력의 소유자입니다. 그는 인도에서 학부를 졸업하고 미국에서 석사 학위를 받았는데, 석사 진학부터 Microsoft의 이직, 그리고 클라우드 시장 진입이라는 베팅, 오피스 구독모델로의 전환, OpenAI와의 파트너십 체결 등 중요한 순간마다 올바른 선택을 내리고 놀라운 성과를 만들어왔기 때문입니다.
2026년을 시작하면서 그런 그의 인사이트를 다루는 인터뷰를 한번 리뷰해보도록 하겠습니다.
AI 인프라 투자: 규모와 속도의 게임
"이 건물 하나에 들어가는 광케이블은 2년 반 전 Azure 전체 데이터센터에 있던 것과 거의 맞먹습니다. 약 500만 개의 네트워크 연결이 있습니다."
Microsoft는 매 18~24개월마다 AI 훈련 용량을 10배씩 확장하는 전략을 추진하고 있습니다. 2025년 10월부터 가동을 시작한 Fairwater 2 데이터센터는 이 전략의 핵심 거점으로, GPT-5 훈련에 사용된 것의 10배에 달하는 컴퓨팅 파워를 제공합니다.
이름에서 유추할 수 있듯이 Fairwater 1 데이터센터가 이미 위스콘신주에서 가동중이며, Fairwater 3와 Fairwater 4 데이터센터가 현재 건설 중입니다. 데이터센터의 이름인 Fairwater는 단일 플랫 네트워크로 수십만 GPU를 하나의 거대한 슈퍼컴퓨터처럼 통합하는 AI 전용 설계의 이름으로, 사티야 나델라 CEO는 여러 Fairwater 사이트를 연결하여 수백 마일 떨어진 시설들이 하나의 훈련 작업을 공동 수행하여 기존에 수개월이 걸리던 모델 학습을 수주만에 마칠 것이라고 이야기했습니다.
차세대 GPU와 데이터센터 진화
"Vera Rubin Ultra가 나오면, 랙당 전력 밀도와 냉각 요구사항이 완전히 달라질 것입니다. 그래서 한 가지 사양에만 맞춰 모든 것을 건설하고 싶지 않습니다."
나델라는 NVIDIA의 GPU 로드맵에 대한 깊은 이해를 바탕으로 인프라 투자 전략을 수립하고 있습니다.
베라 루빈칩이 2026년 1월 CES에서 발표된 것을 생각해보면, 인터뷰 시점인 2025년 11월, 그러니까 2개월 전에 이미 Microsoft의 인프라 전략에는 베라 루빈이 반영되어 있던 것입니다.
Microsoft 전략의 핵심은 2가지입니다. 먼저 새 장비를 들이면 가동까지 걸리는 시간을 최소화해서 새 장비의 가동 기간을 최대화합니다. 이걸 젠슨 황은 "빛의 속도 실행(speed-of-light execution)"라고 이야기합니다. 두번째 전략은 한번에 H100이나 B100같은 특정 세대 장비에 올인하지 않고, 다양한 세대를 아우르는 하이브리드 인프라 구성을 하겠다는 것입니다.
데이터센터 장비는 통상 5~6년에 걸쳐 감가상각됩니다. 그런데 엔비디아에서는 매년 새로운 세대를 출시하고 있죠. GB200을 대량 구매해 데이터센터를 가득 채웠는데, 1년 후 GB300이 50% 더 높은 성능을 제공하고, 2년 후 Vera Rubin이 3.3배 성능을 낸다면, 대량으로 구매한 GB200은 5년 감가상각이 끝나기도 전에 사용을 멈추게 됩니다. 그렇기 때문에 한번에 특정 세대 장비에 올인하기 보다는 엔비디아의 로드맵을 보며 여러 세대를 아우르는 구성을 가져가 순차적으로 이전 세대를 퇴역시키는 것이 보다 비용 효율적이면서 경쟁력을 잃지 않는 방법입니다.
OpenAI 파트너십의 재정의
"우리는 향후 7년간 OpenAI 모델에 완전한 접근권을 갖고 있으며, 그 위에 혁신을 더할 것입니다. 본질적으로, 우리가 완전한 유연성을 갖고 사용하고 혁신할 수 있는 프론티어급 모델을 보유한 것으로 생각합니다."
오픈AI와의 파트너십에 대해서는 뭔가 이별을 준비하고 있다는 인상을 다소 받았습니다. 계약 상으로 향후 7년간의 상호간에 지적재산(IP)에 대한 접근권을 행사할 수 있다고 이야기하지만, 결국 자체 역량을 강화할 것이고, OpenAI 이외에 Anthropic이나 Grok과의 파트너십도 별도로 체결하는 행보를 보이고 있으니까요.
Microsoft는 이미 DeepMind 공동창업자 출신인 무스타파 슐레이만을 "Microsoft AI"라는 자회사의 CEO로 임명하고 MAI Superintelligence Team을 출범시켰습니다. 자체 개발 중인 이미지 모델은 Image Arena 9위, 텍스트 모델은 LMArena 13위로 데뷔하며 벤치마크에서도 좋은 성적을 거두고 있습니다.
AI 코딩 시장: 경쟁의 새로운 지형
"이 차트가 여러 이유로 좋습니다. 첫째, 우리가 여전히 1위입니다. 둘째, 여기 나열된 모든 회사들이 지난 4~5년 안에 탄생한 회사들입니다. 이것이 최고의 신호입니다."
Claude Code나 Cursor와 같은 경쟁자들의 추격에 대해 나델라는 다소 여유로운 모습을 보입니다. 일단 이것은 시장 자체가 커지고 있다는 증거이므로, 이 시장에서 일정 점유율만 확보해도 충분히 많은 수익을 거둘 수 있다는 것입니다. 성장하는 마켓에 초기에 진입해서 미리 자리를 선점했다는 것을 중요하게 보는 것 같습니다. 나델라는 또한 클라우드 시장에서도 마찬가지였다고 주장합니다. 게다가 Microsoft가 2018년 Github을 인수해서 보유하고 있다는 점은 Microsoft에게 금상첨화입니다.
"이 경쟁사들의 코드가 어디로 가는지 아세요? GitHub으로 갑니다. GitHub은 레포 생성과 PR에서 역대 최고치를 기록하고 있습니다."
SaaS 위기론 속 Microsoft의 대안
인터뷰어는 이 대목에서 가장 날카로운 질문 중 하나를 던졌습니다. 전통적인 SaaS 비즈니스는 사용자당 추가 비용이 거의 0에 가까웠습니다. R&D와 고객 획득에 돈이 들지만, 일단 고객이 유입되면 한 명이든 백만 명이든 서버 비용은 크게 달라지지 않기 때문입니다. 사업확장에 원가가 들지 않는다는 점 때문에 그동안 SaaS 기업들이 높은 밸류에이션을 받아왔습니다.
하지만 서비스에 AI를 도입하고 나자, 사용자가 Copilot에 질문을 던질 때마다 GPU가 돌아가고, 토큰이 생성되고, 비용이 발생합니다. 사용자가 많아질수록, 그리고 그들이 AI를 많이 쓸수록 비용은 비례해서 증가하는 것입니다. 그렇다면 "역사상 가장 위대한 SaaS 기업"인 Microsoft는 이 새로운 현실에 어떻게 대응하고 있을까요?
나델라는 여기에 대해 다음 3가지 답변을 제시했습니다.
첫째, 수익 모델의 다각화입니다. 마이크로서비스는 구독만으로 먹고 사는 회사가 아니라 광고(Bing), 거래 수수료, 디바이스 마진, 구독(M365, Copilot), 그리고 소비 기반 과금(Azure)까지 모든 "미터"를 갖추고 있습니다. 구독 자체도 재정의되고 있습니다. 코딩 도구들이 Pro, Standard, Enterprise 티어로 나뉘는 것처럼, 구독은 이제 "무제한 사용권"이 아니라 "일정 소비 권리의 묶음"이 되어가고 있습니다. 따라서 AI를 많이 쓰는 고객들은 거기에 맞게 더 높은 가격대의 구독을 구매하는 것으로 비용을 부담하게 됩니다.
둘째, 시장 확장 효과에 대한 베팅입니다. 나델라는 클라우드 전환 시절의 경험을 이야기합니다. 당시에도 같은 우려가 있었습니다. 온프레미스 라이선스를 팔던 시절에는 마진이 높았는데, 클라우드로 가면 인프라 비용이 생기니 오히려 수익성이 나빠지지 않겠느냐는 것이었지요. 하지만 실제로 일어난 일은 달랐습니다.
"우리는 인도에서 서버를 거의 팔지 못했는데, 클라우드에서는 갑자기 인도의 모든 사람들이 부분적으로 서버를 구매할 여유가 생겼고 매출이 크게 올랐습니다."
나델라는 AI에서도 같은 패턴을 기대한다고 이야기합니다. 토큰당 비용이 높더라도, AI가 새로운 가치를 창출하면 시장 자체가 확장되어 먹을 수 있는 파이는 더 커집니다. 코딩 어시스턴트 시장이 1년 만에 수십억 달러 규모로 성장한 것이 그 증거라고 그는 주장합니다.
셋째, Microsoft는 인프라를 소유하고 있습니다. 순수 SaaS 기업들—Salesforce, Workday, ServiceNow 같은 회사들—은 Azure나 AWS에 인프라 비용을 지불해야 하지만 Microsoft는 자체 GPU 클러스터와 데이터센터를 갖고 있어 그 마진을 내부에서 회수할 수 있습니다. AI 시대에 SaaS 기업이 겪는 원가 압박을, Microsoft는 수직 통합을 통해 상당 부분 흡수할 수 있는 구조인 것이죠.
모델 vs 스캐폴딩: 무엇이 더 중요한가?
"모델 회사라면 승자의 저주(winner's curse)가 있을 수 있습니다. 놀라운 혁신을 했지만, (가중치)를 누군가 한 번 복사하면 그대로 남들이 무료로 사용할 수 있게 됩니다."
AI 모델이 점점 더 똑똑해지고, 결국 인간처럼 컴퓨터를 자유자재로 사용할 수 있게 된다면, 가치는 어디로 흘러갈까요? 모델을 만드는 회사(OpenAI, Anthropic)가 모든 것을 가져갈까, 아니면 그 모델을 감싸는 애플리케이션 레이어("스캐폴딩")를 가진 회사가 가져갈까요?
인터뷰어는 이렇게 묻습니다. "지금은 AI 모델이 "불완전(hobbled)"하기 때문에 스캐폴딩이 필요하다. Excel의 각 셀과 수식을 이해하려면 특별한 통합이 필요하고, 여러 파일을 동시에 수정하려면 Cursor 같은 도구가 필요합니다. 하지만 모델이 인간 수준으로 컴퓨터를 사용할 수 있게 되면? 그냥 컴퓨터 화면을 보고, 마우스를 클릭하고, 필요하면 다른 소프트웨어로 마이그레이션하면 됩니다. 그때가 되면 Excel과의 깊은 통합 같은 건 의미가 없어지겠죠. 모델 회사가 수천 달러를 받고 "AI 동료"를 제공하는 세상에서, 스캐폴딩의 가치는 사라지지 않을까요?"
나델라는 여기에 대해 다음 2가지 답변을 제시했습니다.
첫째, 오픈소스라는 구조적 견제가 존재합니다. 아무리 OpenAI나 Anthropic이 앞서가도, 세상에는 항상 "꽤 유능한" 오픈소스 모델이 존재할 것입니다. 스캐폴딩을 가진 회사는 그 오픈소스 체크포인트를 가져다가 자신의 데이터로 파인튜닝할 수 있습니다. 나델라는 이를 "승자의 저주"라고 불렀습니다. 프론티어 모델 회사가 엄청난 혁신을 이뤄도, 그 결과물은 단 한 번의 복사로 세상에 무료로 퍼질 위험이 있습니다.
이는 실제로 2025년 12월 Nvidia에서 Nemotron 3를 오픈 소스로 공개한 것과 그대로 이어집니다. Nemotron 3는 그 자체로 벤치마크 상위에 랭크되는 우수한 모델인데, Nvidia의 AI칩이 있으면 누구나 토큰비용을 걱정하지 않고 바로 사용이 가능합니다. 그러니 장차 모델의 성능이 어느정도 평준화되고 "가성비"가 중요해지는 시대가 오면, 이런 오픈소스 모델을 파인튜닝해서 자사의 에이전트에 도입하는 사례가 지금보다 훨씬 많아질 것을 나델라는 예측하고 있는 것 같습니다. 게다가 이미 다소 떨어지는 모델에 높은 수준의 스캐폴딩(=하네스)를 구성하여 성공적인 비지니스를 구축한 팔란티어의 사례도 있습니다.
나델라는 스캐폴딩이 중요한 두번째 이유로, 스캐폴딩의 깊이가 다르다는 점을 들었습니다.
"이것은 단순히 Excel 위에 프롬프트를 씌운 "UI 래퍼"가 아니다. GPT 계열 모델을 Excel의 중간 계층에 내장하여, 픽셀 수준이 아닌 Excel의 모든 네이티브 아티팩트—수식, 셀 구조, 데이터 타입—를 이해하도록 가르친 것입니다. 추론 과정에서 수식 오류가 발생하면 그것을 인식하고 수정할 수 있게 만들어져있죠. 이런 깊은 통합은 "모델이 컴퓨터를 쓸 줄 안다"는 것만으로는 대체되지 않을 것입니다."
나델라 더 큰 그림을 그리고 있습니다. 지금 Microsoft가 사무직 직원들을 위한 도구를 판매하는 사업이주력이라고 한다면, 미래에는 "에이전트를 위한 인프라 사업"이 주력이 될 것을 대비하고 있습니다. AI 에이전트도 어딘가에 데이터를 저장해야 하고, 아카이빙이 필요하고, e-디스커버리가 필요하고, 관찰 가능성(observability)이 필요합니다.
또한, 데이터를 처리할 연산도 필요하고, 보안도 필요하죠. 나델라는 이제 Microsoft의 고객이 사무직 직원이 아닌 AI 에이전트가 되는 시대를 보고 있는 것입니다. AI 에이전트 수가 인간 사용자 수보다 빠르게 증가한다면, Microsoft의 인프라 사업은 오히려 확장될 것입니다.
정리
내용이 너무 길고 좋아서 1부와 2부로 나눠서 뉴스레터를 써보기로 했습니다. 역시 시대의 승부사답게 확실한 근거에 기반한 과감한 베팅이 눈에 들어오네요. 그리고 파트너를 통한 확장에 능한 회사답게, 이번에는 Nvidia와 굉장히 밀착해있다는 느낌이 들었습니다.
물론 비지니스의 세계는 냉정하기 때문에 Microsoft 역시 자체 칩을 만들고 있습니다. MAIA 칩 시리즈인데요, 나델라 본인의 말로는 아직 Nvidia에는 못미친다고 합니다. 그러니 지금은 적어도 칩에 있어서 Microsoft는 지금 "도광양회"를 준비하는 것으로 보입니다. 자체 역량이 올라오기 전까지는 Nvidia와 밀착해서 노하우를 제대로 전수받자는 것이죠.
한편 OpenAI와는 거리를 두려는 것처럼 보였습니다. "친밀"에서 "우호"정도로 낮아진 느낌인데요, OpenAI의 경쟁사들과 거리낌없이 파트너십을 선언하고, 자체 모델도 개발하면서 약정된 7년동안 최대한 OpenAI의 역량을 활용한 뒤, 그 동안 자사의 모델 역량을 최대한 끌어내보겠다는 베팅으로 느껴졌습니다. 그리고 그것을 위해 Fairwater라는 초대형 인프라에 투자를 집행하는 것처럼 보여지네요.
이런 막대한 투자를 하는 배경에는 모든 게 잘못되더라도 토큰 서빙, 즉 "추론" 수요만 대응하더라도 충분히 ROI가 나올 것이라는 판단이 있을 것입니다. 일찌기 젠슨 황이 말했던, "토큰이 증기기관의 증기처럼 빠르고 많이 필요한 미래"에 대해서 나델라 역시 공감하기 때문이겠지요.
실제로, 최근 Claude Code를 쓰면서 토큰 한도를 만나는 일들을 경험합니다. 이미 Max 플랜을 사용중인데도 동시에 3-4개의 업무를 동시에 돌리다보면, 얼마 지나지않아 한도를 꽉차게 쓰게 됩니다. 이제는 하루에 이 화면을 한번 정도 안보면 일을 제대로 안했나? 하는 생각이 들 정도입니다.
끝으로 스캐폴딩(=하네스)에 대해 강조하는 부분은 개인적으로 많이 공감이 된 부분이었습니다. 사람들은 마치 경마 중계처럼 새로 나온 모델의 성능에만 주목하지만, Cursor, Perplexity, Palantir처럼 실제 시장에서 인정받는 AI 서비스들을 들여다보면 결국 스캐폴딩이 핵심 역량입니다. (물론 자체 모델이 있지만 주력서비스는 외부의 프론티어 모델에 자체 개발한 워크플로우를 접목)
아직 AGI가 도래하지 않은 시점에서 이미 많은 회사들은 현시점의 프론티어 모델에 인간 전문가의 사고 구조를 스캐폴딩으로 결합시켜 업무를 자동화하고 있습니다. 모델의 성능이 상향평준화되어가는 가운데, 진정한 경쟁력은 저는 스캐폴딩(=하네스)에서 온다고 생각하고 있습니다.
게다가 진짜 사람을 대체할만한 수준의 워크플로우를 만든다는 것은 그 자체로 굉장히 고도로 전문화된 작업입니다. 시장에서 통할만한 퀄리티를 내놓을 수 있게 데이터셋과 평가를 운영하는 것도 절대 쉬운 일이 아니고요. 그런 지점에서 나델라의 스캐폴딩 이야기는 AI 산업의 가치 사슬을 정확히 꿰뚫는 통찰이라고 생각합니다.
2부에서는 Microsoft가 왜 데이터센터 확장을 "일시 중지"했는지, 자체 칩 전략의 현실, 그리고 주권 AI 시대에 미국 기술 기업이 직면한 글로벌 신뢰의 문제를 다루겠습니다. 나델라가 스스로를 "단순한 인간 CEO"라고 부른 이유, 그리고 "다음 5년이 아니라 다음 50년"을 바라보는 그의 장기 비전까지 함께 살펴보겠습니다.
의견을 남겨주세요