침묵을 깬 일리야 수츠케버, 그가 말하는 AI의 현재와 미래

전직 OpenAI 수석과학자, 현직 Safe SuperI Inc. CEO 일리야 수츠케버가 오랜 침묵을 깨고 유튜브 채널 Dwarkesh Patel과 진행하여 2025년 11월 26일 공개된 인터뷰 내용을 리뷰해봤습니다.

일리야 수츠케버는 다른 수식어가 필요없는 AI 업계의 슈퍼스타입니다. 토론토 대학에서 제프리 힌튼 교수의 연구실에서 시작해서, 구글 브레인을 거쳐, OpenAI에서 ChatGPT를 만들고, 지금은 본인이 직접 창업한 회사 SSI (Safe Superintelligence Inc.)를 이끌고 있는 일리야는 일찍부터 더 많은 컴퓨팅으로 더 많은 데이터를 학습시키면 인공지능의 성능이 좋아진다는 확장의 법칙을 최초로 발견한 사람이기 때문입니다.

그는 지난 2024년 5월, OpenAI를 떠나 자신만의 AI 회사 SSI를 설립하여 조용히 연구에 매진해왔습니다. 2024년 12월 14일 캐나다 밴쿠버에서 개최된 NeurIPS 2024 가 아마도 가장 최근의 대외활동이었을 것입니다. 

그런 그가 1년만에 다시 유튜브 채널에 출연하여 여러가지 업계 동향에 대한 자신의 생각을 밝혔습니다. 가장 인상적인 이야기들을 몇가지 추려보았습니다.

다시 연구의 시대로

수츠케버는 AI 발전을 세 시대로 구분합니다.

연구의 시대 (2012-2020)

이 시기에는 많은 아이디어들이 시도되었습니다. AlexNet은 GPU 단 2개로 만들어졌습니다. Transformer 논문의 실험은 GPU 64개로 이루어졌습니다. ResNet도 마찬가지입니다. 지금 기준으로는 GPU 2개 정도의 연산량만으로 해낸 일입니다.

연구자들은 정말 많은 것들을 시도했습니다. "이거 해보자, 저거 해보자. 오, 뭔가 재밌는 게 나왔네." 그런 분위기였습니다.

스케일링의 시대 (2020-2025)

그러다 스케일링 법칙이 발견됐습니다. 데이터를 늘리고, 파라미터를 늘리고, 연산능력을 늘리면 모델의 성능이 올라갔습니다. 거의 물리 법칙처럼 예측이 가능해졌습니다.

기업들은 이걸 좋아했습니다. 원래 R&D라는 게 복불복입니다. 인간 연구자들을 많이 모아서 많은 돈을 투자해도 확실한 리턴이 보장되지는 않습니다. 하지만 이번처럼 많은 돈을 투자했을 때 확실한 리턴이 보장된다면 기업의 입장에서는 굉장한 저위험 투자로 보였을 것입니다. 실제로 그 뒤로 어마어마한 자본이 투자되었습니다.

다시 연구의 시대 (2025~)

하지만 이제 한계가 보이기 시작합니다.

100배 더 스케일하면 모든 게 해결될까? 수츠케버는 동의하지 않습니다.

여전히 만족스럽지 않은 모델들

수츠케버는 현재 AI의 가장 당혹스러운 특성을 지적합니다. 벤치마크에서는 놀라운 성능을 보여주지만, 실제 사용에서는 이상한 실수를 저지르는 모습이 자주 목격됩니다.

바이브 코딩의 버그 루프

모델이 정말 똑똑하다면 이 상황을 어떻게 이해해야 할까요?

10,000시간 vs 100시간

수츠케버는 이 상황을 두 학생의 비유로 설명합니다.

학생 1: 최고의 프로그래머가 되기로 결심하고 10,000시간을 연습한다. 모든 문제를 풀고, 모든 증명 기법을 암기하고, 모든 알고리즘을 빠르고 정확하게 구현하는 데 능숙해진다.

학생 2: "프로그래밍 재밌네"라고 생각하며 100시간만 연습한다. 그래도 꽤 잘한다.

나중에 실제 삶에서 누가 더 성공적일까요라는 질문에 대해 수츠케버는 두 번째 학생이라고 말합니다. 현재 AI 모델은 첫 번째 학생보다 더 극단적입니다. 모든 프로그래밍 문제를 수집하고, 부족한 데이터는 "데이터 합성"기술로 증강해서 더 많은 문제를 만들어 훈련합니다.

하지만 벤치마크에서 좋은 성적을 내도록 최적화하면, 벤치마크에서만 잘하게 됩니다. 그리고 많은 연구자들이 이 유혹에 빠집니다. 많은 돈을 투자해 거대한 모델을 만들었는데, 벤치마크에서 높은 점수를 받아야만 대중적으로 "더 낫다"라는 인식을 줄 수 있기 때문입니다.

하지만 벤치마크 자체를 학습시켜서 벤치마크 점수를 높이는 것은 현실의 문제를 풀어내는 데에는 크게 도움이 되지 않습니다. 이건 답안지를 보고 문제를 푸는 것과 비슷하기 때문에 아무리 문제를 많이 풀고, 점수를 높게 받아도 문제를 조금만 변형해도 대응이 안되기 때문입니다. 

AGI에 대한 새로운 관점

수츠케버는 AGI에 대한 통념에 의문을 제기합니다. 과거 IBM의 딥블루가 체스 인간 최고수 카스파로프를 이겼지만 사람들은 이야기했습니다. 딥블루는 체스 이외에는 다른 일은 할 수 없는 "좁은 AI"이며 심지어 자신이 체스를 두고 있는지도 모르고 있을 것이라고 말이죠. 그래서 이런 "좁은 AI"에 대한 반대되는 개념으로 "일반 AI(AGI)"라는 용어가 등장했습니다. 

초지능의 새로운 정의

수츠케버는 초지능의 기준으로 지금까지 알려진 AGI, 즉 모든 분야에서 사람의 능력을 뛰어넘는 어떤 완성된 시스템이 아닌, 정말 사람처럼 모든 것을 빠르게 배울 수 있는 시스템을 제시합니다. 이는 사실 ARC-AGI 벤치마크를 만든 프랑소와 숄레가 오랫동안 주장해오던 것이었습니다.

생각해보면 사람이 만든 것 중에 완벽한 것이 있을 수 있을까요? 아이폰, 컴퓨터, 반도체, 자동차, 비행기 등 인간이 만든 것은 무엇이든 점진적으로 발전해왔습니다. 그런데 왜 우리는 뭔가 어떤 특이점이 있어서 그 지점을 지난 AI를 AGI라고 부르려고 했던 것일까요? 딥블루나 알파고와 같은 "좁은 AI"와는 반대되는 의미를 담기 위해 사용된 AGI라는 용어가 뭔가 인간을 넘어선 신과 같은 AI라는 의미로 받아들여지게 된 것은 일종의 과대한 마케팅과 기대심리 때문일지도 모르겠습니다. 

현재 AI의 한계와 앞으로의 연구 방향

수츠케버는 인간의 지적활동에서 "감정"이 차지하는 부분에 대해 집중해야 한다고 말합니다. 지식과 논리를 잔뜩 학습한 거대언어모델들이 여전히 부족한 모습을 보이는 이유가 바로 여기에 있지 않을까 하고 생각하는 것입니다,.

강화학습의 세계에서는 가치 함수(value function)이라는 개념이 있습니다. "지금 이 행동을 하면, 앞으로 얼마나 좋은 일이 일어날까?"를 예측하는 함수를 말합니다. 그리고 수츠케버는 인간의 감정도 일종의 가치 함수일 것이라고 추측한다고 말했습니다. 다만, 그 동작구조는 아직 알 수 없다면서요.

여기서부터는 저의 뇌피셜입니다만, 일리야의 인터뷰를 보면서 인간이 감정을 가지고, 또 감정의 유무가 의사결정에 중요한 역할을 한다는 사실은 감정이 우리 의사결정에 필요한 가중치를 움직이기 때문은 아닐까 하는 생각을 하게 되었습니다.

평상시라면 "직원 전용" 문을 여는 건 규칙 위반이지만 건물에 불이 났고 그 문이 가장 빠른 탈출구라면 규칙 따위는 의미가 없어집니다. 생존이 위협을 받을 때, 두려움을 느끼거나 분노를 느낄 때 인간은 우선순위를 조정해서 위기에서 빠져나오고, 이렇게 생존한 사람들이 후손을 남기는 방식으로 감정에 기반한 의사결정은 아주 오랜 진화의 역사 속에서 강화되어 왔습니다.

이런 감정의 매커니즘을 이해하고, 모델 학습에 사용할 수 있다면, 다시 시작되는 연구의 시대에서 새로운 돌파구를 만들 수 있지 않을까하고 일리야는 생각하는 것 같았습니다. 맞는 비유인지는 모르겠지만, 저 스스로도 다음날 시험이라는 "위기감"앞에서 왠지 더 공부가 잘 되었던 것 같은 적이 많이 있었던 것 같습니다. 

감정의 기원

일리야의 인터뷰를 보면서 문득 스티브 잡스의 말이 떠올랐습니다. 일찍이 2005년, 스티브 잡스는 스탠포드 대학교의 졸업식 축사에서 다음과 같은 말을 남겼습니다.

일리야의 인터뷰를 보고 스티브 잡스가 생각났던 것은 AI와 인간의 가장 중요한 차이점은 혹시 "죽음"을 이해하는 능력이 아닐까 하는 생각이 들었기 때문입니다.

모든 생명체는 생존이 최우선 목표입니다. 끝이 있기 때문에 살아있는 "지금"이 소중하고 의미를 가집니다. 죽음이 있기 때문에 살아있는 시간이 귀한 것이고, 시간이 귀하니까 그 시간을 어디에 쓸지 우선순위가 중요해지는 것이고, 그 우선순위를 정할 때 감정을 기준으로 삼는 것이 아닐까요? 

일리야는 감정이 인간의 학습에 활용되는 가치함수인 것 같은데 뭔가 원리가 매우 원리가 단순하면서도 견고할 것이라는 이야기를 합니다. 그렇다면, 여기서 조금 상상력을 가미해서 감정의 기원을 "죽음"과 연결해서 생각해보는 것도 흥미로운 지점이 될 것 같습니다. 죽음만큼 원리가 단순하면서도 견고한 개념이 있지 않을 것 같으니까요.

수학적 모델인 언어모델은 마치 우리와 대화를 나누는 자의식을 가진 존재처럼 보이지만, 실상은 통계적, 확률적으로 가장 그럴듯한 다음 단어를 출력해주는 디지털 인공신경망입니다. 쉽게 말해 무생물이고 조금 더 극단적으로 말하자면 아주아주 크고 복잡한 핀볼머신입니다. 인간의 입력값(쇠구슬)이 들어오면 미세하게 조정된 내부의 많은 요소들과 상호작용한 뒤, 최종적으로는 아래의 구멍으로 토큰을 내보내는 방식으로 동작하죠. 일부 연구자들이 "자의식"을 가졌을 가능성에 대해 열린 태도를 보이기도 합니다만, 다수의 연구자들은 회의적입니다.

진화는 수십억 년간 "죽으면 끝"이라는 절대 규칙 아래서 작동했습니다. 포식자를 보고 공포를 느낀 개체는 도망쳤고, 느끼지 못한 개체는 죽었습니다. 그 압력이 감정, 직관, 공포, 욕망을 만들어냈습니다. 감정은 버그가 아니라, 죽음이라는 제약 조건이 만들어낸 생존 메커니즘인 셈입니다.

어쩌면 일리야가 미스테리라고 말한 문제의 실마리는 여기 있을지 모르겠습니다. 진화가 복잡한 가치 체계를 만들 수 있었던 건, 죽음이라는 명확한 피드백 덕분일 것입니다. 생존에 유리하면 유전자가 퍼지고, 불리하면 사라지는 이 단순하고 잔인한 규칙이 수십억 년간 반복되면서, 놀랍도록 정교한 가치 함수가 만들어진 것이죠.

현재 AI 훈련에는 이런 절대적 제약이 없습니다. 강화학습의 보상과 벌칙은 "조금 더 좋음/나쁨"이지, "살았다/죽었다"가 아니며, 수학적인 모델인 LLM은 죽음이 무엇인지는 물론이고, "나"라는 개념 조차도 아직 없습니다. 

그렇다면 질문은 이것입니다: 죽음을 모르는 존재가 진정한 가치 체계를 가질 수 있을까요? 어쩌면 우리는 너무 "지능"을 "두뇌"에만 국한해서 보아왔는지 모르겠습니다. 이번 일리야의 인터뷰를 보면서 "감정", "자아", "죽음" 같은 개념이 다음 돌파구의 큰 열쇠가 될 것 같다는 느낌을 받았습니다. 그리고 한편으로는 무생물인 인공신경망 단계의 인공지능도 상당히 사람같은데, 여기에 "자아"와 "감정"을 장착하면 정말 완전히 다른 세상이 펼쳐지겠다는 생각도 하게 됩니다.

여기까지 생각이 이르니까 그동안 산발적으로 일리야가 인터뷰에서 "AI의 의식"에 대한 언급을 했었다는 사실이 새삼 떠오르면서 일리야가 나가고자 하는 방향에 대해 실마리를 얻게 됩니다. 

일리야의 인터뷰는 다소 공상적이고, 철학적이라 항상 많은 시간 곱씹어야 그 메시지를 온전히 해석할 수 있는 편이긴 한데, 이번 인터뷰 역시 쉽지는 않았던 것 같습니다. 그리고 적지않은 투자를 받은 회사의 CEO라는 신분에서 그 역시 하고 싶은 이야기를 온전히 다 하지는 못한 것 같다는 느낌도 받았고요.

그럼에도 오랜만에 침묵을 깬 그의 생각을 이렇게라도 접할 수 있어서 참 뜻깊은 인터뷰였다는 생각이 듭니다.