전 OpenAI 수석 과학자이자, 현 SSI CEO인 일리야 수츠케버가 캐나다 밴쿠버에서 개최된 NeurIPS 2024에서 진행하여 2024년 12월 14일 공개된 강연 내용을 리뷰해봤습니다.
기본 원칙
일리야팀 연구의 우아함은 그 놀라운 단순함에 있었습니다. 시퀀스 학습에 대한 그들의 접근 방식은 세 가지 핵심 원칙을 기반으로 했습니다:
우리가 한 일을 요약하면 세 가지 요점으로 정리됩니다: 텍스트로 학습된 자기회귀 모델, 대규모 신경망, 그리고 대규모 데이터셋입니다. 이게 전부입니다.
팀의 기본 가설은 인간의 인지와 신경 처리에 대한 강력한 통찰력을 바탕으로 했습니다:
충분히 큰 신경망과 표준 레이어가 있다면, 인간이 1초 안에 할 수 있는 모든 일을 할 수 있습니다.
만약 어떤 사람이 어떤 작업을 1초 안에 할 수 있다면, 10개 레이어의 신경망도 그것을 할 수 있습니다.
데이터 벽
데이터는 AI의 화석 연료입니다. 우리에겐 단 하나의 인터넷이 있을 뿐입니다... 그것은 어떻게든 만들어졌고, 이제 우리가 사용하고 있습니다. 우리는 데이터의 정점에 도달했고, 더 이상은 없을 것입니다.
우리가 알고 있는 사전 학습은 의심할 여지 없이 끝날 것입니다. 컴퓨팅 능력은 더 나은 하드웨어, 더 나은 알고리즘, 더 큰 클러스터를 통해 성장하고 있지만—이 모든 것들이 우리의 컴퓨팅을 증가시키는 반면—데이터는 성장하지 않고 있습니다.
초지능으로 가는 길
더 정교한 AI 시스템으로의 진화에 대해, 수츠케버는 미묘한 관점을 제시했습니다:
결국 이러한 시스템들은 진정으로 주체적이 될 것입니다. 현재는 거의 주체성이 없고, 이제 막 시작단계입니다. 그들은 실제로 추론할 것입니다—그리고 추론에 대해 한 가지 언급하고 싶은 것은, 시스템이 더 많이 추론할수록 더 예측할 수 없게 된다는 것입니다.
생물학적 영감
생물학적 지능과 인공지능 사이의 관계는 여전히 복잡합니다. 수츠케버는 다음과 같이 지적했습니다:
생물학적 영감을 받은 AI를 만들고자 하는 많은 욕구가 있었습니다. 생물학적 영감을 받은 AI가 매우 성공적이라고 주장할 수 있습니다. 모든 학습이 생물학적 영감을 받았기 때문입니다. 하지만 생물학적 영감은 매우, 매우 미미했습니다—그저 '뉴런을 사용하자'는 것이 전부였습니다. 그것이 생물학적 영감의 전부입니다.
미래 전망
앞을 내다보며, 수츠케버는 점점 더 정교하고 예측할 수 없는 AI 시스템을 예측했습니다:
우리는 매우 예측할 수 없는 AI 시스템들을 다루게 될 것입니다. 그들은 제한된 데이터로부터 이해하게 될 것이며 혼란스러워하지 않을 것입니다.
그는 자의식이 자연스럽게 출현할 수 있다고 덧붙였습니다:
자의식은 유용합니다—우리 자신이 우리 자신의 세계 모델의 일부인 것처럼—우리는 오늘날과는 근본적으로 다른 특성과 속성을 가진 시스템을 갖게 될 것입니다.
그리고 그는 향후 유망한 연구방향으로 다음 세 가지를 꼽았습니다.
- 에이전트
- 합성 데이터
- 테스트 타임 컴퓨팅
이 중에서 에이전트는 "자율성"을 가진 인공지능을 말합니다. 명확한 목적이 있고, 주변을 관찰하고 스스로 다음 행동을 결정하는 특징이 있습니다. 여기에 대해서는 일전에 리처드 서튼 교수의 강연에서 다룬 적이 있습니다.
그리고 합성 데이터는 LLM을 통해 인공적으로 생성한 데이터를 말합니다. 여기에 대해서는 일전에 안드레이 카파시의 인터뷰에서 다룬 적이 있습니다.
그리고 테스트 타임 컴퓨팅은 OpenAI o1 모델로 대표되는 AI와 트리 탐색을 조합한 방식입니다. 여기에 대해서는 일전에 OpenAI 노암 브라운 박사의 강연에서 다룬 적이 있습니다.
리뷰
일리야 수츠케버는 다른 수식어가 필요없는 AI 업계의 슈퍼스타입니다. 토론토 대학에서 제프리 힌튼 교수의 연구실에서 시작해서, 구글 브레인을 거쳐, OpenAI에서 ChatGPT를 만들고, 지금은 본인이 직접 창업한 회사 SSI (Safe Superintelligence Inc.)를 이끌고 있는 일리야는 일찍부터 더 많은 컴퓨팅으로 더 많은 데이터를 학습시키면 인공지능의 성능이 좋아진다는 확장의 법칙을 최초로 발견한 사람이기 때문입니다.
그런 그의 의견이기 때문에 트위터에서는 "(사전 학습에서) 확장의 법칙은 끝났다"는 일리야의 선언이 주말 동안 크게 화제가 되었고, 혹자는 우스개로 일리야의 발표를 보고 영화 듄의 대사 "리산 알 가입!"을 외치고 말았다는 농담을 하기도 했습니다.
이번 일리야의 선언은 업계의 방향을 바꿀 정도로 중요한 선언임은 분명해 보입니다. 불과 몇달 전 Anthropic CEO 다리오 아모데이가 앞으로 확장의 법칙이 몇년은 더 갈거라는 전망을 다루었었는데, 2024년 12월을 기점으로 이제 컴퓨팅의 확장으로 인한 성능 개선은 끝이라는 선언으로 다른 국면으로 접어들 것으로 보입니다.
의견을 남겨주세요