Keras의 창시자 프랑소와 숄레가 말하는 생성형 AI의 현주소

Keras를 만든 구글의 엔지니어이자 제가 평소 Follow 하고 있던 또 한명의 천재 프랑소와 숄레가 유튜브 채널 Dwarkesh Patel과 진행하여 2024년 6월 12일 공개된 인터뷰 내용을 리뷰해봤습니다.

LLM은 아직 갈길이 멀다

LLM은 단순히 많은 정보를 기억했다가 꺼내 쓰는 것에 불과한 것이므로 진짜 사람 수준의 지능을 가졌다고 말할 수 없다. 진짜 사람 수준의 지능이란, 아주 제한된 학습 데이터만을 가지고도 이를 일반화해 처음 만나는 상황에서도 문제를 해결할 수 있는 수준을 말한다.

개와 고양이를 구별하기 위해 사람은 단 몇장의 사진만 보면 되지만, CNN 모델은 수만장의 사진이 필요합니다. 인간의 두뇌는 인공지능과는 비교도 할 수 없이 아주 적은 학습 데이터만 가지고도 아주 빠르고 정확하게 대상을 분류해낼 수 있습니다.

똑같은 수학 문제를 풀어도 원리를 이해하지 못한 채 비슷한 문제를 풀었던 경험에 기반하여 그때 적합한 공식을 떠올려서 문제를 풀었다면, 이것은 그저 검색을 잘했을 뿐 진짜 지능이라고 보긴 어렵다는 것입니다. 외워서 100점을 맞은 사람과 원리를 이해해서 100점을 맞은 사람을 구별해야 된다는 이야기죠.

지금의 LLM이 규모를 키울 수록 성능이 좋아지는 것도, 여전히 환각을 일으키는 것도 프랑소와는 바로 이것때문이라고 이야기합니다. 학습량을 늘리면 꺼내쓸 수 있는 공식이 많아지니 더 많은 상황에 대처가 가능해지는 거고, 꺼내쓸 수 있는 공식을 못찾거나 잘못 찾으면 환각을 일으키는 것이지요.

그런데 외운 공식으로 문제를 푸는 것은 사실 사람도 마찬가지입니다. 정말 소수의 몇몇을 제외하면 대부분은 공식을 달달 외워서 상황에 대처하며 살고 있지요. 그런데 프랑소와는 여기서도 인공지능과 인간 사이에 차이가 있다고 합니다. 현재의 인공지능은 검색을 얕게 하고 있는 반면, 인간은 꼬리에 꼬리를 무는 사고를 통해 검색을 깊게 할 수 있죠.

내용을 정리해보자면 이런 것 같습니다. 우리가 "지능"이라고 부르는 개념은 다시 다음 세 가지 레벨로 구분이 가능한 것 같습니다.

그래서 프랑소와는 현재 인공지능의 위치는 3번인데 1번으로 가면 베스트고 못해도 2번으로는 가야 우리가 말하는 AGI (Artificial General Intelligence)까지 갈 수 있다고 말하는 것 같습니다.

잘 생각해보면 프랑소와의 이 주장은 현재 인공지능에게는 인간의 사고과정에 대한 데이터가 부족하다는 인사이트와도 결을 같이 합니다. 역시 천재끼리는 통하는 게 있는 걸까요?

백만불 상금이 걸린 ARC Prize

진짜 사람 수준의 지능을 가졌는지 평가하기 위한 테스트 방법을 개발했고, 이걸로 상금 100만불을 지급하는 대회 ARC Prize를 만들었다.

프랑소와는 2번으로 가는 길을 앞당기기 위해 ARC Prize라는 대회를 만들었습니다.

저도 한번 재미로 문제를 풀어봤는데 오래전 풀어봤던 IQ 테스트 같더군요.

문제는 왼쪽의 예시를 보고 TEST 그림을 완성하는 것입니다. 예시는 단 2개만이 주어지기 때문에 지금의 인공지능이 학습하기에는 턱없이 부족한 정보지요. 하지만, 사람이라면 이 문제가 사각형을 완성하는 문제라는 것을 쉽게 알 수 있습니다. 사람에게는 너무나 쉬운 문제이지만, 인공지능에게는 너무나 어려운 문제인 것이지요.

100만불의 상금을 받을 수 있는 Grand Prize는 이 테스트에서 85점 이상을 받는 모델을 만드는 것입니다. 현재까지 1위는 46점을 받은 MindsAI라는 곳이군요.

성과를 공유해야 발전이 빨라진다

OpenAI가 정보를 공유하지 않는 문화를 업계에 퍼트려서 AGI의 등장이 최소 5년에서 10년 정도 미뤄졌다.

프랑소와는 OpenAI가 AGI의 등장을 상당히 뒤로 미뤘다고 주장합니다. AGI를 만들기 위해서는 많은 시도가 필요한데, OpenAI가 주목을 끌면서 업계의 인적, 물적 자원이 모두 LLM을 만드는 곳으로만 집중되고 있다고 합니다. 필연적으로 다른 연구분야는 지원이 줄어들어 성과가 더디게 나오게 되겠지요.

뿐만 아니라, 이전까지와는 달리 OpenAI는 논문을 발표하더라도 기술적인 디테일을 공유해주지 않기 때문에 업계의 다른 연구자들이 이 논문에 기반해 다른 연구를 진행하기가 어렵다고 합니다. OpenAI의 등장 이전까지만 하더라도 그 유명한 Attention is all you need 논문같이 여러 기관들의 연구자들이 소속에 관계없이 협력하여 인공지능의 빠른 발전을 가져왔는데, OpenAI는 이런 논문의 열매만 쏙 빼먹고 자신들의 발견은 업계와 나누지 않기 때문에 OpenAI에서 이미 푼 문제를 업계에서 다시 풀어야 하는 중복 연구가 일어나고 있다는 거죠.

프랑소와가 ARC Prize를 만든 이유도 여기에 있다고 합니다. 이렇게 대회를 만들어 연구자들이 다시 성과를 공유하는 장을 만들면 업계의 발전이 다시 빨라질 것을 기대하고 있다고 하네요. 그의 노력이 좋은 결실로 이어지길 응원해봅니다.

오랫동안 벼르고 있던 영상 속에서 정말 많은 인사이트가 쏟아지니 그동안 고생했던 보람이 느껴지는 즐거운 경험이었던 것 같습니다.