#설계가 아니라 규모만 늘리면 성능이 좋아진다. 왜 좋아졌는지는 모른다. 이게 요새 AI전쟁의 핵심이자 문제점이군요.
- 챗GPT, 클로드를 비롯한 생성형 AI 모델 탄생에 여러 계기점이 있는데, 그중 하나가 오픈AI 연구진들이 2020년에 내놓은 "신경망 언어모델의 스케일링 법칙(Scaling Laws for Neural Language Models)"이라는 논문이다.
- 이 논문의 핵심 결론은 잘 알려져 있다. 언어모델의 성능은 '설계를 잘하느냐'가 아니라 '데이터 학습량, 계산량, 매개변수(parameter) 규모를 얼마나 키우느냐'에 따라 좌우된다는 것이다.
- 똑똑한 구조를 새로 발명하는 것보다, 기존 구조를 크게 만들고 데이터를 많이 먹이고 계산량(compute)을 많이 투입하면 성능이 규칙적으로 좋아진다는 스케일링 법칙(Scaling Law).
- 문제는 규모가 커짐에 따라 AI 성능이 얼마나 개선되는지는 거의 정확히 알아낼 수 있는데, 도대체 왜 성능이 좋아지는지에 대해서는 아는 게 거의 없다는 점이다.
- 근본적으로, 스케일링이 작동하는 이유는 무엇입니까? 왜 우주는, 충분히 폭넓게 분포된 데이터에 엄청난 계산량을 쏟아부으면 그것이 지능을 갖게 되는 식으로 되어 있는 걸까요?
- 사실 언어모델 설계도에 해당하는 트랜스포머(Transformer) 아키텍쳐는 2017년에 발표된 논문 <어텐션이 필요한 것의 전부다(Attention is All You Need)>로 사실상 완성된 것이나 다름없다.
- 10년 가까이 지난 지금도 대부분의 AI 모델 아키텍쳐는 큰 변화나 발전이 없다. GPT가 'Generative Pretrained Transformer(사전학습된 생성형 변환기)'의 약자 아닌가.
- 설계도면은 있지만 성능 개선이 문제였다. 그런데 데이터 학습량, 계산량을 늘려보고 매개변수도 늘렸더니 성능이 엄청나게 좋아지기 시작했다. 설계는 그대로 두고 규모만 늘렸을 뿐인데 말이다. 게다가 규모를 10배 키우면 성능이 얼마나 좋아지는지 거의 정확한 예측이 가능하다는 점(스케일링 법칙)까지 알게 된 것이다.
- 여기서부터 AI 업계는 무지막지한 규모 전쟁을 시작하게 된다. 그래서 '대규모 언어모델(LLM)'이 탄생한다. 데이터 학습량을 늘려야 하니 병렬학습에 최적화된 GPU가 대규모로 필요해지고, 이 성능을 높이기 위해 HBM, DRAM 등의 메모리도 동원되어야 했다. 이것들을 모두 결합한 대규모 데이터센터 열풍도 여기에서 출발한 것이다.
- 한번 시작된 전쟁은 브레이크가 듣지 않는다. AI 효능이 확인되고 스케일링 법칙이 발견되자, 규모를 늘리는 길 외의 다른 길은 아무도 찾지 않았다. 남들이 선점하기 전에 데이터센터를, 남들이 개발하기 전에 GPU와 메모리 칩 대량생산을 하는 것만이 살 길이 된다.
- 하지만 도대체 왜 성능이 좋아지는지에 대해서는 아직까지도 밝혀진 바가 없다. 성능만 좋아지면 되지 뭐가 문제냐고? 앞에서 언급한 아스피린 사례를 비롯해, 인류 역사에서 효능만 믿고 남용하다가 톡톡한 대가를 치른 적이 한두번인가.
- 트랜스포머 아키텍쳐는 분명 인간이 '발명'한 설계도다. 여기에 거대한 언어, 이미지, 코드 데이터의 혼합물을 학습시켜 놓고 나니, 그 안에서 생각지도 않았던 많은 기능이 튀어나온다는 사실을 알게 된 건 '발견'에 가깝다. 어떻게 이런 기능이 발현되는 것인지, 혹시 파멸적인 부작용은 없는 것인지, 아직 아무도 알지 못한다.
# 기사요약글입니다. 원문은 링크를 확인하세요
의견을 남겨주세요