🎬 OpenAI Sora같은 생성형 AI 모델 만들기?

오늘도 창조의 길을 선택한 오리너, 구독자 님 안녕하세요!

이번 뉴스레터는 AI 모델 바라보는 Y Combinator의 영상 <How To Build Generative AI Models Like OpenAI's Sora>을 기반으로, Sora 모델 구축에 대한 이야기와 함께, 대자본이 아니더라도 더 빠르고 싸게 AI 모델을 구축하는 팀에 대한 이야기를 써봤습니다. 물론, 모델 생성은 험난한 길이지만 YC 배치에 있는 상당수 스타트업들이 AI 지식이나 데이터의 부족에도 0부터 공부해서 모델까지 완성하는게 참 대단하더라구요. Sora에 대한 이야기도 흥미로운 이야기들이 있어서 정리해봤습니다.

물론, 요즘에는 오픈 소스 모델도 많고, API도 잘 발달되어있으니 굳이 모델까지 구축할 필요는 없는 경우가 대부분일겁니다. 그러나 AI에 대해 몰랐던 사람들도 공부하면서 모델을 구축한 이야기를 들어보니, 모델 구축의 허들이 점점 낮아지겠구나 하는 생각이 들었어요.

구독자님이 제한된 자원속에서도 혁신을 이뤄내는 데 작은 자극이 되시길 바랍니다.😎

🐥 이런 아싸이트를 드릴게요

Sora의 작동 원리와 비용

2/15 발표된 OpenAI의 생성형 비디오 모델 Sora의 모델은 어떻게 구축된걸까요?

비디오를 공간적 정보(픽셀)와 시간적 정보(프레임)가 결합된 3차원 매트릭스로 표현하는 방식인데요. 기본적으로 픽셀의 3X3 매트릭스가 있고, 시간 패치와 공간 패치가 있어서 비디오를 만들 수 있습니다. 마치 단어를 GPT에서 토큰으로 나타내듯, 비디오를 SpaceTime 패치로 나타내는 것입니다. 이를 통해 Sora는 비디오의 공간적, 시간적 패턴을 효과적으로 학습할 수 있게 되었습니다.

Sora의 개발에는 다양한 선행 연구가 바탕이 되어있는데요. SpaceTime에는 2018년 발표된 'World Model' 논문이 바탕이 된 것 같습니다. 원래 이 논문은 로봇 공학용으로 나온 내용인데요. 시각적 부분과 시간적 측면을 분리할 수 있다는 개념이 있었어요. 또 2020년 발표된 Google의 'Image is Worth 16x16 Words' 논문은 텍스트에 적용되는 Transformer모델이 이미지에도 적용할 수 있음을 보여줬구요.

얼핏 들어도 복잡해 보이는 Sora는 텍스트 모델과는 차원이 다른 비용이 들어갈겁니다. GPT-4의 경우, 1조 개의 파라미터를 갖고 있는데요. 2차원에다가 텍스트일 뿐인데도 비쌉니다. 영상은 이미지인데다가, 여기에 시간의 축이 들어가니 한 차원 높은 거예요. 파라미터로 치면 10조 정도 될 거구요. GPT-4에는 GPU가 2만~3만 대 정도 필요했던 것을 생각해보면 Sora는 GPU가 10배 정도 더 들어갈겁니다. 20~30만대정도…? (주의: OpenAI는 학습 데이터와 모델에 대해 비밀스러운 편입니다. YC 영상에서 추측하는 내용을 정리한 것입니다.)

모델 구축 vs 남이 만든 모델 쓰기

물론, 우리는 Sora같은 엄청난 모델을 만들 수 있는 여력이 아마도 있기 어려울 겁니다. AI 모델 구축에는 대규모 데이터와 막대한 자금이 필요하다는 것이 일반적인 통념입니다. AI 좀 칠 정도 되려면, GPU 데이터 센터를 가득 채우고 수십억 달러를 모금해야 한다는 밈이 있죠. OpenAI에 준하는 자본력이 아니라면, 모델 개발은 사치이며, 결국 그런 회사들에게 API 비용을 쓸 수밖에 없다는 것이 중론인 듯합니다. 

내 모델을 구축하는데 투자하는 것 vs 오픈 소스 모델을 써서 필요에 맞게 파인 튜닝하는 것. 어떤게 더 좋을까요?

결론적으로, 상황에 따라 다릅니다. 무엇을 만들고 싶은지에 달려 있어요. 기술적 관점에서 판단할 문제 같아보이지만, 자세히보면 비즈니스적 관점에서 판단해야 할 문제입니다. 고객들에게 어떤 가치를 전달하고 싶은지, 어떤 문제를 해결하려 하는지를 고민해야합니다.

자체 모델을 만드는 건 분명 쉬운 일은 아닙니다. 데이터 수집부터 모델 설계, 학습에 이르기까지 많은 시간과 자원이 필요하니까요. 하지만 특정 문제에 대한 독창적인 모델을 만들 수 있고, 문제에 딱 맞는 솔루션을 개발할 수 있다는 장점이 있습니다. 만약 만들 프로덕트가 매우 구체적이고, 니치하다면, 뒤에 설명할 회사들처럼 모델을 훈련시키는 것도 차별화를 획득하는 방법이 될 수 있습니다.

오픈 소스 모델을 쓰면 개발 기간을 크게 단축할 수 있습니다. 이미 잘 만들어진 모델에 자신의 파인 튜닝하면 되니까요. 최신 모델의 성능을 손쉽게 활용할 수 있다는 것도 큰 장점이죠. 하지만 모델의 구조나 학습 방식에 제약이 있을 수 있고, 경쟁사들도 같은 모델을 쓸 가능성이 높다는 건 때에 따라 단점이 됩니다. 결국 차별화된 서비스를 만들기 위해서는 추가적인 노력이 필요할 거예요. 또, 언어적 퀄리티가 중요한 프로덕트라면 GPT-4를 비롯한 LLM 모델을 사용하는 게 더 나을겁니다.

아니면 두 가지 방법을 균형있게 활용하는 것도 방법이 될 수 있습니다. 기본적인 태스크는 공개 모델로 처리하고, 꼭 필요한 부분만 자체 모델로 개발하는 식으로요.

AI 모델 구축에 필요한 3요소: 데이터, 컴퓨팅, 전문성

1. 데이터

데이터는 AI 모델 학습에 필요한 기본 재료입니다. 모델의 성능은 데이터의 양과 질에 크게 좌우되죠. 일반적으로 대규모의 데이터가 필요하다고 여겨졌지만, 최근에는 고품질의 데이터를 사용하거나 합성 데이터를 활용하는 등의 방법으로 적은 양의 데이터로도 우수한 성능을 내는 모델을 만들 수 있게 되었습니다.

2. 컴퓨팅

다음으로 컴퓨팅 파워는 모델을 학습시키고 실행하는 데 필요한 하드웨어 자원을 의미합니다. 덕분에 엔비디아의 실적과 주가가 치솟았죠. 클라우드 서비스를 통해 컴퓨팅 자원을 비교적 저렴하게 이용할 수 있게 되면서 중소 규모의 스타트업들도 AI 모델 구축에 도전할 수 있게 되었습니다.

3. 전문성

마지막으로 전문 지식은 AI 모델 구축에 필요한 도메인 지식과 기술적 역량을 뜻합니다. 최신 AI 연구 동향을 이해하고 이를 문제 해결에 적용할 수 있는 능력이 필요한데, 이는 꾸준한 학습과 경험을 통해 습득할 수 있습니다. 최근에는 풍부한 학습 자료와 오픈 소스 프로젝트들 덕분에 AI 전문 지식의 장벽도 많이 낮아졌습니다.

Y Combinator 스타트업 모델 구축 케이스

앞서말한 AI 모델 구축의 3요소에서 데이터가 적던, 컴퓨팅 리소스를 적게 들이던, AI 지식이 없었더라도 몇 달정도에 AI 모델을 구축한 회사들이 있습니다. 제가 참고한 영상이 Y Combinator다 보니, YC 회사들의 사례를 중심으로 정리했습니다. 참고로, YC에 속한 회사는 MS와 파트너쉽으로 50만 달러의 크레딧을 받을 수 있었는데요.(부럽네요) 컴퓨팅 문제의 상당수를 해결해준 셈입니다. 물론 우리나라 돈으로 6~7억이니 적은 돈은 아니지만, AI 모델을 구축한다고 고려해보면 이 정도 비용으로도 몇 달 안에 모델을 개발한 것은 상당히 고무적인 케이스라고 생각합니다.

Sync labs

Sync labs은 어떤 언어든 영상에 맞게 입모양을 싱크해주는 실시간 립싱크 API를 개발하고 있습니다. 이 팀이 대단한 점은, 한 개의 A100 GPU로 모델을 훈련시켰다는 점이에요. 이게 가능했던 것은, 학습할 영상 데이터의 상당 부분을 저해상도 비디오로 압축시켰기 때문입니다. 1080p 고화질 대신, 241 버전을 사용하면 제곱만큼 연산량이 줄어들거든요.

Sonauto

Sonauto는 Text-to-song 모델을 개발했습니다. Taylor Swift에게 나를 위한 생일 노래를 불러달라고 하면 정확히 그 노래를 만들어 내는 거죠. 이런 종류의 음악 생성모델은 전 세계적으로 2~3개밖에 없습니다. Sonauto가 놀라운 것은, 이 모델이 음악 전공이 아닌 21살 먹은 대학생에 의해, 그것도 무려 2달만에 개발되었다는 것입니다. 관련 논문들을 스스로 찾고 구현해보면서 모델을 완성했다고 하네요.

Metalware

하드웨어 설계 분야에서는 Metalware가 좋은 사례가 될 수 있습니다. Metalware는 하드웨어를 위한 AI 코파일럿인데요. 스페이스X에서 하드웨어 엔지니어로 일했던 사람들이 개발했습니다. 하드웨어에 대한 도메인 지식은 잘 알고 있었지만, AI에 대한 백그라운드는 부족했습니다. AI에 관한 것은 다 새로 배운거에요.

하드웨어 설계 코파일럿을 위해 쓸만한 공개 모델이 없었기 때문에, 데이터 수집부터 학습까지 싹 다 0부터 시작했습니다. 데이터를 수집한 방법이 인상적인데요. 하드웨어 설계에 관한 교과서를 모두 스캔해서 학습 데이터로 사용했습니다. 많은 데이터가 필요한 것은 아니라고 판단했고, 파라미터 수가 적어도 더 저렴하고 부족함없는 GPT 2.5를 사용해서 파인튜닝했습니다. 덕분에 계산 리소스를 더 적게 사용할 수 있었고, 하드웨어 설계 코파일럿 작업을 만들 수 있었습니다. 작업 범위에 제한을 두고, 데이터셋이 고품질이라면 짧은 기간에 저렴한 모델을 사용해도 서비스를 개발할 수 있다는 것을 보여준 사례입니다.

Playground

Playground는 이미지 생성 모델을 개발합니다. 미드저니나 Stable Diffusion보다 후발주자지만, 빠르게 따라 잡고 있으며, 일정 영역은 더 뛰어나기도 합니다. Playground는 이미지 생성 분야 다른 팀 대비 훨씬 더 적은 비용으로 모델을 개발했습니다. Playground를 창업한 Suhail Doshi 이미 Mixpanel로 성공 경험이 있는 프로 창업가인데요. AI쪽으로는 아는바가 없었음에도 불구하고, 한 달 동안 집에 틀어박혀서 AI 논문만 읽었다고 해요. 그리고 Playground를 만들었습니다.

Phind

Phind는 개발자를 위한 AI 검색 엔진을 만드는 회사입니다. Phind도 마찬가지로 대학을 갓 졸업한 학생들이 만든 프로덕트입니다. AI 백그라운드 역시 별로 없었습니다. Phind팀은 학습 데이터를 수집한 것이 아니라, 만들었습니다. 프로그래밍 문제와 그에 대한 솔루션을 대량으로 생성하여 모델을 학습시킨 결과, Stack Overflow보다 나은 성능을 보여주는 모델을 개발할 수 있었다고 합니다. 프로그래밍 대회를 위해 많은 양의 합성 데이터를 만들었어요. 학습 데이터 세트를 AI로 많이 생성했고 그것은 인터넷상에 존재하는 데이터보다 훨씬 더 높은 품질의 것이었습니다. 양 또한 무한하게 만들 수 있었죠.

AI 생성 데이터 ➡️ 학습 데이터로

합성 데이터란, 실제 데이터를 모방한 데이터입니다. 현실 데이터를 대량으로 수집하기 어려운 경우, 생성형 AI와 시뮬레이션을 통해 가상의 데이터를 생성할 수 있다는 것이죠.

물론 합성 데이터에 대해서는 논란의 여지가 있었습니다. AI로 생성된 데이터라면 할루시네이션 이슈도 있을텐데 데이터 품질 보장이 어려울 수 있잖아요. 트위터에서 돌아다니던 밈이 있었는데, 자기 피를 마시는 모기 같은 거였어요. 합성 데이터가 작동하는 방식이 그렇다는 거죠. 하지만 최근에는 합성 데이터가 결국 실제로 작동하는 것으로 밝혀지는 추세입니다.(영상에 따르면) LLM 성능이 점점 높아지면서 데이터의 품질도, 추론 능력도 높아지고 있다는거죠. LLM이 단순히 데이터를 조합하는 것이 아니라 추론할 수 있다면, 아마도 플라이휠 효과가 발생할 수(성장하는 선순환) 있는 것이죠.

제조업 씬에서는 어쩌면 익숙한 메커니즘일 수도 있습니다. 자율주행차 모델을 보면 실제 주행 시간 대신 대량의 시뮬레이션 데이터로 훈련되는 경우가 많거든요. 실제 주행 시간보다 시뮬레이션 시간이 10배 이상 차이 나는 경우도 있죠. 일부 생성 AI 모델에서도 마찬가지로 통하는 사실일 수 있습니다.

Sora의 진짜 혁신은 시뮬레이션이다

그렇다면, Sora가 생성한 자체 비디오를 통해 스스로를 계속 개선하는 것도 가능할까요?

아마도 가능할겁니다. OpenAI는 데이터 소스에 대해 비밀로 하고 있지만, Sora는 분명히 언리얼 엔진이나 유니티 같은 게임 엔진에서 생성된 영상을 사용하고 있을 겁니다. 게임 엔진들은 이미 완전한 물리 시뮬레이터를 가지고 있거든요. 그래서 같은 장면의 여러 가지 배리에이션을 얼마든지 만들 수 있구요. 예를 들어 절벽 위를 지나는 자동차의 예시가 있다면, 게임 엔진에서 카메라를 어디에나 배치할 수 있기 때문에 기본적으로 모든 가능한 카메라 뷰에서 모든 영상을 생성할 수 있을 겁니다. 지난주 레터에서 썼듯, 프로시저럴 기술을 사용하면 게임 엔진으로 생성할 수 있는 데이터는 훨씬 더 많아질거구요.

Sora를 보고 대부분의 사람들은, 영상 컨텐츠로 파생된 엔터테인먼트, 미디어 산업에 대한 미래를 주로 생각하실텐데요. Sora가 생성한 영상이 새로운 물리 시뮬레이션 모델의 학습재료가 될 수도 있습니다. Sora를 구축할 때 게임엔진에서 만든 영상이 학습 데이터로 활용되는 것처럼, 물리적 세계를 시뮬레이션하는 모델을 구축할 때 Sora의 영상이 학습을 위한 새로운 데이터로 활용될 수도 있는거죠. 물론 Sora 영상 생성 비용은 비쌀 것이기 때문에 굳이 이렇게까지 할까 싶을 수도 있지만, 현존하는 물리 시뮬레이션 모델에는 사실 더 큰 비용이 드는 경우가 많고, 기존 모델로 하지 못했던 영역을 열어 줄 수도 있습니다.

기존 시뮬레이션/예측 모델이 주로 고오급 CPU를 써서 복잡한 수학 방정식을 푸는 방식이었다면, AI 모델이 개입되면 GPU를 통한 병렬 연산으로 시공간의 패턴을 추론할 수 있게 되는데요. 우리가 물리 법칙을 명시적으로 알지 못해도, 직관적으로 사물의 움직임을 예측할 수 있는 것과 비슷하게, AI 모델도 물리 법칙을 수식으로 코딩하지 않고, 데이터를 통해 물리적 직관을 학습하는 겁니다. 수학 방정식을 풀면서 해결하던 기존 시뮬레이션 방식에 딥러닝방식을 결합하면, 시뮬레이션의 기존 방식을 개선하거나, 새로운 영역을 도전할 수 있는겁니다.

OpenAI에서도 <Video Generation Models As World Simulator> 아티클에서 공식적으로 Sora가 실제 세상의 범용적 시뮬레이션을 구축하는 데 있어서 유망한 방법임을 연구적으로 밝히고 있습니다.

1. CAD 설계

하드웨어 설계 소프트웨어는 전형적인 물리 기반 시뮬레이션 소프트웨어입니다. 솔리드웍스나 오토캐드 같은 프로그램들이 대표적인 예시인데, 이런 소프트웨어들은 사용자가 그린 도면을 바탕으로 제품의 성능과 안정성을 물리적으로 시뮬레이션 해줍니다. 일반적으로 CAD 설계에 AI가 붙는다고 생각하면 일반인도 하드웨어 설계를 프롬프트로 할 수 있다는 생성 영역을 많이 생각하실텐데요. CAD 설계를 AI 모델로 구축한다고 하면 기존 솔리드웍스나 오토캐드같은 소프트웨어보다 더 빠르고 저렴하다는 이점까지도 생각해볼 수 있습니다.

가령 건물을 설계한다고 해 보죠. 건물에 가해지는 힘과 압력을 계산해서 과연 이 건물이 무너지지 않고 견딜 수 있을지를 미리 컴퓨터로 테스트해 볼 수 있는 거예요. 무너진 후에 다시 설계하는 것보다 훨씬 안전하고 경제적이죠. 문제는 이런 복잡한 수학 계산을 필요로 한다는 거예요. CAD 소프트웨어 내부에는 방대한 물리 방정식들이 코딩되어 있는데요. 그리고 이 방정식들을 풀기 위해 소프트웨어는 수많은 계산을 수행해야만 합니다. 그리고 포트란같은 고전 시스템을 사용하는 경우가 많아서 굉장히 느렸습니다. 게다가 계산량이 늘어날수록 CPU 성능에 한계가 있어서, 시뮬레이션의 정밀도를 무한정 높이는 것도 불가능하구요.

DraftAId는 CAD의 연산 과정 중 일부를 AI 모델로 단축합니다. AI 모델이 기존 설계 데이터와 시뮬레이션 결과를 학습하도록 하는 거죠. 그래서 훨씬 더 빠르고 저렴해요. 뒤에서는 기하학적 계산이 많이 이루어지고 있습니다.

2. 날씨 예측

전통적인 날씨 예측은 방대한 물리 방정식을 슈퍼 컴퓨터가 수학적으로 풀어주는 방식입니다. 이렇게 물리 법칙에 기반해 시뮬레이션한 결과는 사실 완벽하지 않아요. 대기의 움직임은 워낙 복잡해서 모든 변수를 다 고려하는 건 불가능에 가깝거든요. 상세한 예측을 위해서 조밀하게 쪼갤 수록 비용이 기하급수적으로 늘어나게 되구요. 사실상 상업 회사에서 감당할 수 있는 영역이 아니기 때문에, 일반적으로 국가급의 영역입니다. 미국 정부는 날씨를 예측하는 거대한 모델을 만드는 데 10억 달러 이상을 투자했습니다. 미국에서조차 이 무거운 모델을 쓸 수 있는 곳은 연방해양대기청(NOAA) 한 곳이라고 합니다. 최근에는 기후에 대한 이슈가 커지면서 엔비디아, 구글 등 빅테크에서 기상예측모델을 개발하고 있습니다.

그런데, 날씨 예측 모델을 개발하는 Atmo 라는 스타트업이 있습니다. 90TB 정도의 데이터로 날씨 데이터를 학습 시켰는데요. 기존의 수치 예측 모델과 인공 지능 모델을 합친 하이브리드 방식을 씁니다. 수치 예측 데이터와 실제 관측 데이터 간의 패턴을 학습하면서 수치 모델만으로는 설명하기 어려웠던 대기 현상까지도 예측할 수 있게 되는 거죠. 같은 계산을 수행하는데 기존 수치 예측 모델보다 100만배 정도 더 효율적이라고 합니다. 이제 막 시드 라운드를 마감한 스타트업이 10억 달러 이상이 든 미연방해양대기청보다 더 정확한 날씨 예측 모델을 만들 수 있게된거죠.

3. 바이오

잠재력이 큰 바이오에도 빠질 수 없습니다.

Piramidal은 뇌파(EEG) 신호를 분석하고 예측하는 AI 모델을 개발하고 있는 회사입니다. 뇌파 데이터를 활용해 뇌졸중 예측부터 심지어 미래에는 생각을 읽어내는 것까지, 다양한 분야에 적용될 수 있는 기술이에요.

뇌파 신호는 시간에 따라 변화하는 전기적 패턴이라는 점에서 영상 데이터와 유사성이 있어요. 영상이 시간에 따른 이미지의 나열이라면, 뇌파는 시간에 따른 전기 신호의 흐름이라고 볼 수 있죠. 그래서 영상 AI를 처리하는 Sora의 SpaceTime 청크 작업과 유사하게 시간순의 데이터를 작은 덩어리로 나누는 방법을 고안했습니다. 그 결과 단 800시간의 GPT 연산만으로 초기 모델을 학습할 수 있었다고 해요.

diffuseBio는 단백질을 위한 생성 AI를 만들고 있습니다. 신약 개발과 유전자 치료에 활용된 새로운 분자를 만들기 위해 AI 모델을 만드는거에요. 최소한의 리소스로 모델을 구축하려면 전문 지식이 많이 필요했어요. 창업자인 Namrada는 이 분야에서 몇 편의 논문을 네이쳐지에 발표했습니다. 모델에 맞춤형 커널을 구축하면서 훨씬 더 적은 리소스로 훨씬 더 빨리 모델을 구축할 수 있었습니다.

작은 AI 모델을 구축하는 방법

지금까지 나온 내용을 종합해서, 작은 AI 모델을 구축하는 방법을 정리해볼게요.

🦝 구독자님을 위한 오너의 요약

🔜 준비중인 아싸이트 예고