인공지능

OpenAI 노암 브라운 박사가 말하는 새로운 확장의 법칙

테스트 타임 컴퓨트를 통해 1000배 이상의 확장이 가능합니다.

2025.01.08 | 조회 483 |
0
|
주간 Tech Review의 프로필 이미지

주간 Tech Review

IT 업계의 정보와 인사이트를 공유하고 있습니다.

OpenAI 연구원인 노암 브라운박사가 유튜브 채널 Unsupervised Learning진행하여 2024년 12월 7일 공개된 인터뷰 내용을 리뷰해봤습니다.

새로운 확장의 법칙

2021년 후반에 일리야와 커피를 마시며 AGI 타임라인에 대해 이야기를 나눴습니다. 솔직히 말해서 매우 오래 걸릴 것이라고 했죠... 초지능에 도달하려면 추론 컴퓨팅을 매우 일반적인 방식으로 확장하는 방법을 찾아내야 한다고 말했습니다. 이것이 극도로 어려운 연구 과제라고 생각했기에, 최소 10년은 걸릴 거라 했습니다. 하지만 실제로는 2년만에 달성했습니다.

OpenAI 노암 브라운

더 이상 학습할 데이터가 없어서 인공지능의 성능 향상이 정체되고 있다는 일리야 수츠케버, 안드레이 카파시 등의 전망과 함께 실제 Grok 3, GPT-5 등의 출시가 지연되고 있는 가운데 o1, o3로 이어지는 OpenAI의 탐색 기반 모델이 새로운 확장 패러다임으로 등장했습니다. 

탐색 기반, 또는 테스트 타임 컴퓨트 또는 추론 컴퓨팅으로 불리는 이 기법은 LLM으로 하여금 한번에 답변을 끝내지 않고, 여러 가능성의 답변을 먼저 뽑아보고, 검증 로직으로 그 중에서 최적의 답변을 찾아내는 방식입니다. 

기존의 GPT-3, GPT-4 같은 방식이 수학문제를 한 사람이 30초만에 푸는 방식이라고 하면, o1 방식은 같은 수학문제를 100 사람에게 주고 시간도 5분씩 준 다음, 100 사람이 가져온 답 중에 가장 뛰어난 답을 채택하는 방식이라고 할 수 있습니다. 

이렇게 학습 단계에 집중하는 것이 아니라, 추론 단계에 집중한다고 해서, 추론 컴퓨팅이라고 하며, 학습이 아닌 추론할 때 컴퓨팅 자원을 많이 사용하는 방식으로 답변을 얻는데까지의 시간과 비용이 더 많이 드는 대신, 답변의 품질이 더 높다는 장점을 제공합니다.

학습에 10배 더 많은 컴퓨팅을 할당하면, 추론에는 15배 더 적은 컴퓨팅이 필요합니다. 반대로 추론에 15배 더 많은 컴퓨팅을 할당하면, 10배 더 큰 모델을 학습한 것과 같은 효과를 만들 수 있습니다.  

Anthropic 앤디 존스

테스트 타임 컴퓨트의 혁신

테스트 타임 컴퓨트와 관련해서는 아직 초기 단계입니다. 앞으로 확장할 수 있는 여지가 많고, 알고리즘 개선을 위한 낮은 단계의 과제들이 많이 있습니다.

OpenAI 노암 브라운

GPT-2 시대와의 유사성

  • 현재 테스트 타임 컴퓨트는 GPT-2 초기 시대와 비슷한 발전 단계에 있음
  • 확장의 법칙(scaling laws)이 처음 발견되었을 때처럼, 명확한 성능 향상 경로가 보임
  • 낮은 진입 장벽과 높은 실험 가능성을 제공

스케일링의 경제성

  • 기존 사전학습 방식에 비해 비용 효율적인 성능 향상 가능
  • 쿼리당 비용이 현재 약 1센트에서 시작하여 필요에 따라 확장 가능
  • 중요한 문제 해결을 위해서는 더 많은 컴퓨팅 리소스 투자가 가능한 구조

알고리즘적 혁신

  • 단순한 컴퓨팅 파워 증가를 넘어선 질적 향상 가능
  • 문제 해결을 위한 다단계 추론 능력 향상
  • 모델이 스스로 전략을 수립하고 수정하는 능력 개발

o1은 확실히 더 뛰어납니다. 매우 어려운 문제가 있다면, o1이 그것을 해결하는데 매우 뛰어납니다. 대학의 연구자들과 이야기해보면, 보통 박사 학위가 필요한 수준의 어려운 연구 질문들을 다룰 수 있습니다.

OpenAI 노암 브라운

복잡한 추론 능력

  • 다단계 문제 분해 및 전략적 접근 가능
  • 실패한 전략을 인식하고 새로운 접근법 도출
  • 자체적인 오류 감지 및 수정 메커니즘 보유
  • 문제 해결을 위한 체계적인 단계별 접근 방식 구현

자기주도적 학습 특성

  • 명시적 프롬프팅 없이도 효과적인 문제 해결 전략 수립
  • 복잡한 작업을 관리 가능한 하위 작업으로 분할
  • 이전 접근 방식의 실패를 학습하여 개선된 해결책 도출

학술 연구 지원

  • 박사급의 연구 문제 이해 및 해결 방안 제시
  • 복잡한 연구 주제에 대한 심층적 분석 능력
  • 서로 다른 연구 분야에 대한 융합적 맥락 이해 및 통합적 접근

경제적 현실과 기술적 한계

사전 학습 방식으로는 모델을 10배씩 키울 때마다 비용이 급격히 증가합니다. 수십억 달러, 수백억 달러로 늘어나게 되죠. 어느 순간에는 더 이상 경제적으로 타당하지 않게 됩니다. 가성비를 생각한다면, 실제 모델을 사용하는 추론시에만 컴퓨팅을 사용하는 게 바람직합니다.

OpenAI 노암 브라운

AI 개발의 경제적 제약:

  • 비용 증가의 기하급수적 성장
  • 경제적 실현 가능성의 한계
  • 효율성 개선의 필요성

단일 모델로의 수렴

결국에는 단일 모델이 될 것입니다. 현재는 GPT-4o가 어떤 것들에 더 좋고, o1이 다른 것들에 더 좋은 상태입니다. 하지만 궁극적으로 우리가 도달하고자 하는 지점은 하나의 모델입니다. 모든 것을 물어볼 수 있고, 깊은 사고가 필요하다면 그렇게 할 수 있으며, 그렇지 않다면 즉각적으로 좋은 응답을 할 수 있는 모델이죠.

OpenAI 노암 브라운

현재 모델들의 특징:

  • GPT-4o: 빠른 응답, 일상적 태스크에 적합
  • o1: 더 높은 지능, 복잡한 문제 해결에 특화
  • 향후: 이러한 장점들을 통합한 단일 모델

스카폴딩 기법의 한계

많은 프롬프팅 기법들과 스카폴딩 기법들은 장기적으로는 사라질 것입니다. 더 많은 데이터와 컴퓨팅 파워로 잘 확장되는 기술이 궁극적으로 성공할 것입니다.

OpenAI 노암 브라운

스카폴딩의 문제점:

  • 확장성 부족
  • 임시방편적 해결책
  • 장기적 지속가능성 결여

노암 브라운 박사는 지난 한해 인기를 끌었던 Agentic Workflow 기법에 근본적인 문제가 있다는 점을 지적합니다. 인간의 사고과정을 모사하여 아래 그림과 같이 flow chart를 그리지만, 확장성이 부족하다는 것입니다. 가령 아래의 Workflow에 변화를 주고 싶다면, 누군가 조건문과 노드, 엣지를 추가하는 방식으로 항상 관리를 해주어야 한다는 것이죠.

Orchestrator-workers 패턴의 Workflow, 출처: anthropic.com
Orchestrator-workers 패턴의 Workflow, 출처: anthropic.com

이렇게 사람이 한땀한땀 Workflow를 디자인하는 접근법을 노암 브라운 박사는 스카폴딩 기법이라고 명명했는데, 장기적으로 이 방식은 여러 Tool을 활용할 수 있는 단일 모델에 의해 대체될 것이라고 전망하고 있습니다. 

스타트업에 대한 조언

스타트업들에게 있어 이것은 까다로운 문제입니다. 모델이 할 수 없는 것을 가능하게 만들기 위해 스카폴딩과 커스터마이제이션에 많은 투자를 하지만, 모델 자체의 능력이 발전하면서 그런 노력이 무의미해질 수 있습니다.

OpenAI 노암 브라운

주의사항:

  • 6개월간의 스카폴딩 개발이 무용지물이 될 수 있음
  • 모델 자체의 발전 속도를 고려해야 함
  • 장기적 관점의 전략 필요

리뷰

브라운 박사의 인사이트는 AI 발전의 두 가지 중요한 트렌드를 보여줍니다:

  1. 다양한 특화 모델들이 궁극적으로 하나의 통합된 모델로 수렴할 것
  2. 현재의 임시방편적인 해결책들(스카폴딩)은 모델 자체의 능력 향상으로 대체될 것

그동안과는 달리 이번에는 조금 비판적인 시각에서 인터뷰를 보게 되었는데요, 장기적으로는 이 방향이 맞겠다는 생각이 들긴 하지만, 중요한 건 타임라인이겠지요. 브라운 박사가 말하는 그 단일 모델은 과연 언제 나오는 걸까요? 이미 시장에서는 스카폴드 방식으로 수익을 창출하는 AI 기업들이 나타나고 있는데, OpenAI에서 새로운 모델이 나올 거니까 개발을 중단해야 되는 걸까요?

그리고 사실 어플리케이션은 한번 만들고 끝나는 게 아니라 어차피 지속적인 유지 보수와 신기능 출시가 일어나는 성질이 있습니다. 그렇기 때문에 우리는 Git을 통해 꾸준히 협업하며 개선사항을 반영해가지요. DevOps의 발달로 변경 사항의 배포는 이미 매우 높은 수준으로 자동화되어 있습니다. AI 어플리케이션이라고 해서 다를 거라고 생각되지 않고, 고객의 요구에 맞추어 Workflow를 수정하는 것이 지속가능성이 떨어진다고 보기는 어렵지 않을까 싶습니다.

물론 제가 틀릴 수도 있습니다. 어쨌든 사람의 손을 한번이라도 덜 타는 방식이 지속가능성이 높다는 것은 부정할 수 없으니까요. 그리고 연구실의 특성상, 이미 OpenAI 내부에서는 충분히 단일 모델로 스카폴드 기법을 대체할 수 있는 정도의 프로토타입이 나와있을 수도 있지요. o1의 경우에도 내부적으로 2023년 10월에 가장 중요한 기술적 돌파구를 달성했다는 언급이 있었습니다.

만약 그렇다고 하면, 2024년부터 열리고 있는 에이전트 AI라는 거대한 시장에서 OpenAI, Anthropic 같은 소수의 프론티어 모델 제공자에 속하지 않은 사람들은 어떻게 자리를 잡을 수 있을까요? 고민이 깊어지게 만드는 인터뷰였습니다.

 

다가올 뉴스레터가 궁금하신가요?

지금 구독해서 새로운 레터를 받아보세요

✉️

이번 뉴스레터 어떠셨나요?

주간 Tech Review 님에게 ☕️ 커피와 ✉️ 쪽지를 보내보세요!

댓글

의견을 남겨주세요

확인
의견이 있으신가요? 제일 먼저 댓글을 달아보세요 !

다른 뉴스레터

© 2025 주간 Tech Review

IT 업계의 정보와 인사이트를 공유하고 있습니다.

메일리 로고

자주 묻는 질문 서비스 소개서 오류 및 기능 관련 제보

서비스 이용 문의admin@team.maily.so

메일리 사업자 정보

메일리 (대표자: 이한결) | 사업자번호: 717-47-00705 | 서울 서초구 강남대로53길 8, 8층 11-7호

이용약관 | 개인정보처리방침 | 정기결제 이용약관 | 라이선스