Coursera의 창업자이자 스탠포드 대학교 겸임 교수인 앤드류 응 교수가 deeplearning.ai 뉴스레터에 기고한 DeepSeek와 오픈소스에 대한 생각이란 포스트를 리뷰해봤습니다.
중국의 AI 추격
"중국은 생성형 AI 분야에서 미국을 따라잡고 있으며, 이는 AI 공급망에 영향을 미치고 있습니다."
- ChatGPT가 2022년 11월 출시되었을 당시 미국이 생성형 AI 분야에서 크게 앞서 있었음
- Qwen, Kimi, InternVL, DeepSeek 등 중국 모델들의 빠른 성장
- 비디오 생성 등 일부 분야에서는 중국이 선도적 위치 확보
파운데이션 모델 시장의 경쟁 가속
"OpenAI의 o1은 출력 토큰당 60달러의 비용이 들지만, DeepSeek R1은 2.19달러에 불과합니다. 이러한 약 30배의 가격 차이는 많은 사람들의 관심을 끌었습니다."
- 파운데이션 모델 훈련 및 API 접근 판매는 어려운 사업
- 파운데이션 모델 위에서 애플리케이션을 구축하는 것이 더 많은 사업 기회 제공
- LLM 토큰 가격의 지속적인 하락 추세
확장만이 AI 발전의 유일한 길이 아님
"DeepSeek 팀은 H100 대신 성능이 낮은 H800 GPU에서 실행하기 위해 많은 최적화 혁신을 해야 했고, 결과적으로 연구 비용을 제외하고 600만 달러 미만의 컴퓨팅 비용으로 모델을 훈련했습니다."
- 알고리즘 혁신을 통한 훈련 비용 절감 가능성 입증
- 규모 확장 외에도 다양한 혁신 경로 존재
- 컴퓨팅 효율성 향상의 중요성
오픈소스의 중요성
"미국이 계속해서 오픈소스를 억제한다면, 중국이 이 공급망의 일부를 지배하게 될 것이며 많은 기업들이 미국보다는 중국의 가치를 더 많이 반영하는 모델을 사용하게 될 것입니다."
- 오픈 웨이트 모델의 전략적 중요성
- 규제와 혁신 사이의 균형 필요성
- 글로벌 AI 공급망에서의 영향력 경쟁
비즈니스 기회의 변화
"이제 다른 기업들이 수십억 달러를 들여 이러한 모델을 훈련시켰으니, 여러분은 단돈 몇 달러로 이 모델들에 접근하여 고객 서비스 챗봇, 이메일 요약기, AI 의사, 법률 문서 보조원 등을 구축할 수 있습니다."
- 기초 모델 개발에서 응용 서비스로의 기회 이동
- 진입 장벽 하락으로 인한 새로운 스타트업 기회 증가
- 실용적 AI 응용 프로그램 개발의 중요성 증대
최신 모델들의 강화학습 활용
"두 개의 최근 고성능 모델인 DeepSeek-R1(및 DeepSeek-R1-Zero를 포함한 변형)과 Kimi k1.5는 강화학습을 통해 추론 과정을 개선하는 방법을 학습했습니다."
- DeepSeek-R1-Zero는 강화학습만으로도 문제 해결 전략 학습 가능성 입증
- Kimi k1.5는 강화학습을 통해 응답 길이 최적화 달성
- 복잡한 문제 해결을 위한 강화학습의 중요성 증가
강화학습의 새로운 역할
"강화학습은 게임 플레이와 로봇 제어 모델 훈련의 주요 기술이었지만, LLM에서의 역할은 인간 선호도와의 정렬에 국한되어 있었습니다."
- 기존의 RLHF(Reinforcement Learning from Human Feedback)를 넘어선 활용
- 모델의 추론 능력 향상을 위한 새로운 접근법
- AI 발전의 새로운 방향성 제시
규제 완화와 경쟁력 강화
"트럼프 행정부는 바이든의 2023년 규제가 '부담스럽고 불필요했으며', 혁신을 저해하고 AI 분야에서 미국의 리더십을 위협했다고 말합니다."
- AI Action Plan 수립 180일 기한 설정
- 국가 안보와 경제 경쟁력 강화 초점
- 이념적 편향성 없는 AI 시스템 개발 강조
인프라 투자 확대
"OpenAI, Oracle, SoftBank가 공동으로 AI 컴퓨팅 인프라에 1,000억 달러, 4년간 5,000억 달러 투자 계획을 발표했습니다."
- Stargate 프로젝트 통한 대규모 투자
- 에너지 인프라 확충을 위한 정책 지원
- AI 발전을 위한 국가적 차원의 지원 강화
AI 에이전트의 발전
"OpenAI는 사용자를 대신해 간단한 웹 작업을 수행하는 AI 에이전트인 Operator를 도입했습니다."
- 웹 브라우징과 작업 자동화 기능 강화
- Computer-Using Agent(CUA) 모델 도입
- 실용적 AI 응용의 새로운 지평 개척
시장 영향력
"초기 보고에서 사용자들은 Operator가 때때로 동일한 작업을 수행하는 인간보다 덜 효율적이라고 말했습니다."
- 소비자 시장에서의 AI 에이전트 도입 가속화
- 사용자 경험 중심의 개선 필요성
- 차세대 제품 개발의 템플릿 역할
리뷰
전 OpenAI 창립멤버이자 Tesla 인공지능부서 디렉터를 역임한 천재 개발자 안드레이 카파시는 일찌기 앞으로의 모델은 마치 컴퓨터의 크기가 집채만한 사이즈에서 손바닥 위에 올라갈 정도로 작아지듯이 인공지능 모델의 크기도 점점 작아질 것을 예견한 바 있습니다.
DeepSeek R1의 등장은 이 예견이 맞다는 것을 곧바로 보여주었죠. 상식적인 수준에서 당연히 이렇게 흘러갈 거라는 건 사실 누구나 생각할 수 있었지만 이렇게까지 빨리 발전할 줄은 몰랐습니다.
이번 일을 두고 트위터에서 자주 보였던 문구는 "There is no moat in AI", 즉 AI에선 해자(성벽을 둘러싼 방어용 연못)가 없다는 말이었습니다. 오픈소스 모델이 상업용 모델을 금새 따라잡을 수 있기 때문에 상업용 모델의 입장에서는 비싸게 과금하기도 점점 힘들어지는 것이죠.
여러 기업들에서도 발빠르게 DeepSeek을 제공해주기 시작했습니다. DeepSeek를 써보고 싶은데 중국기업에 개인정보를 제공하는 것이 불편한 고객들을 위해서 자사 데이터센터에서 모델을 제공해주는 것이죠. 오픈소스 모델이다보니 직접 자신의 컴퓨터에 설치하는 것도 물론 가능합니다.
영어 표현 중에서 Commodity라는 단어가 있습니다. 직역하면 원자재 정도가 되는데요. 꼭 철강, 석유같이 물리적인 원자재가 아니더라도 전기, 수도와 같이 누가 공급하는지에 크게 상관이 없는 기반 소재를 이야기합니다. 이런 원자재의 특징은 규모의 경제, 가성비가 중요하다는 점이죠.
이번 기고문에서 가장 중요하다고 느껴진 앤드류 응 교수의 인사이트는 바로 AI, 그 중에서도 파운데이션 모델이 원자재화되고 있다는 것이었습니다. 즉, OpenAI, Anthropic, Google과 같이 파운데이션 모델을 직접 만드는 과점기업들은 그동안 자신들만의 고유한 특수 능력으로 고객들을 붙잡아두려고 했었는데, 이게 점점 어려워지고 있는 것이죠.
고객을 붙잡아두기 위해 집중해야 할 영역은 바로 어플리케이션 영역이라는 것이었고요, 이것은 다른 말로는 특정 영역(버티컬)에서 전문가에 준하거나 뛰어넘는 버티컬 AI가 "해자"를 구축할 수 있는 영역이라는 것이지요.
앤드류 응 교수의 인사이트는 일전에 리뷰한 Y Combinator 파트너들의 인사이트와도 맥을 같이 합니다.
이미 Thomson Reuters는 법률, Intuitive Surgical과 Isomorphic Labs는 의료, Cursor는 코딩, Booking.com은 여행, SoundHound는 음성 이런식으로 버티컬 AI들이 속속 등장하고 있습니다. 2025년에는 이런 트렌드가 더욱 가속화될 것으로 보이므로 이 흐름에 맞게 행동할 필요가 있어 보입니다.
의견을 남겨주세요
petercha90
좋은 정보, 좋은 글 감사합니다 :) 잘 읽었습니다!
주간 Tech Review
감사합니다!
의견을 남겨주세요