토큰 가격이 계속 비싸지는 이유

이번에 Moonshot AI 에서 Kimi K3 를 발표했습니다. 오픈 웨이트 모델인데, 가격을 보고 조금 놀랐는데요. 백만 토큰당 입력 $3, 출력 $15 입니다. 이 가격 어디서 많이 보셨죠? 네, Claude Sonnet 5 와 정확히 같은 가격입니다.

"중국 모델은 일단 싸고 본다" 는 공식이 있었잖아요? 이번 K3 는 그 공식을 정면으로 깨버렸습니다. 오늘은 왜 토큰 가격이 계속 비싸질 수밖에 없는지, 그리고 우리는 어떻게 대비해야 하는지 이야기 해보려고 합니다.

Kimi K3, 얼마나 올랐을까?

일단 숫자부터 정리해 봅시다. Kimi K3 의 가격은 입력 백만 토큰당 $3, 출력 백만 토큰당 $15 입니다.^[1]​ 전작인 K2.6 가 입력 $0.95, 출력 $4 였으니까 한 세대 만에 3~4 배가 오른 셈이죠.

이 가격이 의미하는 바가 뭘까요? 지금까지 오픈 웨이트 모델은 "성능은 조금 떨어지지만 일단 싸다" 는 포지션이었는데, K3 는 성능을 프론티어 급으로 올리면서 가격도 프론티어 급으로 함께 올려버렸습니다.

참고로 현재 주요 모델들의 백만 토큰당 가격을 정리하면 아래와 같습니다.^[2]​

재밌는 포인트가 하나 더 있습니다. Sonnet 5 는 표시 가격이 Sonnet 4.6 과 같은데, 새 토크나이저가 같은 텍스트를 최대 30~40% 더 많은 토큰으로 쪼갠다고 합니다.^[3]​ 즉, 겉으로 보이는 가격은 그대로인데 실질 가격은 슬쩍 오른 것이죠. 토큰 가격은 이렇게 눈에 보이는 숫자가 그대로인 것처럼 보여도 계속 오르고 있습니다.

왜 비쌀까? 파라미터와 추론 비용

그렇다면 K3 는 왜 이렇게 비싸진 걸까요? 저는 이유가 꽤 명확하다고 봅니다. 바로 파라미터 수입니다.

K3 는 2.8T(2.8 조) 파라미터 를 가지고 있습니다. 현재 오픈 웨이트 모델 중에서 가장 큰 모델이죠. 전작 K2 가 1T 였으니 거의 3배 가까이 커진 셈입니다.

파라미터가 많으면 왜 추론 비용이 비싸질까요? 어렵지 않게 설명해 보겠습니다. K3 같은 MoE(Mixture-of-Experts) 모델은 토큰 하나를 처리할 때 모든 파라미터를 다 쓰지는 않습니다. 896 개의 전문가(expert) 중 16 개만 골라서 쓰죠. 그래서 토큰당 연산량 자체는 2.8T 치고는 적은 편입니다.

하지만 여기서 중요한 점이 있습니다. 일부만 쓴다고 해도 2.8T 라는 가중치 전체를 메모리에 올려두고 서빙 해야 한다는 겁니다. 필요할 때 언제든 꺼내 쓸 수 있게요. 즉, 모델이 커질수록 서빙에 필요한 GPU 와 메모리는 계속 늘어나고, 이 비용은 결국 토큰 가격에 반영될 수밖에 없습니다.

실제로 K3 는 추론(thinking)이 항상 켜져 있는 모델이라 초당 약 28 토큰, 첫 토큰이 나오기까지 약 4초가 걸린다고 해요.^[4]​ 크고 무거운 모델은 느리고 비쌉니다. 이건 어쩔 수 없는 물리입니다.

그렇다면 클로드는 얼마나 클까?

여기서부터는 공개된 정보가 아니라 제 추측임을 먼저 밝혀둘게요. 클로드 모델들은 파라미터 수가 공개되어 있지 않습니다. 하지만 가격표를 보면 대략 감이 옵니다.

Opus 4.8 은 $5/$25, Fable 5 는 $10/$50 입니다. K3 가 2.8T 에 $3/$15 라는 걸 생각해 보면, Opus 는 최소 3~5T 규모로 스케일업 되었을 거라고 조심스럽게 추측해 봅니다. 그리고 제 추론으로는 Fable 은 아마 10T 에 가깝지 않을까 싶어요.

물론 아키텍처 효율이 다르니 파라미터 수와 가격이 정확히 비례하는 건 아닙니다. 다만 제가 말하고 싶은 건 이겁니다. 가격표는 결국 스케일의 그림자라는 거죠. Anthropic 이 Opus 보다 두 배 비싼 Fable 이라는 새 가격대를 만들었다는 건, 그만큼 더 크고 비싼 모델을 서빙하고 있다는 뜻이니까요.

지능과 비용은 함께 오른다

이 구조를 이해하려면 스케일링 법칙(Scaling Law) 을 간단하게 짚고 넘어가야 합니다. 스케일링 법칙이 뭐냐면, 모델의 파라미터와 데이터, 컴퓨트를 늘리면 성능이 멱법칙(power law) 으로 예측 가능하게 좋아진다는 경험 법칙입니다.

여기서 멱법칙이라는 게 무서운 겁니다. 파라미터를 10배로 늘려도 성능은 조금밖에 안 좋아져요. 그런데 그 "조금" 이 돈이 되기 때문에, 랩들은 계속 10배씩 때려 넣습니다. 그래서 저는 스케일링을 "예측 가능하지만 비싼 진보" 라고 부르고 싶습니다.

다리오 아모데이(Dario Amodei) 가 아주 정확한 말을 한 적이 있습니다.^[5]

풀어보자면 이렇습니다. 동일한 수준의 지능을 만드는 비용은 대략 매년 4배씩 떨어지고 있는데, 우리가 기꺼이 쓰려는 돈은 매년 10배씩 늘고 있다는 거죠. 즉, 같은 지능은 매년 싸지는데, 최고의 지능은 매년 더 비싸지고 있는 것입니다. 작년의 프론티어는 올해 싸게 살 수 있지만, 올해의 프론티어는 작년보다 비싸죠. 그리고 사람들은 항상 프론티어를 원합니다.

스케일을 올리면 올릴수록 지능과 함께 비용이 상승하는 구조. 이 구조에서는 혁신적인 변화가 있지 않는 이상, 토큰 가격은 계속 비싸질 수밖에 없다는 게 제 생각입니다.

그래서 어떻게 해야 할까?

그렇다면 우리는 어떻게 해야 할까요? 솔직히 말씀드리면 저도 아직 정답이 어떤 형태인지 감은 안 옵니다. 다만 방향은 두 가지로 보입니다.

저렴한 모델의 오케스트레이션

첫 번째는 저렴한 모델들을 잘 오케스트레이션 하는 구조입니다. 모든 일을 Fable 이나 Opus 에게 시킬 필요가 없거든요. 간단한 분류나 변환 작업은 Haiku 같은 작은 모델에게, 진짜 어려운 판단이 필요한 구간만 큰 모델에게 넘기는 거죠.

실제로 작업당 비용을 보면 재밌는 숫자가 있습니다. Artificial Analysis 측정 기준으로 K3 는 작업당 약 $0.94, GPT-5.6 Sol 은 $1.04, Opus 4.8 은 $1.80 정도가 든다고 해요.^[6]​ K3 가 토큰당 가격은 Sonnet 급이지만, 답을 더 적은 토큰으로 끝내니까 결과적으로는 더 싸게 먹히는 겁니다. 중요한 건 토큰당 가격이 아니라 작업당 가격이라는 거죠.

토큰을 경제적으로 쓰는 연구

두 번째는 토큰을 경제적으로 사용하는 방법들에 대한 연구입니다. 프롬프트 캐싱, 컨텍스트 엔지니어링, 배치 처리 같은 것들이죠. 캐시 히트 시 입력이 최대 90% 할인되고, 배치 API 는 50% 할인되는 식입니다. 같은 모델을 써도 어떻게 쓰느냐에 따라 비용이 몇 배씩 차이나는 시대입니다.

코딩 플랜만 쓰는 분들에게

마지막으로 꼭 하고 싶은 이야기가 있습니다. 지금 Claude Max ($100~$200), ChatGPT Pro 같은 구독 플랜만 쓰시는 분들은 API 비용에 대한 감각이 아예 없는 경우가 많습니다. "정액제니까 마음껏 써도 되지 않나?" 라고 생각하기 쉬운데요.

근데 최근에 아주 상징적인 일이 있었습니다. Anthropic 이 Fable 5 를 구독에서 빼버렸습니다. 7월 13일부터 Pro/Max 구독자도 Fable 5 를 쓰려면 별도로 크레딧을 사서 토큰당 과금을 해야 합니다.^[7]​ 가장 비싼 모델부터 정액제 밖으로 나가기 시작한 거죠.

이게 무슨 뜻일까요? 무제한처럼 느껴지던 구독도 결국 토큰 비용 위에 서 있다는 뜻입니다. 모델이 커질수록 랩들은 정액제로 감당할 수 없는 모델부터 종량제로 돌리게 될 겁니다.

한번 계산해 보시길 권합니다. 여러분이 하루에 에이전트에게 시키는 작업이 API 기준으로 얼마짜리인지요. 무겁게 쓰는 개발자는 API 기준 월 $1,200 이상도 우습게 나온다고 합니다.^[8]​ 구독료가 비싼 게 아니라, 우리가 그만큼 비싼 토큰을 쓰고 있었다는 걸 모를 뿐이죠.

마치며

오늘은 왜 토큰 가격이 계속 비싸질 수밖에 없는지 이야기해 봤습니다. 정리하면, 지능은 스케일에서 나오고, 스케일은 돈에서 나옵니다. 그리고 아직까지는 이 곡선을 꺾을 혁신이 보이지 않습니다.

그래도 방법이 없는 건 아닙니다. 작은 모델을 잘 오케스트레이션하고, 토큰을 경제적으로 쓰는 기술은 앞으로 점점 중요해질 겁니다. 다음 시간에는 제가 실제로 토큰을 아끼기 위해 쓰는 방법들을 정리해서 공유드려 볼게요.

항상 읽어주셔서 감사합니다 :)