안녕하세요, 오늘은 Uber Engineering이 최근에 공개한 매우 흥미로운 글을 정리해 드립니다.
AI 코딩 도구를 도입하면 생산성은 올라가지만, 비용이 빠르게 불어나는 문제를 많은 팀이 겪고 있습니다. Uber는 이 문제를 꽤 체계적으로 해결한 사례를 공개했습니다.
핵심 수치부터 보겠습니다
- 전체 Pull Request의 70% 이상이 로컬 또는 클라우드 에이전트에 의해 생성됨
- 엔지니어들이 만든 에이전트 스킬 3,600개 이상
- 하루 에이전트 스킬 실행 건수 3만 건 이상
- 2026년 2월~8월 동안
- 주간 활성 사용자 7배 증가
- 주간 에이전트 요청 9.4배 증가
- 그럼에도 총 AI 비용은 4월 이후 비교적 안정화
- 특정 모델을 고정한 상태에서 측정한 결과
- 1,000개 요청당 비용: 피크 대비 약 34% 감소
- 세션당 비용: 6월 피크 대비 52% 감소
사용량은 크게 늘리면서 단위 비용은 줄인 것입니다.
Uber가 생각하는 ‘Software Factory’
Uber는 AI 사용을 4개의 계층으로 나눕니다. 계층이 올라갈수록 비용·품질·모델 선택에 대한 통제력이 커집니다.
그리고 에이전트 세션 비용을 여러 항으로 분해해서, 각각을 독립적으로 측정하고 최적화합니다. 단순히 “더 싼 모델을 쓰자”가 아니라, 어디에 토큰이 낭비되는지를 세밀하게 찾아내는 방식입니다.
실제로 적용한 주요 최적화 방법
1. 모델 선택 방식 바꾸기 실제 워크로드로 벤치마크를 만들고, 비용 대비 성능이 가장 좋은(Pareto 최적) 모델을 선택합니다. 특히 서브에이전트는 기본적으로 더 저렴한 모델을 쓰도록 기본값을 설정했습니다.
2. 요청당 토큰 수 줄이기
- 400k 토큰에서 자동 압축
- Reasoning effort 기본값을 Medium으로 설정
- 프롬프트 캐싱 TTL을 1시간으로 연장
- MCP 도구를 미리 다 올리지 않고, CLI나 검색 방식으로 필요할 때만 로드
- Code-Mode 도입: 여러 액션을 하나의 스크립트로 묶어서 실행 → 토큰 사용량 50% 이상(대량 작업은 90% 이상) 절감
3. 불필요한 탐색 턴 줄이기 Uber는 AI Context Graph를 만들었습니다. 2,400만 개의 노드와 8,000만 개의 엣지로 구성된 내부 지식 그래프입니다. 코드, 서비스, 인시던트, PR, 데이터셋 등 30개 이상의 시스템을 연결해 두었기 때문에, 에이전트가 정보를 찾기 위해 헤매는 턴이 크게 줄었습니다.
4. 비용 가시성 강화
- 터미널 상태줄에 실시간 비용 표시
- 지출 티어와 Slack 알림
- 세션 분석 대시보드에서 16가지 안티패턴을 자동으로 찾아주고, 비용 영향과 개선 방법까지 제시
Uber가 강조하는 핵심 메시지
“AI 코딩 비용 증가는 엔지니어링으로 해결 가능한 문제다.”
단순히 단가를 낮추거나 도구를 다운그레이드하는 것이 아니라, 가치 없는 토큰 소비를 제거하는 데 집중했다는 점이 인상적입니다.
그리고 가장 중요한 전략적 전환은 인터랙티브한 개발자 워크플로에서 → 완전 관리형 에이전트로의 이동입니다.
관리형 에이전트 환경에서는 모델 라우팅, 실행 환경, 비용을 훨씬 더 강하게 통제할 수 있기 때문입니다.
Uber의 사례는 “AI를 많이 쓰는 것”과 “비용을 통제하는 것”이 서로 대립하지 않는다는 점을 보여줍니다. 규모가 커질수록 오히려 체계적인 최적화의 효과가 더 커진다는 점도 눈에 띕니다.
여러분 팀에서는 AI 코딩 도구의 비용을 어떻게 관리하고 계신가요? 비슷한 고민이 있으시다면 댓글로 이야기 나눠 주세요.
의견을 남겨주세요