안녕하세요. 은호입니다.
엔비디아는 실제 코딩 에이전트의 문맥 증가와 도구 호출, 서브에이전트 실행을 재현한 AgentX 테스트 결과를 공개하며 Vera Rubin NVL72의 전력당 처리량을 앞세웠습니다. AI 서비스가 단순한 질의응답을 넘어 코딩과 검색, 도구 실행처럼 더 복잡한 작업으로 확장되면서 데이터센터에서는 칩의 최고 연산성능보다 제한된 전력과 설비 안에서 얼마나 많은 요청을 안정적으로 처리할 수 있는지가 더 중요해지고 있습니다.
여기에 OpenAI가 자체 추론칩 Jalapeño의 첫 실측 결과를 공개하면서 경쟁 구도도 넓어졌습니다. 엔비디아의 범용 플랫폼과 대형 AI 사업자의 자체 가속기가 동시에 성능과 비용을 끌어내리기 시작한 만큼, 이제 추론 인프라는 개별 칩의 연산성능뿐 아니라 실제 서비스에서 얼마나 많은 작업을 안정적으로 처리하고 비용을 낮출 수 있는지까지 함께 봐야 하는 단계로 넘어가고 있습니다.
