인프라 뉴스
With Groq 3 LPX in Full Production, NVIDIA Extends Vera Rubin Inference for Agents
NBNVIDIA Blog
엔비디아가 Vera Rubin NVL72 플랫폼에 Groq 3 LPX를 결합하여 에이전트 시스템을 위한 추론 기능을 확장했다.
세 줄 요약
- 오픈 소스 모델 Gemma 4 31B 테스트에서 10만 토큰 컨텍스트 사용 시 초당 3,400개의 출력 토큰을 생성하며 이전 플랫폼 대비 4배 빠르다.
- 에이전트 AI는 복잡한 문제 해결 과정에서 발생하는 지연 시간(decode latency)이 중요해지므로, 이 기술은 응답성을 높인다.
- Nebius가 Groq 3 LPX를 최초로 채택했으며, CoreWeave는 Spectrum-X Multiplane을 배포하며 파트너사들이 도입하고 있다.
엔비디아가 Vera Rubin NVL72 플랫폼에 Groq 3 LPX를 결합하여 에이전트 시스템을 위한 추론 기능을 확장했다.