에이전트 AI의 완성: 엔비디아와 CoreWeave의 풀스택 인프라 공개
From Training to Production, NVIDIA and CoreWeave Close the Loop on Agentic AI
NVIDIA Blog엔비디아와 CoreWeave는 에이전트 AI의 개발부터 운영까지 전 과정을 지원하는 통합 플랫폼을 공개하며 최신 인프라를 현장에 적용했습니다.
- 최신 Vera Rubin NVL72 시스템은 실제 소프트웨어 엔지니어링 작업에서 기존 대비 최대 4.8배 높은 토큰 처리량을 기록하며 성능을 입증했습니다.
- CoreWeave Forge를 통해 운영 데이터를 즉시 포착하고 이를 재훈련에 활용하여, 에이전트 성능을 지속적으로 고도화하는 선순환 구조를 완성했습니다.
- 에이전트 개발에 필수적인 저지연 컴퓨팅과 수많은 격리 환경을 위해 전용 CPU와 고성능 샌드박스 인프라를 제공합니다.
CoreWeave는 NVIDIA Vera Rubin NVL72 시스템과 Spectrum-X 102.4T 이더넷 네트워킹을 갖춘 최신 인프라를 발표했습니다. Cognition은 이 플랫폼에서 실제 소프트웨어 엔지니어링 워크로드를 테스트했으며, 그 결과 Devin의 SWE-2 추론 작업에서 GB200 NVL72 대비 최대 4.8배 높은 처리량 증가를 확인하며 성능을 입증했습니다.
AI 워크로드에 맞춰 전용으로 설계된 NVIDIA Vera CPU가 CoreWeave 클라우드에 제공됩니다. 이 CPU는 단일 랙에 128개의 코어와 11,264개의 코어를 배치하여 11,000개 이상의 동시 환경을 지원합니다. CoreWeave Sandboxes를 활용한 테스트에서는 에이전트 시작 시간이 3배 이상 빨라지는 등 고성능의 격리된 실행 환경을 제공했습니다.
CoreWeave는 모델과 에이전트가 운영 데이터를 통해 지속적으로 개선되는 선순환 구조를 완성하기 위해 'CoreWeave Forge' 환경을 출시했습니다. 이 플랫폼은 Weights & Biases와 같은 여러 도구의 전문 지식을 통합하여, 프로덕션 행동 정보를 포착하고 이를 재훈련에 활용할 수 있게 합니다. 또한 CoreWeave Agent Lens는 운영 에이전트 관찰 데이터를 분석하여 실패 감지율을 20% 개선하는 등 지속적인 성능 향상을 지원합니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 샌드박스
- 프로그램을 바깥과 분리된 안전한 공간에서 실행하게 하는 환경.