AI 에이전트 연구
아르고-벤치: 기업 규모 데이터 에이전트 평가 프레임워크 소개
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
arXiv데이터 에이전트의 능력을 평가하는 새로운 프레임워크 '아르고-벤치'가 개발되었습니다. 이 벤치는 단순 질의 생성을 넘어 복잡한 기업 규모의 실무 워크플로우 수행을 목표로 합니다.
세 줄 요약
- 단순히 데이터를 조회하는 것을 넘어, 가짜 계정 차단이나 예산 할당 같은 실제 '행동'을 취하게 하고 시뮬레이터가 그 결과를 평가합니다. 현재 최고 성능 모델들도 평균 59.5점 수준에 머물렀습니다.
- 기존의 학술적 벤치마크는 단일 테이블 기반으로 실무 환경을 반영하지 못했지만, 아르고-벤치는 에이전트가 실제 기업 데이터베이스를 탐색하며 문제를 해결하는 능력을 검증합니다.
- 오라클 E-비즈니스 스위트를 모방한 235개 테이블, 75억 건의 대규모 가상 데이터를 사용합니다. 에이전트는 정답 정보를 받지 못하고 스스로 사실 관계를 재구성해야 합니다.
데이터 에이전트의 능력을 평가하는 새로운 프레임워크 '아르고-벤치'가 개발되었습니다. 이 벤치는 단순 질의 생성을 넘어 복잡한 기업 규모의 실무 워크플로우 수행을 목표로 합니다.