에이전트 AI 성능 평가를 위한 CARGO 프레임워크 소개
CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production
arXiv실시간으로 작동하는 에이전트 AI는 기존의 참고 자료 기반 평가 방식(LLM-as-a-judge)을 사용하면, 다른 엔티티에 적용된 정답 절차를 오류로 오판하는 '참조 인스턴스 발산' 문제가 발생합니다.
- CARGO 프레임워크는 검색된 참고 자료를 단순한 답이 아닌 '절차적 예시'로 활용하고, 주장을 지지/모순/판단 불가 세 가지 상태로 분류하여 모순되는 경우만 패널티를 부과하는 방식으로 작동합니다.
- 본 연구는 복잡한 실무 환경에서 AI의 성능을 측정할 때 단순 정답 여부를 넘어선 미묘한 오류 탐지가 필수적임을 보여주며, 실제 서비스 적용을 위한 새로운 평가 표준을 제시합니다.
- CARGO가 엔티티 값 보호에 중점을 두다 보니 '절차적 오염' 같은 프로세스 상의 구조적 결함 감지에는 취약점이 존재하므로, 평가 시 이러한 측면까지 함께 검토해야 합니다.
실제 운영되는 시스템에서 기존의 참고 자료 기반 -as-a-judge 평가는 한계가 있습니다. 동적 엔티티(지원 사례, 자산 등) 위에서 작동하는 환경에서는 가장 가까운 참고 답변이 올바른 절차를 다른 엔티티에 적용하여 오류로 오판하는 '참조 인스턴스 발산(RID)' 현상이 발생하기 때문입니다.
이에 CARGO 프레임워크는 검색된 참고 자료를 단순한 정답이 아닌 '절차적 예시'로 취급합니다. 이 프레임워크는 주장을 지지, 모순, 판단 불가 세 가지 상태로 분류하고, 오직 모순되는 경우에만 패널티를 부과하는 방식으로 작동하며, 검색 신뢰도에 따라 평가를 게이팅하여 생산 환경에서의 선택적 예측을 가능하게 합니다.
CARGO-Bench(246개 항목) 테스트 결과, 기존의 표준 참고 기반 평가는 엔티티가 전이된 정답 답변 전체를 패널티 처리하여 정보력이 낮았습니다. 반면 CARGO는 잘못된 패널티를 제거하면서도 모순 탐지 회상률을 유지하여 진별 지수(DI)를 0.58 [0.48, 0.68]까지 높이는 성과를 보였습니다.
다만, CARGO가 엔티티 값을 보호하는 데 중점을 두는 과정에서 '절차적 오염'과 같은 프로세스 상의 구조적 결함 감지에는 취약점이 존재한다는 한계점도 확인되었습니다. 따라서 평가 시 이러한 측면까지 함께 검토할 필요성이 제기됩니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.