모델 연구
trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories
ARarXiv
LLM 에이전트의 성능을 평가하는 일반적인 '결과 중심' 방식은 최종 결과만 보기 때문에 과정상의 오류를 놓치는 근본적인 한계가 있습니다.
세 줄 요약
- 연구에 따르면, 단순히 정답 여부만 보는 것보다 문제 해결 과정을 단계별로 추적하는 '단계 기반 평가'가 오류 탐지율과 정확도 면에서 훨씬 우수합니다.
- 따라서 LLM 에이전트의 신뢰성을 검증하려면 최종 결과뿐 아니라, 문제를 해결한 과정 전체를 단계적으로 분석하는 것이 필수적입니다.
- 다만, 완벽한 과정을 사소하게 조작하여 규칙을 우회할 수 있는 취약점이 발견되었으며, 단계별 평가는 비용 증가라는 단점도 고려해야 합니다.
LLM 에이전트의 성능을 평가하는 일반적인 '결과 중심' 방식은 최종 결과만 보기 때문에 과정상의 오류를 놓치는 근본적인 한계가 있습니다.