AI 에이전트 연구
Where Does Harness-Optimization Value Live? Localized Gains and the Budget-Splitting Trap in Self-Evolving LLM Agents
ARarXiv
LLM 에이전트의 성능을 높이는 '가이드라인(harness)'을 단일 문자열로 최적화하는 대신, 역할, 전략 등 기능별 슬롯으로 분해하여 분석했습니다.
세 줄 요약
- 분석 결과, 전체 성능 향상 폭은 크지 않았으나 최적화 가치는 '반성/제어' 같은 특정 핵심 슬롯에 집중되어 있으며, 예산을 균등하게 나누는 것은 비효율적이었습니다.
- 이는 에이전트 개선 시 전체 프롬프트 최적화보다 어떤 기능(예: 자기 성찰)에 가장 큰 가치가 있는지 먼저 파악하는 '신용 할당' 과정이 중요함을 보여줍니다.
- 다만, 최적화 효과는 작업 환경에 따라 달라지며, 슬롯별 예산을 너무 적게 분할하면 오히려 학습 효율이 떨어질 수 있다는 한계도 확인했습니다.
LLM 에이전트의 성능을 높이는 '가이드라인(harness)'을 단일 문자열로 최적화하는 대신, 역할, 전략 등 기능별 슬롯으로 분해하여 분석했습니다.