AI 에이전트 연구
FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management
ARarXiv
FinSkillBench는 투자 관리에서 AI 에이전트가 금융 도메인 스킬을 얼마나 잘 쓰는지 측정하는 평가 스위트를 소개합니다.
세 줄 요약
- 12개 하위 작업과 2,603개 에피소드를 포함하며, 선별된 스킬 패키지는 평균 점수를 0.366에서 0.528로 높였습니다.
- 투자 관리 에이전트에서 믿을 만한 절차 스킬 접근이 모델 선택 못지않게 중요하고, 단순 자기 생성 스킬은 효과가 적습니다.
- 자기 생성 스킬은 계산 비용이 더 크지만 이득이 적었고, 독립 평가에서도 방향은 같았지만 효과 크기는 하위 작업과 프레임워크에 따라 달라졌습니다.
FinSkillBench는 투자 관리에서 AI 에이전트가 금융 도메인 스킬을 얼마나 잘 쓰는지 측정하는 평가 스위트를 소개합니다.