LLM 예측 에이전트 학습을 위한 시뮬레이션 환경 공개
Forecast-Dojo: Replayable Environments for Benchmarking and Training LLM Forecasting Agents
arXivLLM 예측 에이전트의 성능 평가 및 학습을 위한 재현 가능한 환경 'Forecast-Dojo'가 공개되었습니다. 이 시스템은 실제 예측 시장 질문과 날짜별 뉴스를 결합하여 시간 흐름에 따른 시뮬레이션을 가능하게 합니다.
- 평가 결과, 에이전트가 연구 도구를 활용할 경우 새로운 증거(dated evidence)가 기록될 때마다 예측 정확도(Brier score)가 개선되는 것이 확인되어 학습 과정의 중요성을 입증했습니다.
- 이는 단순한 단일 시점 예측을 넘어, 시간 경과에 따른 정보 검색 및 추론 과정을 체계적으로 훈련할 수 있게 하여 LLM 에이전트 연구 발전에 큰 진전을 가져올 전망입니다.
- 다만, 테스트된 모든 모델은 여전히 역사적 시장 예측 수준에는 미치지 못했으며, '신념 노트' 같은 보조 도구는 비용 절감 효과는 있으나 성능 향상에 기여하는 바는 제한적이었습니다.
연구진은 예측 를 벤치마킹하고 훈련하기 위한 재현 가능한 환경인 'Forecast-Dojo'를 소개했다. 이 시스템은 해결된 예측 시장 질문과 날짜별 뉴스를 결합하여, 에이전트가 특정 사건에 대해 연구한 후 연속적인 과거 시점의 데이터를 바탕으로 자신의 예측을 다시 검토할 수 있도록 한다. 이를 통해 새로운 이벤트 발생을 기다릴 필요 없이 반복적인 평가와 훈련 상호작용 데이터 수집 및 기록된 결과 피드백이 가능하다.
Forecast-Dojo는 총 1,568개의 Polymarket 이벤트를 포함하며, 이는 학습 기간과 평가 기간으로 분할되어 있다. 또한 18.8M에 달하는 날짜별 뉴스 기사를 제공한다. 12개 모델을 대상으로 한 평가 결과, 연구 도구를 활용한 경우 모든 모델에서 Brier 점수가 낮아지는 것이 확인되었다. 특히 새로운 날짜의 증거가 기록될 때마다 예측 성능이 개선되는 경향을 보였다.
다만, 테스트된 모든 모델은 여전히 역사적 시장 예측 수준에 미치지 못했으며, Brier 점수와 정확도 모두에서 격차가 있었다. 또한 '신념 노트(belief notebook)' 같은 보조 도구는 연구 비용을 낮추는 효과는 있었으나, 예측 품질 자체를 일관되게 개선하는 데는 한계가 있는 것으로 나타났다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.