리서치 연구
에이전트 기반 예측을 위한 구조화된 감사 가능 프레임워크
From Narrative to Auditable Forecasts: A Structured Scaffold for Agentic Forecasting
arXiv기존 LLM 에이전트 기반 예측은 증거를 서사적으로 종합해 확률을 부여하는 방식이라, 과정의 투명성과 신뢰성 확보에 한계가 있었습니다.
세 줄 요약
- 이에 연구진은 'AuditForecast'라는 구조화된 확률 예측 스캐폴드를 제시했습니다. 이는 정량적 기준 모델과 오즈 공간 기반의 체계적인 업데이트를 사용합니다.
- 이 구조화된 접근법 덕분에 단순한 판단 과정이 명시적인 단계로 전환되어, 예측 정확도와 신뢰성이 크게 향상되었음을 입증했습니다.
- AuditForecast는 모든 과정을 '감사 가능한(auditable)' 보고서 형태로 제공하여 체계적인 사후 분석을 지원하며, 초기 정량적 기준 모델 설정이 핵심 전제 조건입니다.
현재 를 활용한 라이브 포캐스팅은 최신 정보를 검색하고 미래 사건의 추정치를 산출하는 데 사용되고 있습니다. 그러나 기존 방식들은 증거를 서사적으로 종합하여 확률을 부여하는 '암묵적 내러티브 집계'에 의존하는 경향이 있어, 예측 과정의 투명성과 신뢰성 확보에 한계를 보였습니다.
이에 연구진은 구조화된 확률 예측 스캐폴드인 AuditForecast를 제안했습니다. 이 프레임워크는 먼저 적절한 정량적 기준 모델로 예측을 고정하고, 모델 기반 데이터 검색을 통해 기본 확률을 도출합니다. 이후 오즈 공간(odds space)에서 기계적인 집계를 적용하여 모델 범위를 벗어난 상황 요인 업데이트를 수행함으로써, 예측 과정을 명시적인 중간 객체를 가진 구조화된 프로세스로 전환합니다.
AuditForecast는 여러 라이브 포캐스팅 에서 강력한 에이전트 기반 기준선 대비 예측 정확도와 보정률을 개선하는 것으로 나타났습니다. 또한 시장 함의 참조치를 능가하는 결과를 보여주었으며, 모든 과정을 '감사 가능한(auditable)' 보고서 형태로 제공하여 체계적인 사후 분석을 지원합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.