AI 정책 연구
GPS-Bench: A Governance Policy Benchmark for Automating Policy Analysis
ARarXiv
정책 분석의 신뢰도를 높이기 위해, 법률 기록 등 공공 증거를 활용하는 'GPS-Bench'라는 새로운 벤치마크가 개발되었습니다.
세 줄 요약
- 이 시스템은 단순한 정책 통과 예측을 넘어, 실제 기록에서 행위자를 재구성하고 사적 증거까지 분석하여 복잡한 이해관계자 상호작용을 시뮬레이션합니다.
- GPS-Bench는 LLM 기반 정책 시뮬레이션의 유효성을 검증하는 실증적 기준을 제시하며, 증거 기반 접근과 다중 에이전트 연구에 중요한 진전을 가져옵니다.
- 연구 결과, 실제 기록 기반의 미세 조정(Fine-tuning) 방식이 가장 강력한 행위자 수준의 영향 예측력을 보여주었으며, 다양한 시뮬레이션 기법 간 비교 환경을 제공합니다.
정책 분석의 신뢰도를 높이기 위해, 법률 기록 등 공공 증거를 활용하는 'GPS-Bench'라는 새로운 벤치마크가 개발되었습니다.