모델 연구
RePro: Proof-Verified Benchmark Rewriting for Reliable Evaluation of LLM Mathematical Problem Solving
ARarXiv
LLM의 수학적 문제 해결 능력을 신뢰성 있게 평가하기 위해 'RePro'라는 검증된 벤치마크 재작성 프레임워크가 개발되었습니다.
세 줄 요약
- 이 프레임워크는 Lean 기반 자동 정리 증명기(ATP)를 활용하여 문제를 재구성하고, 모든 답안의 정확성을 논리적 증명을 통해 완벽하게 보장합니다.
- 실험 결과, RePro로 생성된 문제는 정의 가능성 및 정확도 면에서 100%를 달성하며 기존 평가 방식이 가졌던 신뢰성 한계를 극복했습니다.
- 일부 모델들이 증명 검증 환경에서 성능 저하를 보인 것은 LLM의 능력이 단순한 패턴 암기보다는 구조적 이해에 민감함을 시사합니다.
LLM의 수학적 문제 해결 능력을 신뢰성 있게 평가하기 위해 'RePro'라는 검증된 벤치마크 재작성 프레임워크가 개발되었습니다.