리서치 연구
체계적 문헌고찰 자동화 평가 프레임워크 개발
A Benchmark Framework for Screening Automation in Systematic Reviews
arXiv체계적 문헌고찰(SR)의 핵심 단계인 논문 선별 작업을 자동화하기 위한 새로운 평가 프레임워크가 개발되었습니다.
세 줄 요약
- 이 프레임워크는 4만 5천여 개의 대규모 데이터셋을 기반으로 하며, 포함/제외 논문의 불균형 문제를 반영한 평가 방식을 제시합니다.
- 학술 연구자나 AI 개발자는 이 도구를 활용하여 LLM의 성능을 객관적이고 신뢰성 있게 측정하고 문헌고찰 효율성을 높일 수 있습니다.
- 또한 프롬프트 실험 관리 및 결과 분석을 지원하는 'PromptSR' 도구가 함께 제공되어, 체계적인 모델 성능 개선 작업이 가능합니다.
체계적 문헌고찰(SR)의 핵심 단계인 논문 선별 작업을 자동화하기 위한 새로운 평가 프레임워크가 개발되었습니다.