리서치 연구
스키마 기반 LLM, 연구비 심사 과정 혁신
SAGE: Schema-Guided LLMs for Grant Review
arXivSAGE는 심사 기준(rubric)을 구조화된 체크리스트로 변환하고, 각 판단 근거를 원본 자료에 연결하여 평가하는 시스템입니다.
세 줄 요약
- 실제 전문가 재검토 단계에서 SAGE는 기존 방식 대비 높은 신뢰도(Kappa = 0.58)를 달성하며 우수한 성능을 입증했습니다.
- 단순 점수 부여를 넘어, 주장의 근거 확인 여부(확인/논쟁/누락)를 추적하여 전문가가 검토하기 쉬운 '감사 가능한 초안'을 제공합니다.
- 초기 평가 대비 실제 심사에 활용된 재검토 과정에서 성능이 크게 향상되어, 실무 적용 시 높은 효용성을 기대할 수 있습니다.
SAGE(Schema-Guided Aspect-Based Grant Evaluation)는 연구 지원금 평가 시스템으로, 부여된 심사 기준(grant rubric)을 구조화된 체크리스트로 변환합니다. 이 시스템은 각 판단에 대한 근거를 신청 패키지 내의 증거와 연결하여 전문가가 검토할 수 있는 상세한 평가서를 생성하는 것이 핵심입니다.
SAGE는 총 35개의 비영리 연구 지원 신청서에 대해 두 단계로 성능을 평가했습니다. 초기 비교 결과, 기존의 105개 리뷰와 비교했을 때 공정한 순위 일치도(kappa)가 0.29를 기록하며 시스템의 기초적인 유효성을 입증했습니다.
전문가가 SAGE의 검토 결과를 확인한 후 진행된 재검토 단계에서는 성능이 크게 향상되어, SAGE는 kappa = 0.58을 달성했습니다. 이는 기존 방식(kappa = 0.33)보다 높은 수치이며, 주장의 근거를 '확인됨', '논쟁됨', '미처리' 등으로 추적하여 전문가가 검토하기 쉬운 감사 가능한 초안 형태로 제공합니다.