모델 연구
Inter-dimension Dependence for Multi-Dimensional Evaluation of Open-Ended Text
ARarXiv
LLM을 이용한 개방형 텍스트 평가는 여러 차원의 평가가 필요하며, 이 과정에서 심사관의 신뢰성 문제가 발생한다.
세 줄 요약
- 연구진은 'CorrGap'으로 LLM 점수와 정답 점수의 상관관계 차이를 측정해 의존도를 확인하고, 'DimCheck'를 제안하여 무관한 증거를 단계적으로 제거하는 방법을 제시했다.
- DimCheck는 차원 간 의존성을 완화하며, 세 가지 LLM과 네 가지 작업에서 기존의 강력한 기준 모델보다 성능이 우수하다.
- CorrGap 분석 결과, 개방형 텍스트 평가 과제 전반에 걸쳐 LLM 심사관의 차원 간 의존성이 광범위하게 존재함을 보여주었다.
LLM을 이용한 개방형 텍스트 평가는 여러 차원의 평가가 필요하며, 이 과정에서 심사관의 신뢰성 문제가 발생한다.