모델 연구
From Answers to Interpretations: Rethinking Ambiguity-Induced Aleatoric Uncertainty Estimation in LLMs
ARarXiv
LLM이 입력된 정보의 모호성 때문에 발생하는 '알레아토릭 불확실성'을 효율적으로 추정하는 새로운 방법을 제안합니다.
세 줄 요약
- 기존 방식은 여러 답변 비교에 의존했지만, 본 연구는 오직 해석 가능한 '해석 공간(interpretation space)'만으로 불확실성을 직접 측정하여 정확도를 높였습니다.
- 이 접근법은 성능 개선은 물론, 컴퓨팅 자원 사용량(토큰 및 API 호출)을 획기적으로 절감하여 실제 서비스 적용에 매우 유리합니다.
- LLM의 신뢰도를 높이려면, 모호성을 판단할 때 모델의 최종 응답보다 입력 정보가 가질 수 있는 '해석 가능 범위'에 집중해야 합니다.
LLM이 입력된 정보의 모호성 때문에 발생하는 '알레아토릭 불확실성'을 효율적으로 추정하는 새로운 방법을 제안합니다.