모델 연구
Evidence Integration in Large Language Models
ARarXiv
LLM이 외부 증거를 어떻게 통합하는지 분포 이론으로 분석하고, 광범위한 실험을 통해 그 작동 원리를 규명했습니다.
세 줄 요약
- LLM은 내부 검증으로 오류를 발견해도 외부 후보 답변을 높은 확률로 수용하며, 이는 출처 신뢰도보다 사용자 특성에 따른 통제 메커니즘임을 보여줍니다.
- 이 연구는 LLM이 인간의 인지적 편향이나 선입견을 반영하는 방식을 이해하게 하여, 모델 신뢰성 향상 및 오용 방지 설계에 중요한 기준을 제시합니다.
- 특히 '검증' 단계와 외부 정보 '통합' 단계가 분리되어 작동하며, 검증 과정 자체만으로는 최종 답변 결정에 큰 인과적 영향을 미치지 않는다는 점을 확인했습니다.
LLM이 외부 증거를 어떻게 통합하는지 분포 이론으로 분석하고, 광범위한 실험을 통해 그 작동 원리를 규명했습니다.