리서치 연구
Large Language Models in Resolving Contextual Knowledge Conflicts
ARarXiv
기존 연구가 LLM의 내부 지식과 외부 정보 간 충돌에 집중했다면, 본 연구는 문맥 자체 내에서 발생하는 사실적, 추론적 등 6가지 유형의 복합적인 지식 충돌 문제를 정의하고 대규모 데이터셋을 구축했습니다.
세 줄 요약
- 실험 결과, 현재 모델들은 문맥 내 충돌 해결 능력이 부족하며, 특히 증거가 제시된 순서에 따라 판단이 달라지는 '위치적 편향'이라는 근본적인 한계를 보였습니다.
- 연구진은 이러한 한계를 극복하기 위해 학습 과정 없이 활성화를 제어하는 새로운 방법을 제안했으며, 이를 통해 모델의 추론 정확도와 요약 품질을 개선했습니다.
- 이 연구는 LLM이 단순히 정보를 나열하는 것을 넘어, 모순되거나 복잡한 문맥 속에서 지식을 종합적으로 이해하고 균형 잡힌 판단을 내릴 수 있는 기술적 기준점을 제시합니다.
기존 연구가 LLM의 내부 지식과 외부 정보 간 충돌에 집중했다면, 본 연구는 문맥 자체 내에서 발생하는 사실적, 추론적 등 6가지 유형의 복합적인 지식 충돌 문제를 정의하고 대규모 데이터셋을 구축했습니다.