리서치 연구
LLM의 입력 데이터 신뢰도와 오류 발생 관계 분석
Do LLMs Make More Mistakes If They Do Not Believe the Input Data?
arXivLLM의 환각 현상 문제를 다루며, 입력된 맥락 정보가 얼마나 개연성이 높은지에 대한 인식이 모델의 사실 충실도에 미치는 영향을 분석했습니다.
세 줄 요약
- 연구 결과, 인간 주석 샘플에서는 '맥락-기억 충돌'이 예상보다 약하게 나타났으며, 반사실적 입력으로 인한 사실성 저하 폭은 크지 않았습니다.
- 따라서 LLM 기반 시스템을 구축할 때는 데이터의 진위 여부뿐 아니라, 어떤 평가자(Judge)를 사용하느냐에 따라 결과 해석이 크게 달라질 수 있습니다.
- 특히 LLM 자체를 평가 도구로 사용할 경우, 최적화되지 않은 '판단자' 선택은 맥락-기억 충돌 현상을 과대평가할 위험이 있으므로 주의해야 합니다.
(LLMs)은 현상이나 사실 오해석에 취약하여 시스템 등에서 사용성에 문제가 될 수 있다. 본 연구는 LLM의 맥락 충실도가 제공된 맥락을 얼마나 개연성 있게 인식하는지에 따라 달라지는지, 즉 '맥락-기억 충돌(context-memory conflict)' 현상을 분석했다.
연구진은 영어, 체코어, 슬로바키아어, 어퍼 소르비아어로 텍스트를 생성하도록 모델을 설정하고, 지역 지식을 포함하는 사실적(FA), 반사실적(CFA), 허구적(FI) RDF 트리플을 입력 데이터로 사용했다. 이 실험은 LLM의 오류 패턴을 파악하기 위해 비영어권 및 저자원 언어 텍스트 생성을 활용했다.
실험 결과, 인간이 주석한 샘플에서는 예상보다 약한 맥락-기억 충돌 현상이 관찰되었다. 특히 Kimi K3와 같은 LLM 평가자를 사용했을 때, 반사실적 입력은 사실적 입력 대비 1~5점 척도에서 -0.05 포인트만 낮은 충실도 점수를 기록했다.
연구는 LLM 기반 시스템을 구축할 때 데이터의 진위 여부 외에도 어떤 평가자(Judge)를 사용하느냐에 따라 결과 해석이 크게 달라질 수 있음을 강조한다. 최적화되지 않은 '판단자' 선택은 맥락-기억 충돌 현상을 과대평가할 위험이 있다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- 검색 증강 생성
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.