R2VC: 모듈식 아키텍처로 팩트체킹 정확도 높이기
R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration
arXiv기존 LLM 기반 팩트체킹은 증거 검색, 추론, 불확실성 예측이 통합되어 있어 오류 진단과 신뢰도 확보가 어려웠습니다.
- 연구진은 이를 해결하기 위해 R2VC라는 모듈식 아키텍처를 제안했습니다. 이는 검색-추론-검증(NLI)-신뢰도 보정 단계를 분리하여 작동합니다.
- R2VC는 FEVER 데이터셋에서 기준 모델 대비 13.74% 높은 정확도를 달성했으며, 특히 검증 및 신뢰도 보정이 성능 향상에 크게 기여했습니다.
- 다만, 오류 분석 결과 증거 검색 단계의 실패, 그중에서도 잘못된 개체(wrong-entity)를 가져오는 것이 여전히 주요 개선 과제로 남아있습니다.
(LLM)을 이용한 자동 팩트체킹은 증거 검색, 추론, 불확실성 추정이 통합되어 있어 오류 진단과 신뢰도 확보가 어렵다는 문제가 있습니다. 연구진은 이를 해결하기 위해 R2VC라는 모듈식 아키텍처를 제안했습니다. 이 구조는 증거 기반 팩트체킹을 수행하기 위해 검색(retrieve), 추론(reason), 검증(verify), 보정(calibrate) 단계를 분리하여 작동합니다.
R2VC는 여러 핵심 모듈로 구성되어 있습니다. 여기에는 위키피디아에 대한 하이브리드 희소+밀집 검색, 다양한 구조화된 판결 후보를 생성하는 지도 학습 기반의 제너레이터, 증거 기반 후보 선택을 위한 외부 NLI 크로스 인코더, 그리고 신뢰도 추정 및 선택적 기권(abstention)을 위한 경량 시퀀스 레벨 보정기가 포함됩니다. 이 아키텍처는 FEVER 데이터셋에서 8B 백본 모델을 사용하여 기준 모델 대비 13.74% 높은 정확도를 달성했습니다.
성능 검증 결과, 후보 선택기(verifier-based candidate selection)와 신뢰도 보정(confidence calibration)이 성능 향상에 가장 크게 기여한 것으로 나타났습니다. 특히 후보 선택기를 제거하면 FEVER 정확도가 76.24%로 떨어졌으며, 보정을 제거하면 Brier 점수가 약 0.161로 거의 두 배가 되었습니다. 또한, 오류 분석 결과 250개의 오류를 수동으로 분석한 결과, 증거 검색 실패, 특히 잘못된 개체(wrong-entity)의 증거 확보가 여전히 주요 병목 현상으로 남아있음을 확인했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.