모델 연구
Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM
ARarXiv
기존 연구가 언어적 요인에 집중했던 MLLM의 환각 문제를, 이미지-텍스트 임베딩 불일치에서 오는 '시각 기반 오류'로 재정의했습니다.
세 줄 요약
- 연구진은 적대적 속성 플립(AHAF)을 통해 환각 이미지를 교정하고, 이를 대조 학습 미세 조정(ACFT)에 적용하여 모델 성능을 획기적으로 개선했습니다.
- 소량의 데이터만으로 LLaVA, MiniGPT-4 등 주요 LLM에서 최고 수준의 성능을 달성했으며, 추론 오버헤드가 없어 실용성이 매우 높습니다.
- 이 진단 기법은 현재 다중 모달 모델들이 시각적 표현 측면에서 환각이 발생하기 쉬운 위험 경계선에 위치함을 입증하는 중요한 단서를 제공합니다.
기존 연구가 언어적 요인에 집중했던 MLLM의 환각 문제를, 이미지-텍스트 임베딩 불일치에서 오는 '시각 기반 오류'로 재정의했습니다.