모델 연구
Do Multimodal LLMs See Before They Read? Diagnosing Contextual Sycophancy
ARarXiv
멀티모달 LLM이 이미지와 모순되는 외부 텍스트를 접할 때, 시각 증거보다 텍스트에 과도하게 의존하는 '맥락적 아첨' 현상을 진단했습니다.
세 줄 요약
- 연구진은 새로운 검증 방식인 'System-2 시각 중재(S2VA)'를 통해 모델이 외부 텍스트의 편향성을 줄이고 이미지 증거를 효과적으로 활용함을 입증했습니다.
- 이는 멀티모달 AI가 단순히 정보를 나열하는 것을 넘어, 복합적인 맥락 속에서 시각적 사실과 텍스트를 균형 있게 판단하는 고차원적 추론 능력이 필수임을 보여줍니다.
- 맥락적 아첨은 외부 텍스트 제시 시점에 따라 영향력이 달라지므로, 모델의 성능을 높이려면 최적의 '정보 경계' 설정이 중요합니다.
멀티모달 LLM이 이미지와 모순되는 외부 텍스트를 접할 때, 시각 증거보다 텍스트에 과도하게 의존하는 '맥락적 아첨' 현상을 진단했습니다.