리서치 연구
When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models
ARarXiv
arXiv 논문은 멀티모달 대형 언어모델에서 무관한 텍스트가 시각 판단에 미치는 영향을 제어된 개입으로 분석했다.
세 줄 요약
- 연구진은 이진 시각 판단에서 보조 텍스트를 바꾸며, 다양한 벤치마크에서 로그확률 차이로 정의한 결정 마진이 무관한 텍스트에 따라 일관된 아핀 변환을 보인다고 확인했다.
- 무관한 텍스트가 예측을 일관되게 기울인다는 관찰은, 소음 있는 맥락에 대한 강건성 연구에 마진 수준 진단 관점을 제공한다.
- 이 결과는 이진 시각 판단과 고정된 프롬프트 구조, 보조 입력만 바꾸는 조건에서 관찰된 마진 분석에 해당한다.
arXiv 논문은 멀티모달 대형 언어모델에서 무관한 텍스트가 시각 판단에 미치는 영향을 제어된 개입으로 분석했다.