개발도구 연구
SciReC: Diagnostic Evaluation of Multimodal, Multi-Turn Relational Reasoning with Adaptive Interaction
ARarXiv
멀티모달 대규모 언어 모델(MLLM)의 복잡한 관계 추론 능력을 진단하기 위해 'SciReC'라는 학술 대화 벤치마크가 개발되었습니다.
세 줄 요약
- 모델 실패 원인 분석 결과, 모든 모델에서 가장 큰 오류는 관계 추론 능력 부족이었으며, 그 다음으로 기억력 한계가 주요 문제로 지적되었습니다.
- 성능 비교를 통해 오픈소스 모델은 공간 관계에, 독점 모델은 계층적/순차적 관계에 상대적인 취약점을 보이는 경향이 확인되었습니다.
- 전반적으로 심리학 분야에서 가장 높은 성능을 보였으나, 천문학 같은 특정 도메인에서는 관계 추론의 명확한 한계가 드러납니다.
멀티모달 대규모 언어 모델(MLLM)의 복잡한 관계 추론 능력을 진단하기 위해 'SciReC'라는 학술 대화 벤치마크가 개발되었습니다.