모델 연구
VakyArth: Evaluating Pragmatic Competence in LLMs across Indic Languages
ARarXiv
실생활의 맥락적 의미 파악 능력을 측정하기 위해, 힌디어, 타밀어 등 인도 언어를 위한 최초의 실용성 평가 도구 'VakyArth'가 개발되었습니다.
세 줄 요약
- 연구 결과, 다국어 LLM들은 인도 언어의 문화적 맥락 기반 실용적 의미 파악에 일관된 약점을 보였으며, 자동 번역 지표만으로는 정확한 이해도를 측정하기 어렵습니다.
- 이 연구는 LLM 성능 평가가 단순한 문법이나 번역 정확도를 넘어, 해당 문화권의 사회적 관습과 맥락 이해를 포함하도록 진화해야 함을 시사합니다.
- 모델의 실용적 이해도를 평가할 때는 객관식 문제(MCQ)와 추론 능력(NLI) 간의 차이, 그리고 언어 계통별 성능 격차 등 다각적인 분석이 필요합니다.
실생활의 맥락적 의미 파악 능력을 측정하기 위해, 힌디어, 타밀어 등 인도 언어를 위한 최초의 실용성 평가 도구 'VakyArth'가 개발되었습니다.