모델 연구
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
ARarXiv
다국어 LLM이 여러 언어를 처리할 때 내부적으로 하나의 공통 언어(lingua franca)를 사용하는지 여부를 심층 분석했습니다.
세 줄 요약
- 연구 결과, 모델의 숨겨진 상태 구조와 실제 출력 가능성을 측정하는 방식 간에 다국어 정보 공유 양상이 상이하게 나타났습니다.
- 이는 LLM의 언어 간 정보 처리가 단일한 메커니즘이 아닌, 여러 복잡하고 개별적인 방식으로 이루어짐을 시사합니다.
- 따라서 다국어 LLM의 내부 작동 방식을 해석할 때는, 특정 측정 방식이 보여주는 고유한 측면으로 접근해야 합니다.
다국어 LLM이 여러 언어를 처리할 때 내부적으로 하나의 공통 언어(lingua franca)를 사용하는지 여부를 심층 분석했습니다.