모델 연구
Representation of syntax in LLMs through the lens of linear distance and similarity-aware entropy
ARarXiv
연구진은 LLM의 구문 이해도를 측정하기 위해 기존 평가 방식을 개선하여, 개별 문법 관계(syntactic relation)별 재구성 정확도를 분석했습니다.
세 줄 요약
- 분석 결과, 특정 구문 구조의 정확도는 단순히 언어적 특징뿐 아니라 단어 간의 선형 거리와 문법 요소의 다양성 같은 임베딩 공간의 기하학적 속성에 크게 좌우됨을 밝혀냈습니다.
- 이는 LLM이 문법적 지식을 단순한 패턴 학습을 넘어, 단어들 사이의 공간적 관계(임베딩 공간)를 통해 추상화하고 있다는 중요한 증거가 됩니다.
- 따라서 향후 모델의 구문 재구성을 평가할 때는, 단순히 정확도만 볼 것이 아니라 임베딩 공간의 기하학적 속성 의존도를 함께 고려해야 합니다.
연구진은 LLM의 구문 이해도를 측정하기 위해 기존 평가 방식을 개선하여, 개별 문법 관계(syntactic relation)별 재구성 정확도를 분석했습니다.