모델 연구
Informational Antilocality and the Locality Bias in LLMs
ARarXiv
LLM의 문맥 이해 능력을 테스트하기 위해, 원거리 의존성이 높은 '반국소성 언어'를 활용한 연구가 진행되었습니다.
세 줄 요약
- 모델은 어떤 종류의 언어를 학습하든 최종 성능에는 큰 차이가 없었지만, 의존성이 높을수록 학습 속도가 느려지는 경향이 발견되었습니다.
- 이는 LLM이 장거리 문맥적 의존성을 파악하는 것이 계산적으로 더 어렵거나 시간이 많이 소요됨을 보여줍니다.
- 다만, 이 현상은 성능 저하가 아니라 복잡한 문맥을 처리할 때 발생하는 '학습 시간의 지연'으로 해석해야 합니다.
LLM의 문맥 이해 능력을 테스트하기 위해, 원거리 의존성이 높은 '반국소성 언어'를 활용한 연구가 진행되었습니다.