모델 연구
Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models
ARarXiv
검색 증강 언어 모델(RALM)이 에피소드 기억 메커니즘으로 작용하여 어휘 빈도에 따른 문법적 성능 차이를 줄일 수 있는지 검증했다.
세 줄 요약
- k-최근접 이웃 언어 모델을 사용한 검색 증강은 고빈도와 저빈도 항목 간의 성능 격차를 좁히는 결과를 보였다. 또한 구조적 정보가 효과적인 검색에 중요하며 의미적 유사성만으로는 큰 이점이 없었다.
- 이러한 검색 증강의 이점은 다양한 통사 현상과 아동 현실 및 대규모 데이터로 사전 학습된 여러 모델에서 일관되게 확인되었다.
- 연구 결과에 따르면 어휘 빈도의 격차는 완전히 닫히지 않고 좁혀지는 수준임을 확인했다.
검색 증강 언어 모델(RALM)이 에피소드 기억 메커니즘으로 작용하여 어휘 빈도에 따른 문법적 성능 차이를 줄일 수 있는지 검증했다.