모델 연구
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
ARarXiv
트랜스포머 기반 언어 모델의 주의 메커니즘이 인간과 달리 전체 문맥을 손실 없이 접근하는 문제를 다루었다.
세 줄 요약
- 개입 토큰의 내용에 민감한 제약 조건이 거리 기반 제약 조건을 능가하며 인간 독서 시간에 가장 높은 정렬을 달성했다.
- 동적 메모리 커리큘럼 하에서는 심리측정학적 적합도와 문법적 능력이 분리되는 현상이 확인됐다.
- 연구 결과는 트랜스포머가 모든 상황에 맞는 단일한(one-size-fits-all) 인지 모델이 될 수 없음을 보여준다.
트랜스포머 기반 언어 모델의 주의 메커니즘이 인간과 달리 전체 문맥을 손실 없이 접근하는 문제를 다루었다.