모델 연구
Fast Weight Attention for Continual Learning
ARarXiv
방대한 컨텍스트를 고정된 크기의 순환 상태로 압축하여, 지속적인 학습이 가능한 온라인 규칙을 제시한 모델입니다.
세 줄 요약
- 회귀 및 내적 곱셈 목적 함수에 대한 정규화된 1차 업데이트 규칙(Falcon 계열)과 안정적인 재정규화 기법을 구현했습니다.
- 순환 시퀀스 모델에서 시간적 정렬, 가소성, 망각 등을 명확히 분리하여 장기 학습의 안정성과 성능 향상에 기여합니다.
- 언어 모델링 분야에서 경쟁력을 유지하며, 특히 변수 자릿수 덧셈 같은 작업에서 길이 외삽(length extrapolation) 능력이 개선되었습니다.
방대한 컨텍스트를 고정된 크기의 순환 상태로 압축하여, 지속적인 학습이 가능한 온라인 규칙을 제시한 모델입니다.