리서치 연구
DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule
ARarXiv
arXiv 논문은 DeltaMomentum이 방향성을 고려한 모멘텀 업데이트 규칙을 제안한다고 밝혔다.
세 줄 요약
- 입력을 키, 출력 오류를 값으로 보고 델타 규칙으로 버퍼를 갱신하며, 추가 연산은 게이트드 MLP 블록 선형 비용의 22.2~25.0%다.
- FineWeb-Edu 사전학습에서 DeltaAdamW는 67M에서 46.39±4.32%, 370M에서 22.12±0.80% 적은 단계에서 AdamW 검증 손실을 맞춘다.
- 어떤 옵티마이저의 모멘텀 버퍼를 대체하는 드롭인 방식이며, μP에서 계수가 폭 간 이전되고, 지속 메모리는 없다.
arXiv 논문은 DeltaMomentum이 방향성을 고려한 모멘텀 업데이트 규칙을 제안한다고 밝혔다.