리서치 연구
코사인 유사도를 활용한 새로운 최적화 기법 AdamX
AdamX: Cosine similarity meets gradient descent
arXiv코사인 유사도를 활용하여 업데이트 크기를 제어하는 새로운 1차 최적화 기법 'AdamX'가 개발되었습니다.
세 줄 요약
- AdamX는 코사인 유사도를 적응형 메커니즘으로 도입하고, 초기 학습 안정성을 높이는 분산 보정 방식을 추가한 것이 핵심입니다.
- 모델 종류에 구애받지 않고(model-agnostic) 기존 훈련 파이프라인에 쉽게 통합되며 우수한 수렴 속도를 입증했습니다.
- 성능은 고정된 하이퍼파라미터 예산 내에서 목표 성능에 도달하는 데 필요한 에포크 수로 측정되었습니다.
코사인 유사도를 활용하여 업데이트 크기를 제어하는 새로운 1차 최적화 기법 'AdamX'가 개발되었습니다.