리서치 연구
When Muon Meets Task Interference: A Spectral Perspective on Continual Learning and Model Merging
ARarXiv
지속 학습이나 모델 병합 시 발생하는 성능 저하는 개별 문제가 아닌, 파라미터 업데이트가 다른 작업에 영향을 주는 '작업 간 간섭(task interference)'이라는 공통 원인으로 분석되었습니다.
세 줄 요약
- 연구진은 이 간섭 현상을 옵티마이저가 제어할 수 있는 요소로 규명하고, 특히 모델의 '스펙트럼 노름'을 정교하게 조절하는 것이 핵심임을 밝혀냈습니다.
- 이를 해결하기 위해 'Muon' 옵티마이저를 제안했으며, 기존 방식 대비 다중 작업 및 연속 학습 환경에서 최대 5% 이상의 높은 정확도 개선 효과를 입증했습니다.
- 본 연구는 모델 학습의 불안정성을 옵티마이저 관점에서 이론적으로 접근하여, 향후 더욱 안정적이고 효율적인 AI 모델 설계 방향을 제시합니다.
지속 학습이나 모델 병합 시 발생하는 성능 저하는 개별 문제가 아닌, 파라미터 업데이트가 다른 작업에 영향을 주는 '작업 간 간섭(task interference)'이라는 공통 원인으로 분석되었습니다.