활용 사례 연구
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
ARarXiv
Muon에 유한 뉴턴-숄츠를 적용하면 비평활성 비볼록 최적화에서 평활화 이점을 얻을 수 있다.
세 줄 요약
- 이 방법은 업데이트 규칙을 온라인 학습기로 보고, 레그릿 바운드를 정점성 보장으로 변환한다. 또한, 유한 뉴턴-숄츠 반복은 불연속적인 극 맵을 특잇값의 리프시츠 맵으로 평활화한다.
- 뉴턴-숄츠 깊이가 목표 정확도에 대해 로그적으로 증가하는 것만으로 비평활성 비볼록 최적화에서 정점점으로 수렴함을 증명했다. 이는 Muon이 정확한 극 업데이트를 사용할 때 실패할 수 있는 지점이다.
- 결과적인 표본 복잡도 경계는 비평활성 비볼록 최적화의 최고 보장치와 일치하며, 문제 의존적 인자를 제외하고 평활 비볼록 최적화에 대해서도 최적이다.
Muon에 유한 뉴턴-숄츠를 적용하면 비평활성 비볼록 최적화에서 평활화 이점을 얻을 수 있다.