SoftServe: 딥러닝을 위한 확장 가능한 준-뉴턴 최적화 방법
SoftServe: A Scalable Quasi-Newton Method for Deep Learning
연구진은 심층 학습의 난제인 비볼록성 및 대규모 파라미터 문제를 해결하기 위한 새로운 준-뉴턴 최적화 방법 'SoftServe'를 개발했습니다.
딥러닝의 난제였던 비볼록성과 대규모 파라미터 문제를 해결하여, 복잡하고 거대한 신경망에도 적용할 수 있는 새로운 최적화 방법을 제시했어요.
- 이 방법은 라인 탐색이나 곡률 보정 없이 작동하며, 복잡한 행렬 분해 대신 GPU 친화적인 행렬 곱셈을 사용하여 대규모 신경망에 적용 가능합니다.
- 순환 신경망이나 물리 기반 모델처럼 조건이 까다로운 문제에서 기존의 Adam 등 최신 기법보다 낮은 손실을 달성하는 뛰어난 성능을 입증했습니다.
- SoftServe는 양의 정부호 곡률 추정치를 활용하여 설계되었으며, 역전파가 어려운 심각하게 조건이 나쁜(ill-conditioned) 문제에 특히 강점을 가집니다.
연구진은 대규모 비제약 볼록 최적화에서 효과적인 준-뉴턴(QN) 방법을 소개하며, 기존 QN 기법이 심층 학습에 적용되는 것을 제한했던 두 가지 난관인 비볼록성 및 거대한 크기를 극복하기 위한 새로운 방법 'SoftServe'를 개발했습니다. SoftServe는 라인 탐색이나 임시적인 곡률 보정 없이 작동하는 준-뉴턴 계열의 최적화 기법입니다.
이 방법은 Berglund 등(2025)의 변분 목적 함수로부터 양의 정부호 곡률 추정치를 도출하며, 음의 곡률이 존재하는 상황에서도 이를 활용할 수 있습니다. SoftServe는 양의 정부호를 유지하도록 설계된 대각 및 Kronecker-factored 변형을 개발하여 거대한 신경망에도 확장 가능합니다. 또한, 비용이 많이 드는 행렬 분해 대신 친화적인 행렬 곱셈을 사용하기 위해 안정적인 결합 뉴턴-슐츠 반복(Newton-Schulz iteration)에 의존합니다.
SoftServe는 순환 네트워크, 깊은 오토인코더, 물리 정보 신경망 등 심각하게 조건이 나쁜 문제에서 특히 뛰어난 성능을 보입니다. 이 방법은 136M 파라미터의 물리 기반 과 같은 작업에서도 Adam, Muon, SO를 포함한 기존 기준선보다 낮은 손실을 달성하는 것으로 나타났습니다.
용어 풀이
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
SoftServe는 어떤 종류의 최적화 방법인가요?
SoftServe는 준-뉴턴(QN) 계열의 최적화 기법이에요. 기존 QN 기법이 심층 학습에 적용되기 어려웠던 비볼록성과 거대한 파라미터 크기 문제를 극복하기 위해 개발되었어요. 또한, 라인 탐색이나 곡률 보정 과정 없이 작동하는 것이 특징이에요.
대규모 신경망에 적용하기 쉬운 이유는 무엇인가요?
비용이 많이 드는 행렬 분해 대신, 그래픽 처리 장치(GPU)에 친화적인 행렬 곱셈을 사용하기 때문이에요. 또한 양의 정부호를 유지하도록 설계되어 거대한 신경망에도 확장성이 높아요.
어떤 종류의 까다로운 문제에 강점을 보이나요?
순환 네트워크, 깊은 오토인코더, 물리 정보 신경망처럼 조건이 까다로운(심각하게 조건이 나쁜) 문제에서 특히 뛰어난 성능을 보여요. 실제로 136M 파라미터의 물리 기반 확산 모델에서도 기존 방법보다 낮은 손실을 달성했어요.