가중치 공간 보간을 위한 샤프 모드 연결성(SMC) 연구
SAM-on-the-Curve: Sharpness-Aware Mode Connectivity for Robust Weight-Space Interpolation
arXiv모델 간 성능 유사성을 활용해 가중치를 보간하는 '모드 연결성'은 기존 기법이었으나, 주변 가중치 공간의 불안정성이 약점으로 지적되어 개선이 필요했습니다.
- 제안된 샤프 모드 연결성(SMC)은 단순히 경로상의 손실만 보는 것이 아니라, 국소 영역 전체의 평탄함(flatness)을 확보하도록 연결성을 재정의하여 안정성을 높였습니다.
- 이를 통해 기존 평균값보다 더 뛰어난 성능을 가진 최적의 가중치 지점을 찾아내어 모델 앙상블 및 병합 과정의 신뢰도를 크게 향상시킬 수 있습니다.
- 궁극적으로 '경로별 평탄성(path-wise flatness)' 확보가 로버스트한 가중치 보간의 핵심적인 실용 원칙임을 제시하며 새로운 기준을 확립합니다.
딥 신경망의 공간에서 모델 간 성능 유사성을 활용하는 '모드 연결성(Mode Connectivity, MC)'은 기존 기법으로 사용되어 왔습니다. 그러나 이 방식은 손실을 1차원 경로를 따라 제어할 뿐 주변 가중치 공간의 불안정성은 고려하지 못한다는 한계가 있습니다. 이에 연구진은 모드 연결성을 국소 영역 전체에 낮은 손실이 유지되는 '주변부 강건성' 문제로 재정의했습니다. 그 결과, 단순히 경로상의 손실만 보는 것이 아니라 전체 곡선 주변에서 평탄함(flatness)을 강제하는 샤프 모드 연결성(SMC)을 제안했습니다.
SMC는 기존 MC 대비 높은 성능 향상을 보여주었으며, 특히 CIFAR-10-C의 심한 블러 손상 환경에서 최대 6.09%의 절대 정확도 개선을 달성했습니다. 주목할 점은 SMC가 '음수 손실 장벽'을 생성한다는 것인데, 이는 최적화된 경로 내부 지점의 모델이 평균 종료점의 손실보다 더 뛰어난 성능을 가질 수 있음을 의미합니다.
이러한 결과는 ResNet-18, VGG16-BN, ViT-Tiny 등 다양한 아키텍처를 CIFAR-10 및 ImageNet-100 데이터셋에 걸쳐 검증되었습니다. 연구진은 이러한 실험을 통해 '경로별 평탄성(path-wise flatness)' 확보가 로버스트한 가중치 공간 보간의 실용적인 핵심 원칙임을 확립했습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.