국소 곡률 기반 f-발산 정규화와 SAM의 관계 분석
Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization
arXiv딥러닝의 일반화 성능을 높이는 발산 기반 정규화와 SAM(Sharpness-Aware Minimization)이 매개변수 공간에서 국소적으로 일관된 관계를 가짐을 밝혀냈습니다.
- 특히 이 관계는 입력 공간의 교란까지 확장되어, 표준 SAM보다 더 일반적인 틀을 제공하면서도 국소적 민감성 해석을 유지하는 것이 핵심입니다.
- 연구 결과, 곡률(Curvature)에 대한 페널티가 강할수록 모델의 국소 최솟값이 평평해지며, 이는 정확도와 음의 로그 우도 개선으로 이어집니다.
- 본 연구는 두 방법론이 모두 국소 기하학적 관점에서 '곡률'을 활용하여 모델의 견고성을 높이는 원리를 제시합니다.
딥러닝에서 일반화 성능을 개선하는 두 가지 방법론인 발산 기반 정규화(Divergence-based regularization)와 Sharpness-Aware Minimization (SAM)은 공간 교란 하에서 국소적으로 일관된 관계를 가집니다. 이 두 방법 모두 곡률에 민감한 페널티를 유도하는데, 발산 정규화는 Fisher 가중 이차 형식(Fisher-weighted quadratic form)을 제공하고 SAM은 지배적인 헤세 행렬 고윳값(dominant Hessian eigenvalue)을 통해 날카로움(sharpness)을 패널티합니다. 특히 지수족 출력 분포를 가진 음의 로그 우도 목적 함수에서는 이 대응 관계가 명확하게 나타납니다.
이러한 국소 기하학적 관점은 입력 공간 교란으로까지 확장될 수 있습니다. 이 설정에서 발산 기반 정규화는 입력 변환을 통해 정의되며, 이는 표준 SAM보다 더 일반적인 교란 프레임워크를 제공하면서도 동일한 국소 민감성 해석을 유지합니다.
분석 검증을 위해 비대칭 $\alpha$-skew Jensen-Shannon divergence (JSD) 계열이 테스트베드로 사용되었습니다. 연구 결과, 유도된 곡률 페널티가 강할수록 모델의 국소 최솟값이 더 평평해지는 것과 연관되며, 이는 정확도와 음의 로그 우도를 개선하는 것으로 나타났습니다.
용어 풀이
- 매개변수
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.