리서치 연구
정규화된 최소 제곱법을 이용한 이차 신경망 학습 방법론
Regularized Least Squares Training of Quadratic Neural Networks with Applications to System Identification
arXiv본 논문은 정규화된 최소 제곱법을 활용하여 이차 신경망(QNN)을 학습하는 새로운 방법을 제안합니다.
세 줄 요약
- 이 방법론의 핵심은 최적화 문제의 하한값과 가중치 및 데이터 오류에 대한 민감도까지 해석적인 공식으로 제공한다는 점입니다.
- 기존 역전파 같은 반복 계산 방식과 달리, 이 접근법은 지역 최솟값 위험을 줄이고 계산 시간을 획기적으로 단축하는 장점이 있습니다.
- 비선형 시스템 식별 등 다양한 분야에 성공적으로 적용되었으며, 최적화 하한값과 핵 노름 최소화 간의 이론적 연결고리도 제시합니다.
본 논문은 정규화된 최소 제곱법(Regularized Least Squares)을 활용하여 이차 신경망(QNN)의 훈련 방법을 제안합니다. 이 방법론은 최적화 문제에 대한 하한값을 산출하며, 규제 계수가 양수일 때 근사 해와 그 민감도에 대한 해석적인 공식(closed-form expressions)을 제공하는 것이 특징입니다.
제안된 접근법은 에 대한 해석적 표현을 제공하여, 지역 최솟값에 빠질 위험이 있는 역전파와 같은 반복 수치 계산 방식 대비 계산 시간을 크게 단축합니다. 또한, 이 방법론은 (i) 가중치의 해석적 공식, (ii) 데이터 오류에 대한 가중치 민감도의 해석적 공식, 그리고 (iii) 하한값을 구하는 최적화와 핵 노름 최소화 간의 연결고리를 제시한다는 세 가지 주요 기여를 합니다.
이 least squares 훈련 방식은 비선형 시스템 식별 예제에 성공적으로 적용되었으며, 이 과정에서 제안된 하한값이 실제 최적값과 비교되었습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.