개발도구 연구
Response Renormalization for Critical Deep Equilibrium Models
ARarXiv
깊은 평형 모델(DEQ)의 학습 시 발생하는 기울기 불안정 문제를 해결하는 새로운 역전파 프레임워크를 제시했다.
세 줄 요약
- Response Renormalization은 특정 근접 극점 분모를 들어 올리고 나머지 응답 채널을 유지하는 방식으로 작동한다. 23개 다물리계열에서 테스트한 결과, 오류는 기존 모델 대비 최대 5%p 높았다.
- 이 방법은 근접 임계점의 기울기 증폭을 제어하면서도 잘 조건화된 민감도를 전역적으로 감쇠시키지 않는다. 따라서 매개변수 업데이트를 더 신뢰성 있게 만들 수 있다.
- 모델의 잔여 자코비안이 손실 민감 방향으로 거의 특이(nearly singular)할 때, 작은 섭동이 응답에 강하게 증폭되어 최적화가 불안정해지는 문제가 발생했다.
깊은 평형 모델(DEQ)의 학습 시 발생하는 기울기 불안정 문제를 해결하는 새로운 역전파 프레임워크를 제시했다.