리서치 연구
저분산 환경에서의 최적화 불균형 진단 및 복구 방안
Advantage Scale Calibration Imbalance in Group-Relative Optimization under Low-Variance Rewards: Diagnosis and Bounded Recovery
arXiv그룹 상대 최적화(Group-Relative Optimization)가 낮은 분산 환경에서 장점 스케일(Advantage Scale)을 잘못 처리하여, 미세한 신호와 단순 노이즈 구분이 어려워지는 문제를 진단했습니다.
세 줄 요약
- 저자들은 보상 강도, 배치 가중치, KL 교정 효과를 동시에 결정하는 3가지 '장점-스케일 교정 인터페이스'를 제안하며 핵심 메커니즘을 제시합니다.
- 이 기술은 기존 모델들이 낮은 분산 환경의 작은 신호를 과대평가하거나 왜곡하는 한계를 극복하여, 수학 및 코드 추론 같은 정교한 영역에서 안정적인 성능 개선을 기대할 수 있습니다.
- 노이즈성 간극은 효과적으로 걸러내고, 의미 있는 미세 신호들만 범위 제한(Bounded) 하에 안정적으로 복구함으로써 적용 범위를 명확히 했습니다.
그룹 상대 최적화(Group-Relative Optimization)가 낮은 분산 환경에서 장점 스케일(Advantage Scale)을 잘못 처리하여, 미세한 신호와 단순 노이즈 구분이 어려워지는 문제를 진단했습니다.