활용 사례 연구
Tail-Likelihood Reinforcement Learning
ARarXiv
기존 강화학습은 평균 보상에만 초점을 맞춰, 희귀하지만 매우 높은 성능을 내는 결과(꼬리 분포)를 간과하는 한계가 있었습니다.
세 줄 요약
- TailRL은 기대 보상이 아닌 '임계값 초과 확률' 자체를 최적화하여, 고성능 결과를 얻을 가능성을 직접적으로 최대화합니다.
- 이 방법은 기존 RL 파이프라인의 장점 함수에 간단히 수정만 가하면 되므로, 객체 위치 파악이나 코드 최적화 등 다양한 분야에 적용할 수 있습니다.
- TailRL은 희귀한 고성능 샘플을 활용해 모델 안정성을 높이고 추론 시 성능 이점을 극대화하지만, 임계값 설정 및 장점 함수 수정이 필요합니다.
기존 강화학습은 평균 보상에만 초점을 맞춰, 희귀하지만 매우 높은 성능을 내는 결과(꼬리 분포)를 간과하는 한계가 있었습니다.