리서치 연구
Unregularized Convergence of Single-Loop, Entropy-Regularized Natural Actor-Critic
ARarXiv
arXiv 논문은 단일 루프 엔트로피 정규화 Natural Actor-Critic의 비정규화 목표 수렴을 분석한다.
세 줄 요약
- 고정 온도를 조정해 확률적 영역에서 O~(T_total^{-1}), 결정적 영역에서 평균 O~(T_total^{-2/3}), 마지막 O~(T_total^{-1/3}) 수렴을 얻는다.
- 양수 최소 행동 간극을 쓰면 표 설정에서 평균 O~(T_total^{-2/3})로, 양수 마진이 없는 O(T_total^{-1/2}) 최악의 경우 통계 장벽보다 빠르다.
- 결과는 양립 가능한 선형 함수 근사, 고정 온도, 양수 최소 행동 간극, 근사 오차 항까지라는 조건에 묶인다.
arXiv 논문은 단일 루프 엔트로피 정규화 Natural Actor-Critic의 비정규화 목표 수렴을 분석한다.