에이전트 학습의 기여도 문제를 해결하는 ProVer 프레임워크
Fixing GRPO's credit assignment problem without evaluating every step
대규모 언어 모델(LLM) 에이전트의 학습 효율을 높이는 'ProVer' 프레임워크가 개발되었습니다. 기존 방식은 성공과 실패에 대한 기여도를 전체 과정에 균일하게 분배하는 한계가 있었습니다.
이 기술은 대규모 언어 모델 에이전트가 단순히 높은 점수를 얻는 것을 넘어, 목표 달성에 결정적인 영향을 미친 특정 행동의 원인과 과정을 깊이 이해하도록 돕기 때문에 중요해요.
- ProVer는 성공 및 실패 경로를 비교하여 결정적인 순간(pivotal decisions)을 찾아내고, 이 특정 구간의 우위를 계산해 에이전트가 어떤 행동 때문에 성공했는지 정밀하게 학습시킵니다.
- 이 기술은 에이전트가 단순히 높은 점수를 얻는 것을 넘어, 목표 달성에 결정적인 영향을 미친 특정 행동의 원인과 과정을 깊이 이해하도록 돕습니다.
- ProVer는 모든 단계를 평가하지 않고도 중요한 구간만 선별적으로 검증하여 계산 효율성을 높였으며, 다양한 환경에서 높은 성능 향상을 입증했습니다.
를 훈련하는 데 유망한 접근 방식인 그룹 상대 정책 최적화(GRPO)는 트랙토리 수준의 이점을 모든 정책 에 균일하게 할당한다는 한계가 있습니다. 이로 인해 성공에 기여한 결정적인 순간과 그렇지 않은 중간 단계의 구분이 어려워지는 문제가 발생합니다. 이에 연구진은 에이전트 학습에서 된 기여도 할당을 목표로 하는 ProVer 프레임워크를 도입했습니다.
ProVer는 롤아웃 그룹 내에서 성공 및 실패 트랙리커를 대조하여 결과가 달라질 수 있는 잠재적인 핵심 결정 구간(pivotal decisions)을 식별합니다. 이 과정에서 에이전트 심사관의 평가를 바탕으로 제안된 구간에 대해, ProVer는 해당 구간 전후의 현재 정책 연속체 샘플링을 통한 최종 성공률 차이를 추정하여 우위를 검증합니다. 긍정적인 추정치는 해당 구간 내 정책 토큰의 GRPO 이점에 반영됩니다.
ProVer는 모든 중간 단계를 평가하지 않고도 지역적 기여도를 관찰된 결과에 기반해 정립할 수 있습니다. ALFWorld, WebShop, SearchQA 등 다양한 환경에서 테스트되었으며, Qwen3.5-2B와 Qwen3.5-4B 모델 모두에서 GRPO 대비 평균 성능 향상을 보였습니다. 특히 Qwen3.5-2B의 경우 9.91%, Qwen3.5-4B의 경우 7.12%의 상대적 개선을 달성하며, 추가적인 생성 오버헤드만으로도 정책 학습 능력을 향상시키는 효율성을 입증했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
기존 에이전트 학습 방식의 한계는 무엇인가요?
기존 그룹 상대 정책 최적화(GRPO) 같은 방식은 성공과 실패에 대한 이점을 모든 토큰에 균일하게 할당하는 한계가 있어요. 그래서 성공에 결정적인 순간과 그렇지 않은 중간 단계를 구분하기 어려웠어요.
ProVer는 어떻게 중요한 행동을 찾아내나요?
성공한 경로와 실패한 경로를 대조하여 결과가 달라질 수 있는 잠재적인 핵심 결정 구간을 식별해요. 이 구간 전후의 정책 연속체 샘플링을 통해 최종 성공률 차이를 추정해서 우위를 검증합니다.
ProVer를 사용하면 어떤 이점이 있나요?
모든 중간 단계를 평가하지 않고도 중요한 구간만 선별적으로 검증하여 계산 효율성을 높일 수 있어요. ALFWorld, WebShop 등 다양한 환경에서 성능 향상을 입증했어요.