LLM 강화 학습의 성능 향상을 위한 CARM 마스킹 기법 연구
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
arXiv대규모 언어 모델(LLM)을 강화 학습할 때, 기존 마스킹 기법은 확률 변화가 서로 상쇄되면서 정책 업데이트로 인한 실제 성능 저하를 정확히 측정하기 어려웠습니다.
이 기법은 대규모 언어 모델이 복잡한 수학적 추론이나 코드 생성 같은 전문 분야에서 더 높은 신뢰도와 정확성을 갖도록 돕는 핵심 방법론이에요.
- 연구진은 토큰 로그 비율의 절댓값을 사용해 이러한 상쇄 현상을 막는 'CARM'이라는 새로운 마스킹 기법을 제안했으며, 이는 수학 추론 및 코드 생성에서 큰 성능 개선을 입증했습니다.
- CARM은 LLM이 응답 수준에서 정책을 더욱 정밀하게 제어할 수 있는 이론적 기반을 마련하여, 모델의 신뢰도와 복잡한 추론 능력을 크게 향상시킬 수 있습니다.
- 특히 이 기법은 LLM 강화 학습 과정 중 '오프라인 정책 제어'에 특화되어 있어, 훈련 데이터와 실제 구동 환경 간의 성능 격차를 해소하는 데 핵심적인 방법론입니다.
최근 (LLM)에 대한 (RL) 적용이 활발해지면서 수학적 추론 및 코드 생성 분야에서 상당한 발전이 있었습니다. 그러나 실제 시스템에서는 정책 업데이트나 롤아웃 엔진과 훈련 엔진 간의 차이로 인해 샘플링된 응답이 오프라인 상태가 될 수 있습니다. 기존의 시퀀스 레벨 마스킹 기법은 이러한 불일치를 해결하려 했으나, 확률 비율의 부호 있는 로그 비율이 위치별로 상쇄되면서(cancel) 정책 드리프트 규모를 정확히 파악하기 어렵다는 한계가 있었습니다.
연구진은 이러한 문제를 해결하기 위해 '취소 인식 응답 마스킹(CARM: Cancellation-Aware Response Masking)'이라는 새로운 시퀀스 레벨 마스크를 제안했습니다. CARM은 각 토큰 로그 비율의 절댓값을 취한 후 평균을 계산하여, 서로 반대되는 확률 변화가 상쇄되는 현상을 방지합니다. 이 방법론은 응답 수준에서 오프라인 정책 제어를 수행할 수 있는 이론적 기반을 제공합니다.
실험 결과에 따르면 CARM 기법은 수학 추론 및 코드 생성 분야에서 성능 개선을 입증했습니다. AIME 2024년부터 2026년까지의 시험에서 지오메트릭 평균 마스킹 대비 최대 3.13% 포인트의 향상을 보였으며, 네 가지 코드 에 걸쳐 평균 pass@1 점수를 가장 강력한 기준선보다 2.88점 높이는 결과를 나타냈습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
기존 마스킹 기법의 주요 한계점은 무엇인가요?
이전에는 토큰 확률 비율의 부호 있는 로그 비율이 위치별로 서로 상쇄되는 현상 때문에, 정책 업데이트가 실제 성능에 미치는 변화(정책 드리프트)를 정확하게 파악하기 어려웠어요.
CARM은 어떻게 확률 상쇄 문제를 해결하나요?
CARM은 각 토큰 로그 비율의 절댓값을 취한 후 평균을 계산해요. 이렇게 하면 서로 반대되는 확률 변화가 상쇄되는 현상을 막아줄 수 있으며, 응답 수준에서 오프라인 정책 제어를 할 이론적 기반을 제공해요.
CARM 기법은 어떤 분야에서 성능 개선을 입증했나요?
수학 추론과 코드 생성 분야에서 성능 개선이 확인되었어요. 예를 들어, 특정 시험에서는 지오메트릭 평균 마스킹 대비 최대 3.13% 포인트의 향상을 보였고, 네 가지 코드 벤치마크에서도 높은 점수를 기록했어요.