샘플링 기법을 활용한 미세 조정(SFT) 성능 향상 연구
Finetuning with Sampling: SFT Learns Better Than You Think
대규모 언어 모델(LLM)의 성능 향상을 위해, 기존 지도 미세 조정(SFT)이 가진 일반화 및 망각 문제를 해결하는 새로운 샘플링 기법을 개발했습니다.
이 연구는 대규모 언어 모델이 전문적인 과학적 추론이나 수학적 사고 같은 복잡한 지식 습득에서도 안정적이고 우수한 성능을 보이도록 개선했어요.
- 제안된 MCMC 샘플링 알고리즘은 오프라인 데이터를 온정책에 가깝게 변환하여, SFT 모델이 최신 기술 대비 우수한 성능과 안정성을 갖추도록 합니다.
- 본 연구는 샘플링 과정을 단순한 기법을 넘어 '학습 가능한 데이터 구조를 만드는 핵심 연산자'로 제시하며 범용적인 활용도를 높였습니다.
- 미세 조정된 모델은 기본 분포 강화 수준을 뛰어넘어, 과학적 추론이나 수학적 사고 등 다양한 전문 지식 습득 능력을 입증했습니다.
의 후처리 과정에서 지도 (SFT)과 (RL)은 주요 기술로 사용되어 왔습니다. 기존에는 RL이 새로운 작업에 대한 강력한 일반화 능력을 제공하는 반면, SFT는 취약한 일반화와 치명적 망각을 겪기 쉽다는 인식이 있었습니다. 본 연구에서는 오프라인 전문가 데이터가 담고 있는 특권 정보를 활용하면서도 온정책 학습의 강점을 결합하는 방법을 모색했습니다.
연구진은 학습 목표를 수정하기보다는, 대신 마르코프 체인 몬테카를로(MCMC) 샘플링 알고리즘을 도입하여 오프정책 추적 경로들을 미세 조정에 사용되는 참조 모델을 기반으로 온정책에 가깝게 점진적으로 변환하는 방식을 제안했습니다. 이 샘플링 기법은 SFT가 기존의 한계를 극복하도록 돕습니다.
이러한 접근 방식 덕분에, 과학적 기술 습득이나 수학적 추론 같은 다양한 전문 분야에서 미세 조정된 모델은 강력한 온정책 기반 기술과 견줄 만한 성능을 보였으며 망각 현상도 줄였습니다. 나아가 이 샘플링 과정을 단순한 기법을 넘어 학습 가능성을 위해 데이터를 구조화하는 범용적인 '모델 고유 연산자'로 제시하여 활용도를 높였다는 점이 특징입니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.
기존의 지도 미세 조정(SFT)은 어떤 한계를 가지고 있나요?
SFT는 새로운 작업에 대한 일반화 능력이 취약하고, 지식을 학습할 때 이전 지식을 잊어버리는 치명적 망각을 겪기 쉬웠어요.
연구진이 제안한 핵심 기술은 무엇인가요?
마르코프 체인 몬테카를로(MCMC) 샘플링 알고리즘을 도입했어요. 이 알고리즘은 오프라인 데이터를 참조 모델 기반으로 온정책에 가깝게 변환하여 SFT의 한계를 극복하도록 도와줘요.
미세 조정된 모델이 보여준 주요 성능 향상은 무엇인가요?
과학적 기술 습득이나 수학적 추론 같은 전문 분야에서 강력한 온정책 기반 기술과 견줄 만한 성능을 보였고, 망각 현상도 줄여서 안정성을 높였어요.