최소 개입으로 대규모 언어 모델 제어하는 방법
Minimally Invasive Steering of Language Models
arXiv연구진은 대규모 언어 모델(LLM)을 재학습 없이 특정 목표에 맞게 유도하는 새로운 방법 MISVO를 제안했습니다. 이 기술은 모델의 출력 분포 변화로 인한 품질 저하를 최소화하며 원하는 결과를 얻는 것이 핵심입니다.
- MISVO는 개입 과정에서 발생하는 토큰 분포의 변화를 KL 기하학적 관점에서 패널티화하여 안정성을 높였습니다. 그 결과, 선호도 및 코드 생성 등 다양한 작업 환경에서 최고 수준의 평균 보상을 달성했습니다.
- 모델 자체의 파라미터 업데이트 없이 원하는 방향으로 출력을 정교하게 제어할 수 있다는 것이 가장 큰 강점입니다. 이는 특정 목적에 최적화된 사용자 맞춤형 AI 구현을 용이하게 합니다.
- 최대 14B 규모의 다양한 모델과 작업 환경에서 성능이 검증되었습니다. 따라서 파라미터 수정이 어렵거나 안정성이 중요한 현장 적용에 매우 유용합니다.
연구진은 사전 로짓 스티어링 방식을 통해 고정된 언어 모델을 테스트 시점의 보상에 맞게 조정하는 방법을 제시했습니다. 기존 방식에서 무규제 보상 최적화는 출력 분포를 크게 변화시켜 생성 품질 저하를 초래할 수 있습니다. 이에 연구진은 최소 개입 스티어링 벡터 최적화(MISVO)라는 기법을 제안하여, 유도된 분포의 국소 KL 기하학을 이용해 개입 과정에 패널티를 부여함으로써 안정성을 확보했습니다.
MISVO는 결과적으로 피셔 이차식(Fisher quadratic) 측정을 통해 분포 민감도를 측정하며, 이는 고정된 언어 모델 헤드와의 행렬-벡터 곱셈을 통해 해석적인 기울기(analytic gradient)를 계산할 수 있게 합니다. 연구진은 시퀀스 레벨 KL 기울기를 분석적인 피셔 항과 접미사 점수 함수 항으로 정확하게 분해하는 방법을 도출했습니다. 이 기법의 핵심 강점은 모델 를 업데이트하지 않고도 특정 위치에 대한 개입을 최적화할 수 있다는 것입니다.
MISVO는 다양한 환경에서 성능이 검증되었습니다. 약 1B~14B 매개변수를 가진 모델들을 대상으로 선호도 및 코드 생성 작업 등 여러 설정에서 테스트되었으며, MISVO는 여섯 가지의 다른 조건에서 가장 높은 평균 보상을 달성했습니다. 이와 동시에 다양성과 일관성 점수는 Best-of-N 방식과 유사한 수준을 유지하여 안정적인 성능을 입증했습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.