최적화기 기억이 유발하는 언어 모델의 망각 현상 연구
A Step Towards Forgetting: Optimiser History and the Loss of Answer Mass
언어 모델을 미세 조정(fine-tuning)하는 과정에서 최적화기(optimizer)의 누적된 기억이 오히려 이전에 학습했던 지식을 잊게 만드는 '망각' 현상이 발생한다는 연구 결과가 발표되었습니다.
AI 모델이 새로운 지식을 학습하는 과정에서 기존에 중요했던 정보를 잃어버릴 수 있다는 것은, 장기적이고 신뢰성 높은 시스템을 구축하는 데 있어 근본적인 과제를 제시해요.
- 모델은 오래된 답변에 대한 구분 능력은 높아지지만, 실제로 그 답변을 생성할 확률인 '답변 질량'은 과거 기울기 영향으로 지속적으로 감소하는 것으로 나타났습니다.
- 이는 AI 모델이 새로운 지식을 학습하며 기존의 중요한 정보를 의도치 않게 잃어버릴 수 있음을 의미하며, 장기적인 시스템 신뢰성 확보에 대한 근본적 과제를 제시합니다.
- 최적화기의 모멘텀을 조정하는 개입이 망각 현상을 완화할 수 있으며, 최적화 과정에서 기울기의 방향성이 지식 유지 정도를 결정하는 핵심 요소입니다.
언어 모델을 (fine-tuning)하는 과정에서, 최적화기의 누적된 메모리(history)가 이전에 학습했던 답변에 대한 확률을 낮추는 '망각' 현상이 발생할 수 있습니다. 연구진은 이러한 최적화기 기억이 어떻게 망각에 기여하는지 알아보기 위해 오래된 작업 손실을 기존 답변들 사이의 혼란과 답변 집합 외부로 새어 나가는 확률(leakage)으로 분리하여 조사했습니다.
세 가지 언어 모델 계열 전반에서, 연구 결과답변 질량(answer mass)은 지속적으로 감소하는 경향을 보였으나, 오래된 답변들 간의 구분 능력은 일반적으로 향상되는 패턴이 관찰되었습니다. 이는 모델이 여전히 정확하게 구별할 수 있는 답변을 생성할 가능성이 낮아진다는 것을 의미합니다.
Adam 업데이트를 분해한 결과, 답변 질량 손실에 대해 상반되는 기여가 발견되었습니다. 과도한 훈련 과정에서 축적된 이력은 누출(leakage)을 선호하는 반면, 현재의 기울기(gradient)는 이를 방지하려는 경향을 보입니다. 또한, 모멘텀을 초기 업데이트 노름에 맞게 재설정하는 개입이 저장된 이력이 지식 유지에 영향을 미치며, 답변 질량 회복과 오래된 작업 손실 감소를 통해 망각 현상을 완화할 수 있음을 확인했습니다.
용어 풀이
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
언어 모델의 '망각 현상'은 구체적으로 어떤 의미인가요?
미세 조정(fine-tuning) 과정에서 최적화기의 누적된 메모리(history)가 이전에 학습했던 답변에 대한 확률을 낮추는 현상을 말해요. 연구진은 이를 오래된 작업 손실과 정보 새어 나감(leakage)으로 나누어 조사했어요.
모델이 오래된 답변을 구분하는 능력과 실제로 생성할 확률은 왜 다른가요?
연구 결과에 따르면, 모델은 여전히 정확하게 구별할 수 있는 답변의 가능성은 높아지지만, 실제 그 답변을 만들어낼 확률인 '답변 질량'은 지속적으로 감소하는 경향을 보였어요. 이는 구분 능력과 생성 확률이 별개로 작용함을 의미해요.
모델의 망각 현상을 완화할 수 있는 기술적 방법이 있나요?
네, 최적화기의 모멘텀을 초기 업데이트 노름에 맞게 재설정하는 개입을 통해 지식 유지에 영향을 줄 수 있어요. 이 방법을 사용하면 답변 질량을 회복하고 오래된 작업 손실을 감소시켜 망각 현상을 완화할 수 있습니다.