리서치 연구
로컬 서포트 러닝(LSL): LLM의 파국적 망각 해결 방안
Local Support Learning
ARarXiv
대규모 언어 모델(LLM)이 새로운 데이터를 학습할 때 기존에 습득한 지식을 잃는 '파국적 망각' 문제를 해결하는 혁신적인 방법론이 제시되었습니다.
세 줄 요약
- 제안된 로컬 서포트 러닝(LSL)은 가중치 어댑터와 게이팅 함수를 결합하여, 학습 변화가 오직 현재 데이터 분포에 국한되도록 업데이트를 제한합니다.
- 이 기술은 메모리 효율성을 유지하면서도, 여러 단계의 학습을 거쳐 LLM의 기존 지식과 새로운 기능을 동시에 성공적으로 보존할 수 있습니다.
- 특히 게이팅 함수가 가우시안 혼합 모델(GMM) 기반으로 설계되어, 과거 데이터와 거리가 먼 정보는 자동으로 배제하는 것이 핵심 원리입니다.
대규모 언어 모델(LLM)이 새로운 데이터를 학습할 때 기존에 습득한 지식을 잃는 '파국적 망각' 문제를 해결하는 혁신적인 방법론이 제시되었습니다.