리서치 연구
Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
ARarXiv
MoE(Mixture-of-Experts) 모델에 LoRA를 결합하여 여러 도메인을 학습시킬 때, 단순히 토큰 라우팅만으로는 각 도메인별 업데이트가 충돌하며 성능 저하(Negative Transfer)가 발생할 수 있습니다.
세 줄 요약
- 연구진은 이러한 문제가 전문가 내부의 적응자(adapter)들이 같은 낮은 차원 공간에서 경쟁하는 '내부 공존 간섭' 때문임을 진단했습니다.
- 이를 해결하기 위해 개발된 SpawnLoRA는 충돌이 감지되는 MoE 전문가 내부에만 게이트가 적용된 서브-적응자를 동적으로 추가하여 구조적 안정성을 확보합니다.
- 본 연구는 LLM의 다중 도메인 학습에서 단순히 라우팅이나 랭크를 늘리는 것보다, 전문가 내부의 '구조적 분리'가 성능 향상에 결정적인 이점을 제공함을 입증했습니다.
MoE(Mixture-of-Experts) 모델에 LoRA를 결합하여 여러 도메인을 학습시킬 때, 단순히 토큰 라우팅만으로는 각 도메인별 업데이트가 충돌하며 성능 저하(Negative Transfer)가 발생할 수 있습니다.