LoRA의 랭크 제한, 용량 통제라는 통념을 깨다
What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation
arXivLoRA에서 랭크($r$)가 모델의 용량(Capacity)을 결정한다는 기존 통념이 구조적 분석을 통해 오류임을 밝혀냈습니다.
- 연구 결과, 랭크는 단순히 용량을 제한하는 것이 아니라, 전이 학습 시 도달 가능한 업데이트 범위와 '제거 비용'을 규정합니다.
- 이는 LoRA 활용에 있어 랭크 의존성을 재정립하며, 모델의 통계적/스펙트럼적 특성 분석이 중요함을 강조하는 전환점입니다.
- 실질적인 랭크 효과를 확인하려면 개별 요소 예산 대신 '공동 예산' 관리가 필요하며, 최악의 경우 랭크와 무관한 성능 경계가 존재할 수 있습니다.
기존에는 에서 사용되는 랭크($r$)가 모델의 용량을 제어하는 요소로 간주되어 왔으며, 낮은 랭크일수록 더 단순하고 일반화 성능이 좋다고 여겨져 왔다. 그러나 연구에 따르면, 하드한 개별 요소 노름 예산(hard per-factor norm budgets) 조건에서는 이러한 직관이 깨진다. 이 구조적 이유는 해당 예산 제약 하에서 LoRA가 도달할 수 있는 업데이트는 핵 노름 볼(nuclear-norm ball) 내의 랭크 $r$ 이하 행렬과 같으며, 분석되는 복잡도 및 변위 함수들은 모두 랭크-1 업데이트에 의해 최대화되기 때문이다.
따라서 랭크가 모델 용량을 제어하지 않는다면, 그 역할은 어디에서 발휘될까? 연구진은 두 가지 지점을 식별했다. 첫째, 통계적으로 개별 요소 예산을 공동 예산(joint budget)으로 대체할 경우 데이터 의존적이고 랭크에 민감한 복잡도 경계를 회복하지만, 최악의 경우는 여전히 랭크와 무관하다. 둘째, 스펙트럼 관점에서 랭크는 적응 비용을 결정하며, 사전 학습된 의 주요 특이 방향(leading singular directions)을 상쇄하려면 충분한 랭크와 예산 모두가 필요함을 보였다.
구체적으로, 선형 출력 모델 클래스는 $r \ge 1$인 모든 경우에 동일하며, 그 라데마허 복잡도(Rademacher complexity)는 $r$에 의존하지 않는다. 또한, LoRA를 통해 적응이 원본 분포에서 얼마나 이동할 수 있는지 측정하는 거리는 랭크와 무관한 상한 경계(upper bound)를 따르며 이는 날카로운 것으로 입증되었다. 이 결과들은 랭크가 모델의 용량을 결정하기보다는, 어떤 업데이트가 도달 가능한지 그리고 그 '상쇄 비용'을 규정함을 보여준다.
용어 풀이
- LoRA
- 모델 전체 대신 작은 추가 부분만 학습시켜 적은 비용으로 미세 조정하는 기법.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.