트랜스포머 투영 행렬의 기하학적 제약: 스티펠 다양체 적용 연구
Stiefel Attention: When the Geometry of Transformer Projection Matrices Dominates Optimizer Choice---and When It Does Not
arXiv트랜스포머의 핵심인 Query 및 Key 투영 행렬을 일반 유클리드 공간 대신 'Stiefel 다양체'라는 기하학적 제약 하에 최적화하는 방법을 제시했습니다.
- 이 기하학적 제약은 학습 안정성을 높이고 가중치 감쇠에도 구조를 유지하며, CIFAR-10 패치 등에서 큰 성능 향상(예: +8.98%p)을 입증했습니다.
- 모델 성능 향상이 단순히 파라미터 증가가 아닌, 행렬들이 따르는 근본적인 기하학적 구조를 최적화하는 데서 올 수 있음을 시사합니다.
- 다만 연구진은 성능 향상의 주원인이 투영기 자체보다 '단계 크기를 자유롭게 조정하는 업데이트 규칙'에 있다고 밝혀, 방법론의 필수성을 재검토할 필요가 있습니다.
기존 모델에서 어텐션에 사용되는 쿼리 및 키 투영 행렬($\mathbf{W_Q}, \mathbf{W_K}$)은 일반적으로 기하학적 제약 없이 유클리드 최적화 방식으로 학습됩니다. 본 연구는 이들 행렬을 스티펠 다양체(Stiefel manifold)라는 기하학적 공간으로 제한하고, Riemannian Adam이라는 최적화 방식을 사용하여 이를 최적화합니다. 이 업데이트 방식은 된 메트릭에서 가장 가파른 하강(steepest descent)임을 증명했으며, 특히 감쇠가 모델의 학습된 어텐션 기하학을 유지하도록 돕는 메커니즘을 제공합니다.
이러한 접근 방식은 높은 성능 향상을 보여주었습니다. 예를 들어 CIFAR-10 패치 데이터셋에서 기존 대비 +8.98 pp의 성능 개선을 달성했습니다. 또한, 이 방법론은 고정된 단계 크기(fixed-step)의 Riemannian 업데이트가 기울기에 대해 1차 함수적 움직임을 보이며, 이는 동일한 형태의 AdamW 행렬보다 훨씬 적은 이동으로도 효과를 얻을 수 있음을 시사합니다.
연구진은 성능 향상의 근본적인 원인에 대한 분석을 통해 중요한 점을 제시했습니다. 전체 성능 개선분은 투영기 자체나 등변성(equivariance) 때문이 아니라, '단계 크기를 자유롭게 조정하는 업데이트 규칙' 덕분이라는 것이 밝혀졌습니다. 이는 방법론의 필수성을 재검토할 필요가 있음을 보여주는 결과입니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.