리서치 연구
LLM 사후 훈련 가중치 변화의 기하학적 분석
GRRR: The Geometry of Reshaping, Rotation, and Routing in Decoder LLM post-training
arXiv연구진은 대규모 언어 모델(LLM)의 가중치가 사후 훈련을 거치며 어떻게 변화하는지 특이값 분해(SVD)를 이용해 수학적으로 분석했습니다.
세 줄 요약
- 가중치의 업데이트는 '재구성', '회전', '경로 확장'이라는 세 가지 기하학적 요소로 나뉘며, 대각선 성분을 제거해도 성능 향상이 대부분 유지되는 것이 확인되었습니다.
- 이는 LLM의 성능 개선이 모델 자체의 핵심 값 변화보다는 기존에 학습된 지식 경로(pathway)를 재배열하고 확장하는 방식으로 이루어짐을 시사합니다.
- 본 분석은 SFT 및 RL 등 다양한 훈련 체인을 대상으로 하여, LLM 최적화 원리를 기하학적 관점에서 이해하는 데 중요한 통찰을 제공합니다.
연구진은 (LLM)이 사전 학습된 대비 사후 훈련을 거치며 어떻게 변화하는지 수학적으로 연구했습니다. 이 과정에서 슈퍼바이즈드 (SFT) 및 (RL) 등 총 12개의 사후 훈련 체인을 대상으로, 각 가중치 업데이트를 사전 학습된 행렬의 특이값 분해(SVD) 틀로 표현하여 분석을 진행했습니다.
이 SVD 분해는 가중치 변화가 세 가지 기하학적으로 구별되는 구성 요소로 나뉨을 보여줍니다. 첫째, 대각선 값은 특이값을 재구성하는 역할을 하며, 둘째, 비대각선 값은 사전 학습된 입력 및 출력 방향 간의 결합(coupling)을 회전시키고, 셋째, 영공간(null-space) 값은 행렬의 원래 비영 SVD 핵심 영역 바깥으로 경로를 우회시키는 기능을 담당합니다.
분석 결과에 따르면, 수학 평가 세트에서 대각선 성분을 제거하더라도 사후 훈련을 통해 얻는 성능 향상의 대부분이 유지되는 것으로 나타났습니다. 이는 LLM의 성능 개선 효과가 사전 학습된 모델 자체의 특이값을 크게 변화시키기보다는, 기존 경로를 재구성하고 확장하는 방식으로 주로 이루어짐을 시사합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 파인튜닝
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.