활성화 패턴을 이용한 LLM 자체 증류 학습 방법론
Activation-Conditioned Self-Distillation
arXiv대규모 언어 모델이 스스로 학습하는 과정(Self-Distillation)에서 발생하는 지도 부족 문제를 해결하기 위해 '활성화 조건부 자기 증류(ACSD)' 기술이 개발되었습니다.
- 성공적인 답변 경로와 실패 경로의 활성화 패턴을 비교하여 추출한 '조향 벡터'를 모델 예측 단계마다 적용함으로써 학습 효과를 극대화합니다.
- 가장 큰 장점은 특정 문제의 정답 예시나 별도의 교사 업데이트 없이도 작동하며, 수학적 정확도 등 여러 벤치마크에서 최고 성능을 기록했습니다.
- 따라서 ACSD는 복잡한 추론 능력이 요구되는 다양한 분야에 적용 가능한 범용적이면서도 강력한 LLM 학습 방법론으로 주목받고 있습니다.
본 연구에서 제안하는 활성화 조건부 자기 증류(Activation-Conditioned Self-, ACSD)는 모델이 스스로 교사 역할을 수행하여 추론 과정에 밀도 높은 감독을 제공합니다. 이 기술은 생성된 궤적 중 정답에 도달한 경로의 활성화 패턴과 나머지 모든 궤적의 활성화 패턴 간의 대비를 통해 '조향 벡터(steering vector)'를 추출하는 것이 핵심입니다. 이 조향 벡터는 기본 모델의 고정 복사본에 각 예측 위치마다 적용되어 학생 모델이 학습할 수 있는 다음 분포를 형성합니다.
ACSD의 주요 특징은 결과 검증을 방향 구성 및 보정에 사용한다는 점이며, 문제별 참고 텍스트나 교사 업데이트가 필요하지 않아 별도의 외부 자원이 요구되지 않습니다. 또한, 추출된 방향성은 수학적 학습 데이터셋 전반에 걸쳐 재사용이 가능하며, 고정된 학생 궤적을 사용할 때 기존 방식(OPSD)보다 더 안정적인 후기 위치 로짓 업데이트 크기를 유지하는 것으로 나타났습니다.
다양한 수학적 에서 ACSD는 평가된 방법들 중 가장 높은 평균 정확도를 달성했습니다. 예를 들어, DeepSeek-R1-0528-Qwen3-8B 모델의 경우, 평균 수학 정확도는 71.9%에 도달했으며, LiveCodeBench v6의 pass@12 점수는 70.9%를 기록하여 참고 조건부 OPSD 기준선(69.0%, 66.3%) 대비 우수한 성능을 보였습니다.
용어 풀이
- Distillation
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 매개변수
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
ACSD는 어떻게 모델의 추론 과정을 지도하나요?
이 기술은 생성된 궤적 중 정답에 도달한 경로와 나머지 모든 궤적의 활성화 패턴 간의 대비를 통해 '조향 벡터'를 추출해요. 이 조향 벡터가 기본 모델 복사본에 각 예측 위치마다 적용되어 학생 모델이 학습할 다음 토큰 분포를 형성합니다.
ACSD의 가장 큰 장점은 무엇인가요?
별도의 문제별 참고 텍스트나 교사 매개변수 업데이트가 필요하지 않아 별도의 외부 자원이 요구되지 않는다는 점이에요. 또한, 추출된 방향성은 수학적 학습 데이터셋 전반에 걸쳐 재사용이 가능해요.
ACSD는 어떤 분야에서 높은 성능을 보였나요?
다양한 수학적 벤치마크에서 평가된 방법들 중 가장 높은 평균 정확도를 달성했어요. 예를 들어, DeepSeek-R1-0528-Qwen3-8B 모델은 평균 수학 정확도 71.9%를 기록했습니다.