백전파를 대체하는 트랜스포머 사전 학습 기법 'Dust' 소개
Dust: Pretraining Transformers Without Backpropagation
연구진은 트랜스포머 사전 학습에 필수적인 백전파를 대체하는 제로차수 최적화 기법 'Dust'를 개발했습니다. 이 방법은 가중치 대신 활성화 값(activations)을 노드 단위로 교란하여 작동합니다.
기존 딥러닝이 미분 가능성에 의존했던 학습 방식을 벗어나, 활성화 값 교란을 통해 대규모 AI 모델의 근본적인 학습 방식에 새로운 가능성을 제시해요.
- Dust는 기존의 가중치 기반 진화 전략보다 수백 배 이상 효율적이며, 대규모 개체군에서는 백전파에 필적하거나 능가하는 성능을 보여줍니다.
- 이는 계산 자원이 풍부한 환경에서 미분 가능성이라는 기존 제약을 벗어나 검색 기반의 새로운 학습 패러다임을 제시했다는 점에서 중요합니다.
- Dust는 모델 크기가 클수록 효율성이 높아지는 특성을 보이며, 향후 대규모 AI 모델의 근본적인 학습 방식에 새로운 가능성을 열어줄 것으로 기대됩니다.
기존의 딥러닝은 미분 가능성을 기반으로 하는 백전파(backprop)에 의존해 왔으나, 컴퓨팅 자원의 증가로 인해 검색 기반의 범용적인 학습 알고리즘이 필요하다는 주장이 제기되고 있습니다. 본 논문에서는 사전 학습이라는 어려운 과제에서 백전파를 대체할 수 있는 제로차수 최적화 기법인 Dust를 제시합니다. Dust는 공간 대신 활성화 값(activations)을 교란하는 방식으로 작동하며, 각 마다 독립적으로 노드 교란을 수행하여 에러를 추정하고 이를 통해 그래디언트를 계산합니다.
Dust의 핵심은 '가상 개체군(virtual population)' 개념입니다. 기존 진화 전략 방식이 가중치 공간에서 모든 멤버를 구현해야 하는 비용적 한계가 있었던 것과 달리, Dust는 활성화 값 교란을 통해 각 토큰을 독립적인 멤버로 간주하고 단일 순전파 과정만으로 이들을 병렬적으로 평가합니다. 이 덕분에 Dust는 기존의 가중치 공간 진화 전략보다 수백 배 이상 효율적이며, 1M 토큰부터는 $10^3$에서 $10^4$배 더 효율적인 것으로 추정됩니다.
실험 결과에 따르면, Dust는 대규모 개체군 환경에서 백전파와 경쟁할 뿐만 아니라 여러 설정에서 이를 능가하는 성능을 보였습니다. 특히 흥미로운 점은 일반적인 통념과 달리 모델 크기가 클수록 오히려 더 많은 개체군을 활용하여 효율성이 높아진다는 것입니다. 또한, Dust의 그래디언트 추정치는 개체군이 커짐에 따라 백전파와 더욱 잘 정렬되며, 최대 1B 토큰까지 테스트된 모든 규모에서 높은 일치성을 유지하는 것으로 나타났습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
Dust는 어떤 방식으로 작동하는 기법인가요?
Dust는 가중치 공간 대신 활성화 값(activations)을 교란하는 방식으로 작동해요. 각 토큰마다 독립적으로 노드 교란을 수행하여 에러를 추정하고 이를 통해 그래디언트를 계산합니다.
Dust가 기존 진화 전략보다 효율적인 이유는 무엇인가요?
기존 방식은 가중치 공간에서 모든 멤버를 구현해야 하는 비용적 한계가 있었지만, Dust는 활성화 값 교란을 통해 각 토큰을 독립적인 멤버로 간주하고 단일 순전파 과정만으로 병렬 평가할 수 있어 효율적이에요.
Dust의 성능은 백전파와 비교했을 때 어떤가요?
Dust는 대규모 개체군 환경에서 백전파와 경쟁하며 여러 설정에서 능가하는 성능을 보였어요. 특히 모델 크기가 클수록 오히려 더 많은 개체군을 활용하여 효율성이 높아지는 특징이 있어요.