리서치 연구
소규모 언어 모델을 위한 파라미터와 연산의 트레이드오프
Looped GPT-BERT: Trading Parameters for Computation in Small Language Modeling
arXiv데이터 부족 문제를 해결하기 위해 파라미터 증가 대신, 적은 물리적 레이어를 반복 적용하는 'Looped GPT-BERT' 방식을 제안했습니다.
세 줄 요약
- 이 모델은 1200만 개 내외의 소규모 파라미터를 사용하면서도 기존 대형 공개 모델과 유사한 수준의 높은 언어 이해 능력을 입증했습니다.
- 이는 데이터나 컴퓨팅 자원이 제한적인 환경에서도 고성능을 유지할 수 있는 효율적이고 실용적인 LLM 구축 방안을 제시한다는 점에서 중요합니다.
- 다만, 반복 계산(Loop)이 성능 향상에 도움을 주지만, 물리적 레이어 자체가 적으면 모델의 표현 공간에 근본적인 한계가 있을 수 있습니다.
본 연구는 데이터가 제한적인 상황에서 단순히 수를 늘리는 대신, 적은 물리적 레이어를 반복적으로 적용하는 'Looped GPT-BERT' 방식을 제안합니다. 이 모델은 GPT-BERT의 마스크드 다음 예측과 인과 언어 모델링 목표를 결합하고 깊이별 파라미터 공유(depth-wise parameter sharing) 기법을 사용해 학습되었습니다.
연구진은 전처리된 7.48M 단어 분량의 영어 코퍼스로 모델을 훈련시켰으며, 최종적으로 12.18M 개의 파라미터를 가진 $4\times12$ 구조를 완성했습니다. 이 소규모 모델은 BLiMP 및 GLUE와 같은 선택적 언어학적 및 다운스트림 지표에서 공개된 GPT-2나 GPT-BERT 기반의 대형 모델들과 비교하여 유사한 성능을 달성하는 것으로 보고되었습니다.
반복 계산(recurrent computation)을 추가하는 것은 훈련 개선과 강력한 성능 유지에 도움을 주지만, 물리적 레이어 자체가 적다는 점은 모델의 표현 공간에 근본적인 한계를 가질 수 있음을 보여줍니다.
용어 풀이
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.