리서치 연구
트랜스포머 모델의 순차적 계산 압축 기술
Distilling Sequential Computation in Transformer Language Models
arXiv트랜스포머 모델의 긴 컨텍스트 처리 비용 문제를 해결하기 위해, 입력 토큰 시퀀스를 기능적 역할을 담은 단일 압축 표현으로 대체하는 기술이 제안되었습니다.
세 줄 요약
- 새로운 '병합 모듈(merge module)'을 통해 모델 재학습이나 구조 변경 없이도 유효 시퀀스 길이를 최대 40%까지 줄이며 높은 정확도를 유지했습니다.
- 이는 LLM의 추론 속도를 획기적으로 높이고 운영 비용을 절감하여, 장문 처리나 복잡한 추론이 필요한 실제 서비스에 큰 효율성을 제공할 것으로 기대됩니다.
- 다만 이 기술은 원본 계산을 근사치로 대체하는 방식이므로, 압축 정도나 설정에 따라 미세한 정확도 저하가 발생할 수 있어 추가적인 검토가 필요합니다.
언어 모델은 을 자기회귀 방식으로 처리하기 때문에, 컨텍스트 길이가 길어질수록 계산 비용이 급격히 증가하는 문제가 있습니다. 이 문제를 해결하고자 '순차적 계산 증류(distilling sequential computation)' 방법이 제안되었으며, 이는 입력 토큰의 특정 구간(spans)을 기능적 역할을 포착한 단일 압축 표현으로 대체하여 모델의 효율성을 높이는 것을 목표로 합니다.
제안된 방식은 경량화된 '병합 모듈(merge module)'을 사용하여 구현됩니다. 이 모듈은 정적인 토큰 시퀀스에서 하나의 대리 임베딩(surrogate embedding)을 생성하여 여러 토큰의 기능적 역할을 포착합니다. 이를 통해 사전 학습된 모델이 구조 변경이나 재학습 없이 압축된 입력으로 작동할 수 있게 하며, 추론 과정 중 와 중간 디코딩 단계 모두에 적용됩니다.
실험 결과에 따르면, 이 병합 모듈은 언어 모델 평가 및 다운스트림 작업 전반에서 최소한의 정확도 저하만으로 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 입증했습니다. 또한, 추가적인 경량 적응을 통해 특정 환경에서는 정확도와 압축률 간의 균형이 더욱 개선될 수 있습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 프롬프트
- AI에게 주는 지시나 질문 글.