통신 효율적인 교차 어휘 협업 추측 디코딩 기술
X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding
arXivLLM 추론 효율화를 위한 협업 방식(CoSD)이 사용되지만, 기존 방법은 SLM과 LLM 간 어휘 불일치로 인해 통신 부하가 크다는 한계가 있었습니다.
- 본 연구는 하이브리드 리샘플링을 적용한 X-CoSD를 제안하여 공통 어휘 영역만 전송하고, X-CoSD-E로 서버 후보군과 확률만 보내 기기에서 검증하는 방식으로 효율성을 높였습니다.
- 이 기술은 통신 부하를 혁신적으로 줄여 토큰 생성 속도를 크게 개선하면서도, 원본 서버 LLM과 동등한 높은 품질을 유지할 수 있습니다.
- 연구진은 두 방식 모두 서버 LLM의 토큰 생성 분포를 정확히 보존함을 입증하여, 성능 저하 없이 속도 개선이 가능하다는 것을 수학적으로 증명했습니다.
본 논문은 분산형 (LLM) 추론 프레임워크인 협업 추측 디코딩(CoSD)을 다룹니다. 기존 CoSD 방식에서는 소형 언어 모델(SLM)이 후보 을 초안 작성하고 서버 LLM이 이를 검증하는 구조를 사용합니다. 그러나 기존 방법들은 SLM과 LLM 간의 어휘 공유를 가정하며, 잔여 리샘플링 과정에서 발생하는 토큰 분포 교환으로 인해 상당한 통신 부하가 발생한다는 한계가 있었습니다.
이러한 문제를 해결하기 위해 연구진은 이종(heterogeneous) SLM-LLM 어휘 집합을 위한 손실 없는 통신 효율적 CoSD 프레임워크인 X-CoSD를 제안했습니다. X-CoSD는 하이브리드 리샘플링(HR)에 기반하여, 잔여 리샘플링 과정을 기기 측의 공통 어휘 영역과 서버 측의 LLM 전용 영역으로 분할합니다. 이로 인해 분포 전송이 필요한 구간을 공통 어휘 영역으로만 제한하여 통신 효율성을 높였습니다.
나아가 연구진은 서버 리샘플링 기반 장치 검증(SR-DV) 방식인 X-CoSD-E를 추가로 제안했습니다. 이 방식에서는 서버가 LLM에서 샘플링된 대체 후보군과 해당 확률만을 전송하고, 이를 기기에서 로컬로 검증합니다. 실험 결과에 따르면, X-CoSD와 X-CoSD-E 모두 서버 LLM의 분포를 보존하는 것으로 나타났으며, 토큰 생성 속도를 크게 개선하면서도 서버 LLM과 비교 가능한 수준의 높은 생성 품질을 유지함을 입증했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 온디바이스
- 서버를 거치지 않고 휴대폰이나 PC 안에서 직접 돌아가는 AI.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.