개발도구 연구
Trajectory-Level Speculative Decoding for Diffusion Language Models
ARarXiv
확산 기반 언어 모델(dLLM)의 처리량 한계를 극복하기 위해 '궤적 수준 추측 디코딩' 프레임워크가 개발되었습니다. 이 방식은 단일 토큰 예측을 넘어 다중 토큰 업데이트 궤적 전체를 병렬로 예측합니다.
세 줄 요약
- 이 기술을 적용하여 디노이징 반복 과정을 30~40% 줄이고, 기존 대비 최대 14배의 속도 향상을 달성했습니다. 동시에 추론 및 코드 벤치마크에서 정확도는 1% 미만으로 유지되었습니다.
- dLLM이 실제 서비스 환경에서 고효율로 작동할 수 있게 함으로써, 대규모 AI 모델의 실용화와 상업적 활용도를 높이는 중요한 진전입니다.
- 핵심은 dLLM의 양방향 구조를 이용한 '블록 간 추측'이며, 연구진은 높은 병렬 처리 능력과 함께 발생하는 '궤적 드리프트'가 속도 향상의 근본적인 비용임을 규명했습니다.
확산 기반 언어 모델(dLLM)의 처리량 한계를 극복하기 위해 '궤적 수준 추측 디코딩' 프레임워크가 개발되었습니다. 이 방식은 단일 토큰 예측을 넘어 다중 토큰 업데이트 궤적 전체를 병렬로 예측합니다.