개발도구 도구
z-lab/Qwen3.8-27B-DFlash2
HFHugging Face
z-lab이 Qwen3.8-27B 모델을 위한 DFlash 2 드래프트 모델을 발표했으며, 이는 추측 디코딩 서버에서 작동한다.
세 줄 요약
- DFlash 2는 블록 확산(block-diffusion) 드래프터로 한 번에 토큰 블록 전체를 예측하며, GSM8K 태스크에서 Concurrency 1 시 3.43배의 속도 향상을 기록했다.
- 추측 디코딩 방식을 사용해 토큰 생성 과정을 가속화하여 높은 처리량(Throughput)을 달성하는 것이 핵심이다.
- DFlash 2는 독립적인 언어 모델이 아니므로, 반드시 SGLang이나 vLLM 같은 추측 디코딩 서버 내에서 구동해야 한다.
z-lab이 Qwen3.8-27B 모델을 위한 DFlash 2 드래프트 모델을 발표했으며, 이는 추측 디코딩 서버에서 작동한다.