모델 도구
incoai/Qwen3.8-27B-DFlash2
HFHugging Face
Qwen/Qwen3.8-27B용 DFlash 2 드래프트 모델인 incoai/Qwen3.8-27B-DFlash2를 공개했다.
세 줄 요약
- DFlash 2는 블록-확산(block-diffusion) 드래프터로, 단일 패스로 토큰 블록 전체를 예측하며 SGLang이나 vLLM 서버에서 구동해야 한다.
- 평가 결과, DFlash 2는 GSM8K 태스크의 Concurrency 32 환경에서 1,922.5의 Throughput을 기록하며 성능 향상을 보였다.
- 이 모델은 독립적인 언어 모델이 아니며, 추측 디코딩 서버 내에서 작동한다. 사용을 위해서는 SGLang이나 vLLM 같은 특정 프레임워크를 이용해야 한다.
Qwen/Qwen3.8-27B용 DFlash 2 드래프트 모델인 incoai/Qwen3.8-27B-DFlash2를 공개했다.