개발도구 도구
unsloth/Qwen3.8-27B-NVFP4
HFHugging Face
unsloth의 Qwen3.8-27B NVFP4 양자화 자료는 Qwen3.8-27B 기반 버전을 다룹니다.
세 줄 요약
- NVFP4 양자화는 vLLM에서만 동작하고 SGLang은 lm_head FP8을 못 로드하며, 27B 모델은 262,144토큰 기본 컨텍스트를 1,000,000토큰까지 확장합니다.
- vLLM에서 4비트 NVFP4로 Qwen3.8-27B를 실행하고, 이미지·비디오 이해와 도구 호출, MTP 추론을 함께 확인합니다.
- SGLang은 lm_head FP8을 로드하지 못해 vLLM만 지원하며, thinking mode는 기본 켜져 있고 요청별로 끄도록 되어 있습니다.
unsloth의 Qwen3.8-27B NVFP4 양자화 자료는 Qwen3.8-27B 기반 버전을 다룹니다.