모델 도구
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
HFHugging Face
ISTA-DASLab이 Qwen3.8-27B 모델을 GSQ와 RCO 기술로 양자화하여 배포했습니다. 이 방식은 모든 가중치에 균일한 정밀도를 적용하는 대신, 텐서별 최적의 비균일 정밀도를 할당합니다.
세 줄 요약
- 특히 'IQ3_S' 버전 같은 고효율 모델들은 크기를 대폭 줄이면서도 AIME25 등 주요 추론 벤치마크에서 원본 BF16 모델과 동일한 성능을 유지하는 '작업 손실 없음(task-lossless)' 성과를 달성했습니다.
- 이는 사용자가 고성능 LLM을 훨씬 적은 메모리 자원으로 구동할 수 있게 하여, 개인 장치 환경에서도 최신 AI 기술 활용의 문턱을 낮추는 데 큰 의미가 있습니다.
- 모델은 GGUF 포맷으로 llama.cpp 등 표준 환경에서 즉시 사용 가능하며, 멀티모달 기능을 이용하려면 별도의 비전 프로젝터 파일(`mmproj`)이 필요합니다.
ISTA-DASLab이 Qwen3.8-27B 모델을 GSQ와 RCO 기술로 양자화하여 배포했습니다. 이 방식은 모든 가중치에 균일한 정밀도를 적용하는 대신, 텐서별 최적의 비균일 정밀도를 할당합니다.