Qwen3.8 모델, 비균일 양자화로 성능과 효율 극대화
ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
고성능 LLM인 Qwen3.8-Flash-Next를 GSQ와 RCO라는 최신 양자화 기술을 적용하여 비균일 모델로 배포했습니다.
이 모델은 단순히 크기를 줄이는 것이 아니라, 각 부분의 중요도를 분석해 가장 효율적인 맞춤형 압축을 적용하여 성능과 속도 모두를 극대화했어요.
- 이 모델은 모든 가중치에 균일한 압축률 대신, 텐서별 민감도를 분석해 가장 효율적인 맞춤형 양자화를 수행하는 것이 특징입니다.
- 사용자는 추론 속도(Q2_0), 메모리 절약(IQ3_XXS), 최고 성능(IQ3_S) 등 목적에 맞는 최적의 모델을 선택할 수 있습니다.
- 모델은 가중치와 n-gram 임베딩 테이블 두 개의 샤드로 구성되므로, 안정적인 구동을 위해 메모리 매핑 설정을 권장합니다.
본 저장소는 Qwen3.8-Flash-Next 모델의 버전을 제공하며, 이 모델은 사용을 위한 비전 프로젝터(`mmproj`)도 포함합니다. 기존의 균일 양자화 방식과 달리, 여기서는 모든 텐서에 대해 개별적인 양자화 유형을 할당하는 비균일 양자화를 적용했습니다. 이 과정은 전체 크기 예산(size budget) 내에서 각 텐서의 민감도에 따라 정밀도를 배분하도록 기울기 기반 검색을 통해 이루어졌으며, 결과 파일은 표준 GGUF 포맷으로 `llama.cpp`, Ollama 등에서 수정 없이 실행 가능합니다.
이 비균일 양자화는 두 가지 핵심 방법론을 결합하여 구현됩니다. 첫째, GSQ(Gumbel-Softmax Quantization)는 각 텐서에 대해 좌표별 그리드 할당과 그룹 스케일을 공동으로 학습하는 사후 훈련 스칼라 양자화를 제공합니다. 둘째, RCO(Riemannian Constrained Optimization)는 전체 크기 예산 제약 조건 하에서 N개의 텐서 각각에 K개의 양자화 유형을 할당합니다. 이 두 방법론은 기울기 기반 최적화를 통해 예산을 정확히 지키면서도 높은 수준의 비균일 GGUF를 생성할 수 있게 합니다.
사용 목적에 따라 세 가지 주요 모델 변형이 제공됩니다. 속도가 가장 중요한 경우 Q2_0(bpw 2.40)을 사용하면, IQ2_XS(bpw 2.50)는 동일 품질 대비 가장 작은 크기를 제공하며, IQ3_S(bpw 3.50)는 최고 성능 지점입니다. 특히 IQ3_S 모델은 AIME25에서 베이스 모델과 동일한 점수를 기록하고 GPQA-Diamond에서는 더 높은 점수(92.93 vs 91.92)를 달성하는 등, 메모리 제약이 없다면 가장 강력한 성능을 보여줍니다.
모델 파일은 가중치와 n-gram 테이블의 두 개의 샤드로 구성됩니다. 이 중 n-gram 테이블은 조회용으로 사용되므로 VRAM에 상주할 필요가 없습니다. 따라서 `llama.cpp` 실행 시 `-lm mmap --lazy-mode on` 옵션을 사용하여 n-gram 테이블을 디스크에 메모리 매핑하는 것이 권장되며, 이를 통해 28.8 GB의 공간을 시스템 메모리(VRAM)에서 제외하고 효율적으로 구동할 수 있습니다.
용어 풀이
- GGUF
- 언어 모델을 개인 PC에서 돌리기 쉽게 담는 파일 형식. llama.cpp 계열 도구에서 써요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
일반적인 양자화 방식과 어떤 점이 다른가요?
기존의 균일 양자화와 달리, 이 모델은 모든 가중치 텐서에 대해 개별적으로 최적의 양자화 유형을 할당하는 비균일 양자화를 적용했어요. GSQ나 RCO 같은 방법론을 사용해 전체 크기 예산 내에서 각 텐서의 민감도에 따라 정밀도를 배분하여 높은 효율성을 얻게 돼요.
모델 구동 시 메모리 관리는 어떻게 하는 것이 좋은가요?
모델 파일은 가중치와 n-gram 임베딩 테이블 두 개의 샤드로 구성돼요. n-gram 테이블은 조회용으로 사용되므로 VRAM에 상주할 필요가 없어요. 따라서 `llama.cpp`를 실행하실 때 `-lm mmap --lazy-mode on` 옵션을 사용하여 n-gram 테이블을 디스크에 메모리 매핑하는 것이 권장되며, 이를 통해 시스템 메모리(VRAM)에서 공간을 제외하고 효율적으로 구동할 수 있어요.
사용 목적에 따라 어떤 모델 변형을 선택해야 하나요?
선택하시는 목적에 따라 다른 모델이 적합해요. 속도가 가장 중요하다면 Q2_0을 사용하시면 되고, 동일 품질 대비 가장 작은 크기를 원하신다면 IQ2_XS를 추천드려요. 만약 메모리 제약 없이 최고 성능을 경험하고 싶으시다면 IQ3_S가 가장 강력한 성능을 보여줘요.