리서치 연구
OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization
ARarXiv
효율적인 저비트 추론 형식인 NVFP4는 활성화 값의 이상치(outlier) 때문에 양자화 정확도가 떨어지는 문제가 있었습니다.
세 줄 요약
- 연구진은 이 문제를 해결하기 위해, 이상치 채널을 낮은 크기의 보조 채널과 짝지어 오류를 줄이는 '이상치-보조 그룹핑(OCG)' 기반의 OCGQuant 방법을 제안했습니다.
- Llama3와 Qwen3 등 대규모 모델에서 기존 양자화 기법 대비 최고 수준의 정확도를 달성하며 빠른 추론 속도까지 유지합니다.
- OCGQuant는 NVFP4의 한계를 극복하고 높은 정확도와 효율성을 동시에 확보한 차세대 양자화 기술로 주목받고 있습니다.
효율적인 저비트 추론 형식인 NVFP4는 활성화 값의 이상치(outlier) 때문에 양자화 정확도가 떨어지는 문제가 있었습니다.