리서치 연구
양자화 행렬 곱셈을 위한 제품 인지 반올림 기법
Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
arXiv양자화된 행렬 곱셈 과정에서 발생하는 반올림 오차를 줄이기 위해, 결과 전체의 '곱(Product)'을 고려하는 결정론적이고 제품 인지적인 반올림 기법이 제안되었습니다.
세 줄 요약
- 새로 개발된 조건부 기댓값 완성 알고리즘은 기존 방식 대비 오류율을 획기적으로 낮추었으며, 특정 환경에서 최대 43배 이상의 성능 개선 효과를 입증했습니다.
- 이는 AI 모델의 양자화 과정에서 발생하는 계산 오차를 최소화하여, 제한된 컴퓨팅 자원에서도 높은 정확도를 유지하는 데 핵심적인 역할을 할 수 있습니다.
- 다만, 이 최적화 문제는 계수(rank)가 1인 경우에도 NP-난해한 문제로 남아있어, 실제 구현 시 계산 복잡도와 관련된 한계점을 고려해야 합니다.
행렬 곱셈 과정에서 발생하는 스칼라 단위의 반올림 결정은 서로 상호작용하며 전체 결과값의 '곱(Product)'에 영향을 미칩니다. 본 연구는 이러한 문제를 해결하기 위해, 스케일링 및 클리핑 경계가 고정된 상태에서 결과를 고려하는 제품 인지적이고 결정론적인 반올림 기법을 제시합니다.
제안된 조건부 기댓값 완성(Conditional-expectation completion) 알고리즘은 동적 활성화 반올림 과정에서 최대 $r$개의 분수 결정을 남기며, 이를 통해 기존 방식 대비 낮은 오류율을 달성했습니다. 예를 들어, 균형 잡힌 블록 환경에서 이 방법은 dither-normalized median error가 0.010에 달하는 성능을 보였으며, 이는 일반적인 round-to-nearest 방식의 0.899와 비교됩니다.
또한 클리핑 인지 초기화(Clipping-aware initialization)를 적용했을 때에는 중앙값 정규화 오류가 최대 43.4배까지 감소하는 효과를 입증했습니다. 다만, 이 최적화 문제는 계수(rank)가 1인 경우에도 NP-난해한 문제로 남아있어 실제 구현 시 계산 복잡도에 대한 고려가 필요합니다.