리서치 연구
양자화 환경에서 해석 가능성 측정의 통계적 한계
Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization
arXivAI 모델을 경량화(양자화)하여 실제 서비스에 적용할 때, 기존의 해석 가능성 측정 방식들이 신뢰하기 어렵다는 연구 결과가 발표되었습니다.
세 줄 요약
- 특히 INT4 수준으로 압축 시 의사결정 방향이 크게 틀어지는 현상이 관찰되었으며, 단순 코사인 유사도 같은 통계 지표만으로는 안전성을 판단할 수 없습니다.
- 이는 AI 모델의 해석 가능성 보장이 단순히 높은 유사도 값에 의존하는 것이 아니라, 충분한 통계적 근거와 노이즈 플로어 분석이 필수적임을 의미합니다.
- 또한, 코사인 유사도는 변수의 이동(Translation)과 약화(Attenuation)를 구분하지 못하므로, 모델의 안전성을 검증하기 위한 더 정교하고 비용 효율적인 방법론이 필요합니다.
해석 가능성 아티팩트는 풀-프리시전 로 보정되지만, 된 모델에 배포될 때 신뢰성이 떨어질 수 있습니다. 현재의 해석 가능성 검증 방식들은 코사인 유사도와 같은 스케일 불변 통계량을 사용해 변화를 측정하지만, 이들이 계산된 노이즈 플로어 정보가 누락되어 있다는 문제가 제기되었습니다. 예를 들어, 특정 코사인 값이 보고되더라도, 해당 값을 계산할 때 사용된 샘플 크기($n$)와 같은 필수 입력값이 제시되지 않으면 그 의미를 해석하기 어렵습니다.
실제 실험 결과에 따르면, INT4 수준으로 양자화했을 때는 의사결정 방향이 회전하여 추정기의 자체 노이즈를 초과하는 현상이 관찰되었습니다. 반면 INT8에서는 움직임이 감지되지 않았으나, 이는 모델 간의 동등성(equivalence)을 주장할 수 있는 근거는 아닙니다. 또한, 스케일 불변 통계량은 전이된 결정 변수의 이동(translation)과 약화(attenuation)를 구분하지 못하며, 이 두 현상은 상반되는 해결책을 요구하기 때문에 더 정교한 검증 방법론이 필요합니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.