Whisper 모델 압축이 음성 인식 공정성에 미치는 영향 연구
Temporal Taxation Compounds Under Post-Training Compression of Whisper Models
arXiv자동 음성 인식(ASR) 모델의 배포 단계에서 발생하는 가중치 압축(양자화, 가지치기 등)이 기존 테스트에서는 발견하지 못한 새로운 공정성 격차를 초래합니다.
- 특히 Whisper 모델의 가지치기는 인종 그룹 간 오류율 차이를 급격히 확대시키며, 저비트 양자화는 일부 방언에서 심각한 전사 루프 현상을 유발합니다.
- 따라서 모델을 높은 정밀도로 테스트하는 것만으로는 충분하지 않으며, 압축 과정이 이미 소외된 화자들에게 가중치를 지우는 '배포 시간의 부담'을 측정해야 합니다.
- 반면 모델 증류(Distillation)는 평가된 대부분의 환경에서 인종 간 공정성 격차를 좁히는 효과를 보였으나, 이러한 문제는 가중치 압축 단계에 한정적입니다.
자동 음성 인식(ASR) 모델은 인구통계학적 공정성을 갖추도록 높은 정밀도로 감사받지만, 실제 서비스에 배포되는 과정에서는 (quantized), 가지치기(pruned), 증류(distilled)와 같은 압축 과정을 거칩니다. 본 연구는 이러한 후처리 가중치 압축이 음성 신호나 특징 표현을 변경하지 않으면서도, 인구통계학적 그룹 간 오류 부담을 재분배하는지 조사했습니다.
Whisper-large-v3 모델에 50% Wanda 가지치기를 적용한 결과, Fair-Speech 데이터셋에서 Black/AA 대 Asian 그룹 간의 시간적 격차가 급격히 확대되는 것이 확인되었습니다. 이로 인해 최악의 그룹과 최고의 그룹 간 단어 오류율(WER) 차이가 두 배 이상 증가했으며, 이는 분당 30초에서 64초의 수정 노력 시간 증가에 해당합니다. 또한 INT4 HQQ 양자화는 서아프리카 악센트 화자에게서 전사 루프 현상을 최대 5배에서 7배까지 증폭시키는 결과를 보였습니다.
모델 증류()는 평가된 27개 환경 중 21개에서 인구통계학적 격차를 줄이는 효과를 보여주었습니다. 그러나 연구진은 단일 시점의 공정성 감사가 모델 압축이 이미 소외된 화자들에게 가하는 '배포 시간의 부담'을 포착하지 못한다고 지적했습니다.
용어 풀이
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- Distillation
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.