리서치 연구
Calibration-Preserving Pruning: Compression as a Reliability Contract
ARarXiv
Calibration-Preserving Pruning(CPP)은 모델 압축 과정에서 신뢰성(calibration)을 유지하는 새로운 방법을 제시한다.
세 줄 요약
- CPP는 기본 가지치기 점수에 비적합성 기울기를 추가하고, DBpedia-14에서 CPP-SparseGPT가 평균 세트 크기를 10.1에서 8.6으로 줄이고 정확도는 0.347에서 0.366으로 변화시켰다.
- CPP는 예측 세트를 줄이면서도 모델의 신뢰성을 보존하는 것이 가능하며, 이는 특히 신뢰성이 중요한 분류 작업에 유용하다.
- 해당 방법은 신뢰성 민감 분류에 한정되며, 일반적인 지도 학습 기울기가 얻는 이득의 상당 부분을 설명한다.
Calibration-Preserving Pruning(CPP)은 모델 압축 과정에서 신뢰성(calibration)을 유지하는 새로운 방법을 제시한다.