활용 사례 연구
Too much of a good thing -- when knowledge distillation promotes overfitting, and how to avoid it
ARarXiv
지식 증류(KD)를 네트워크의 최종 출력뿐 아니라 중간 블록 단위로 적용하여 작고 효율적인 모델을 구축하는 방법을 제안했다.
세 줄 요약
- 11개 데이터셋에서 테스트한 결과, 클래식 데이터셋은 마지막 블록만 증류해도 충분하며, 미세 분류 환경에서는 중간 감독이 큰 이점을 제공한다.
- 적절하게 안내된 중간 블록 단위 증류는 정확도를 희생하지 않으면서도 작고 데이터 효율적인 모델을 만드는 핵심 방법이다.
- 중간 블록 단위 증류를 적용할 때는 주의 깊은 안내가 필요하며, 어텐션 맵이나 Centered Kernel Alignment 같은 분석으로 감독 방식을 탐구해야 한다.
지식 증류(KD)를 네트워크의 최종 출력뿐 아니라 중간 블록 단위로 적용하여 작고 효율적인 모델을 구축하는 방법을 제안했다.