리서치 연구
Below the Noise Floor: Bimodal Seed Collapse and Distinct Failure Modes in Small-Model Knowledge Distillation
ARarXiv
소형 모델의 지식 증류(KD) 성능을 검증하기 위해 다중 시드 테스트를 진행한 결과, 기존 방식들이 높은 불안정성과 심각한 실패 모드를 드러냈습니다.
세 줄 요약
- 여러 KD 변형 중 상당수가 '이봉성 붕괴(Bimodal Collapse)' 현상을 보여 특정 실행에서 성능이 급락하는 등 예측 불가능한 결과를 나타냈습니다.
- 따라서 단일 시드 평가만으로는 모델의 중앙 실패 모드를 감지할 수 없으며, 실제 배포 환경에서는 반드시 다중 테스트가 필수적입니다.
- 이번 연구에서는 'progressive_kd'와 'rank_kd' 방식만이 다중 시드 환경에서 높은 안정성을 유지한 것으로 확인되어, 엄격한 재검증이 중요합니다.
소형 모델의 지식 증류(KD) 성능을 검증하기 위해 다중 시드 테스트를 진행한 결과, 기존 방식들이 높은 불안정성과 심각한 실패 모드를 드러냈습니다.