모델 연구
The Blending Ratio Is Not Where the Performance Is: Diagnosing Prototype Blending for Few-Shot Adaptation of Vision-Language Models
ARarXiv
Vision-Language Model의 few-shot 적응에서 사용되는 프로토타입 블렌딩 비율이 성능 결정 요인인지 진단했다.
세 줄 요약
- Leave-one-out 방식은 검증 데이터 없이도 오라클 블렌드와 0.9 포인트 이내의 비율을 설정할 수 있으며, CLAP과 LP++는 평균적으로 각각 +1.9점, +1.5점 성능 향상을 보였다.
- 최적화된 블렌딩 비율은 하이퍼파라미터 문제가 아니며 무료로 근사치를 설정할 수 있지만, 여전히 모델 클래스 자체에 한계가 존재한다.
- 비율 최소화의 이론적 최적값은 테스트 세트 오라클 비율보다 950개 주요 등급 셀에서 성능 차이를 보이며, 연구진은 코드와 캐시된 특징을 공개했다.
Vision-Language Model의 few-shot 적응에서 사용되는 프로토타입 블렌딩 비율이 성능 결정 요인인지 진단했다.