Few-shot 학습 평가의 한계: 사전 학습 가정에 대한 비판적 검토
Are We Really Doing Few-Shot Learning? A Critical Examination of Pre-Training Assumptions
arXiv기존의 Few-shot 학습 평가는 모델을 같은 도메인 내 데이터로 사전 학습시켜, 실제 저데이터 환경보다 성능을 과대평가하는 경향이 있다는 연구 결과가 발표되었습니다.
- 연구진은 외부 도메인을 활용한 사전 학습이 필수적임을 입증했으며, 특히 레이블 없이 데이터를 증강하는 방식(label-free)이 지도학습 기반의 외부 도메인과 유사한 높은 성능을 보였습니다.
- 따라서 AI 모델을 실제 데이터가 부족한 환경에 적용할 경우, 같은 도메인 내 평가 기준만으로는 신뢰하기 어려우므로 현실적인 프로토콜 도입이 시급합니다.
- 외부 도메인 활용 학습은 소스-타겟 간 호환성에 의존하며, 사전 학습 전 최적의 데이터를 선택하는 새로운 전략도 함께 제시되었습니다.
학습은 일반적으로 모델을 타겟 에피소드와 클래스가 분리된, 그러나 동일한 시각 도메인에서 사전 학습시키는 프로토콜로 평가된다. 본 연구는 이러한 기존의 평가 방식이 실제로 저데이터 환경에서의 학습 능력을 정확히 반영하는지 검토하며, 다양한 사전 학습 방식을 체계적으로 비교 분석했다.
연구 결과에 따르면, 클래스 분리만으로는 타겟 도메인 데이터의 영향을 완전히 제거하기에 불충분하다. 평균적으로 인-도메인 사전 학습은 사전 학습이 없는 경우보다 33.41% 포인트 향상을 보였고, 지도학습 기반 아웃-오브-도메인(OOD) 사전 학습은 23.75% 포인트의 성능을 나타냈다. 이는 도메인 중첩으로 인해 9.66% 포인트에 달하는 낙관적 편향이 존재함을 보여준다.
아웃-오브-도메인 사전 학습은 타겟 도메인 데이터가 부족한 실제 응용 분야에서 더 현실적이지만, 그 효과는 소스 및 타겟 도메인의 호환성에 크게 의존한다. 또한, 레이블 없이 증강 기반의 라벨 프리 전략은 평균 27.71% 포인트의 이득을 얻어 지도학습 OOD 사전 학습(27.97% 포인트)과 유사한 성능을 보였다. 나아가, 사전에 소스 도메인의 적합성을 추정하는 디스크립터 기반 소스 선택 전략은 오라클 선택 대비 중앙값 격차를 단 1.37% 포인트로 줄이는 결과를 얻었다.
용어 풀이
- Few-shot
- 몇 개의 예시를 함께 보여 주고 과제를 시키는 방식.