CORE-STACK+: 깊은 스태킹 일반화를 위한 메타 학습 기술
CORE-STACK+: Meta-Learning for Deep Stacked Generalization
arXiv여러 모델을 결합하는 스태킹 방식은 정확도가 높지만, 예측 공간의 중복성과 보정 오류 누적으로 인해 성능 향상에 한계가 있었습니다.
- 연구진은 CKA 기반 필터링과 샘플별 주의 집중 게이트 등 네 가지 구성 요소를 결합한 전처리 파이프라인 CORE-STACK+를 제안했습니다.
- CORE-STACK+는 ImageNet-1K에서 +1.8%의 성능 향상을 보였으며, 모델 수를 35~57% 줄이고 추론 비용(FLOPs)을 최대 41% 절감하는 효율성을 입증했습니다.
- 이 기술은 단순히 정확도를 높이는 것을 넘어, 복잡한 다중 모델 시스템의 효율성과 신뢰성을 동시에 확보하는 실용적인 대안을 제시합니다.
다양한 비전 백본(CNN, ViT 등)을 결합하는 스태킹 방식은 높은 정확도를 제공하지만, 예측 공간의 다중공선성(multicollinearity)과 보정 오류 누적이라는 두 가지 문제로 인해 성능 향상에 한계가 있었습니다. 기존 연구에서 제시된 여러 해결책들은 이 중 하나의 문제만을 다루었을 뿐, 이질적인 예측 풀에서의 조건화와 보정을 동시에 목표로 하지는 못했습니다.
연구진은 이러한 문제를 해결하기 위해 CORE-STACK+라는 전처리 파이프라인을 제안했습니다. 이 파이프라인은 네 가지 구성 요소로 이루어져 있습니다: CKA(Centered Kernel Alignment)를 활용한 커널화된 중복성 필터, 앙상블 통계에 대한 샘플별 주의 집중 게이트($<15$K-parameter), Marche nko-Pastur 신호 대 잡음 분해에서 파생된 스펙트럼 적응형 Ridge 페널티, 그리고 역방향 RMSE 휴리스틱을 대체하는 라플라스 근사 베이즈 블렌더입니다.
CORE-STACK+는 ImageNet-1K에서 $+1.8\%$의 top-1 성능 향상을 달성했으며, ImageNet-C에서는 $-4.2$ mCE를 기록했습니다. 또한 ADE20K에서 $+0.9$ mIoU, COCO에서 $+1.3$ AP의 개선을 보였습니다. 이 기술은 모델 수를 35~57% 줄이고 추론 FLOPs를 최대 $41\%$까지 절감하는 효율성을 입증했으며, ECE는 깊은 앙상블 대비 $2.1 imes$ 향상을 보여 높은 신뢰도를 확보했습니다.