활용 사례 연구
Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization
ARarXiv
기존 비전-언어 모델(VLM)의 토큰 가지치기는 단순히 유지할 토큰을 선택하는 데 그쳤으나, CoverPruner는 제거된 정보가 남은 토큰에 의해 얼마나 잘 대표되는지까지 고려합니다.
세 줄 요약
- CoverPruner는 가지치기를 '표현적 커버리지 최대화(RCM)' 문제로 재정의하여 접근하며, 다양한 VLM 구조에서 최고의 평균 정확도를 달성했습니다. 특히 강한 압축 환경에서 큰 성능 향상을 입증했습니다.
- 이 기술은 대규모 VLM의 추론 비용을 획기적으로 줄이면서도 정보 손실 없이 높은 정확도를 유지할 수 있게 합니다. 이는 온디바이스 및 저사양 환경에서의 AI 활용에 중요한 진전입니다.
- 가장 큰 특징은 추가적인 학습 과정 없이도 적용 가능한 트레이닝 프리 방식이라는 점입니다. 높은 압축률에서도 성능 저하를 최소화하는 것이 핵심 강점입니다.
기존 비전-언어 모델(VLM)의 토큰 가지치기는 단순히 유지할 토큰을 선택하는 데 그쳤으나, CoverPruner는 제거된 정보가 남은 토큰에 의해 얼마나 잘 대표되는지까지 고려합니다.