비디오 순간 포착을 위한 증거 보존 프레임워크 EviDETR
EviDETR: Preserving Query-Relevant Temporal Evidence for Moment Retrieval and Highlight Detection
arXiv비디오의 중요한 순간(moment)과 하이라이트를 동시에 감지하는 새로운 프레임워크 'EviDETR'가 제안되었습니다. 이 모델은 기존 방식에서 부족했던, 질의와 관련된 시간적 증거를 명시적으로 보존하는 데 초점을 맞췄습니다.
- EviDETR는 세 가지 핵심 모듈로 구성됩니다. 의미 기반 특징 재가중치(SFR), 질의 적응형 디코더(TTop2MoE), 그리고 검색 증거를 하이라이트로 전달하는 융합 모듈(MR2HD)을 사용합니다.
- 이 기술은 비디오 내 특정 구간 식별 및 하이라이트 감지 성능을 크게 향상시켰으며, 다양한 데이터셋에서 높은 전이성을 입증하여 실제 영상 분석 분야에 활용 가능성이 높습니다.
- 제시된 성능은 CLIP과 SlowFast 특징 결합을 기반으로 QVHighlights 등 특정 벤치마크에서 측정되었으므로, 실제 적용 시 입력 데이터와 모델 구성 요소에 따라 결과가 달라질 수 있습니다.
영상 속 특정 순간(moment) 검색과 하이라이트 감지는 질의와 관련된 시간적 세그먼트를 식별하고 클립 수준의 주의력(saliency)을 추정해야 합니다. 하지만 기존의 DETR 스타일 파이프라인들은 인코딩, 디코딩, 그리고 교차 작업 예측 과정 전반에 걸쳐 질의 관련 증거를 명시적으로 보존하지 못하는 한계가 있었습니다.
이에 연구진은 증거 보존 프레임워크인 EviDETR을 제안했습니다. 이 모델은 세 가지 구성 요소로 이루어져 있습니다. 첫째, 의미 기반 특징 재(SFR)는 주의력 추정 및 교차 모달 상호작용을 통해 질의 관련 클립 표현을 강화합니다. 둘째, 시간적 Top-2 (TTop2MoE) 디코더는 희소 전문가 라우팅을 사용하여 질의 적응형 정제를 수행하며, 셋째, MR-to-HD (MR2HD) 융합은 구간 검색 증거를 클립 하이라이트 예측으로 전달합니다.
CLIP과 SlowFast 특징을 결합한 EviDETR은 QVHighlights 데이터셋에서 순간 검색에 대해 69.29 R1@0.5, 54.77 R1@0.7, 그리고 48.41 Avg. mAP를 달성했습니다. 또한, TACoS와 Charades-STA 등 다른 데이터셋에서도 높은 전이성을 입증하며 성능을 보여주었습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- Mixture-of-Experts
- 여러 하위 모델 중 일부만 골라 계산하는 구조. 모델이 커도 실행 비용을 줄일 수 있어요.