활용 사례 연구
The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs
ARarXiv
최신 비디오 언어 모델(VideoLMs)은 영상 순서 정보를 받지만, 텍스트 생성에만 초점을 맞춰 시간적 사건의 역동적인 흐름을 제대로 학습하지 못하는 한계가 있었습니다.
세 줄 요약
- 연구진은 아키텍처 변경 없이도 적용 가능한 'VT-Contrast'를 제안했습니다. 이는 원본 영상 토큰과 임의로 재배열한 가상(counterfactual) 영상을 대조하여 시간 이해도를 높입니다.
- 이 기술은 모델이 단순한 장면이나 사물 인식 수준을 넘어, 사건의 시간적 진행 과정(event dynamics)까지 깊이 있게 포착하도록 돕는다는 점에서 큰 의미가 있습니다.
- VT-Contrast는 다양한 VideoLM 학습 과제에 구조 변경 없이 적용 가능하며, 여러 시간 이해 벤치마크에서 전반적인 성능 개선을 입증했습니다.
최신 비디오 언어 모델(VideoLMs)은 영상 순서 정보를 받지만, 텍스트 생성에만 초점을 맞춰 시간적 사건의 역동적인 흐름을 제대로 학습하지 못하는 한계가 있었습니다.