개발도구 연구
Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
ARarXiv
스트리밍 비디오 이해를 위해 과거 정보를 외부 메모리에 저장하던 기존 방식을 개선한 LatentStream이라는 새로운 작업 메모리 프레임워크가 개발되었습니다.
세 줄 요약
- 이 모델은 히스토리 데이터를 단기, 중기, 장기로 계층화하고, 검색된 증거를 반복적으로 '내부화'하여 압축되고 고정 길이의 잠재 메모리로 만듭니다.
- 과거 정보를 효과적으로 내부화함으로써, 모델은 긴 영상에서도 맥락을 잃지 않고 지속적이며 정확한 추론 능력을 발휘할 수 있습니다.
- LatentStream은 계층적 메모리 구조와 최적화 과정을 통해 기존 온라인 및 오프라인 비디오 벤치마크에서 최고 성능(SOTA)을 달성했습니다.
스트리밍 비디오 이해를 위해 과거 정보를 외부 메모리에 저장하던 기존 방식을 개선한 LatentStream이라는 새로운 작업 메모리 프레임워크가 개발되었습니다.