개발도구 연구
What Moves? Localized Motion Representations for Compositional Scene Control
ARarXiv
여러 객체가 동시에 움직이는 복합 장면에서, 개별 객체의 국소화된 움직임 패턴을 정확히 분리하여 표현하는 새로운 영상 인코딩 방식을 제시했습니다.
세 줄 요약
- 이 모델은 영상을 자르거나 마스킹하지 않고 전체 프레임을 처리하며, 사용자가 지정한 영역에 맞춰 움직임 정보를 조건부로 인코딩하는 것이 핵심입니다.
- 이를 통해 원하는 객체의 움직임만 추출해 다른 장면에 합성(모션 트랜스퍼)하거나, 복잡한 다중 행위자 영상에서 국소 동작을 분류할 수 있습니다.
- 기존의 단순 자르기나 사후 마스킹 방식보다 시간적 일관성과 움직임 제어력이 뛰어나, 성능 면에서 우수함을 입증했습니다.
여러 객체가 동시에 움직이는 복합 장면에서, 개별 객체의 국소화된 움직임 패턴을 정확히 분리하여 표현하는 새로운 영상 인코딩 방식을 제시했습니다.