Edit-VAR: 정밀한 비디오 편집을 위한 새로운 AI 프레임워크

텍스트 지침에 따른 비디오 편집은 원본 영상의 외관과 시간적 일관성을 유지하면서 목표 콘텐츠를 수정하는 것을 목표로 합니다. 기존 접근 방식들은 학습 기반이거나 역변환(inversion)을 사용하는 방식을 따랐으나, 각각 막대한 데이터와 계산 자원을 요구하거나 근사 오차 누적으로 인한 문제점들이 있었습니다. Edit-VAR는 이러한 한계를 극복한 최초의 훈련 비사용(training-free) 및 역변환 비사용(inversion-free) 프레임워크입니다.

Edit-VAR는 원본 영상을 다중 스케일 이산 토큰으로 직접 인코딩하며, 원본 보존을 위해 확률 기반 조건부 토큰 교체 과정을 수행합니다. 또한 어텐션 가이드를 활용하여 편집과 관련된 위치와 단계에서만 선택적으로 원본 제약을 완화하는 방식을 채택했습니다.

이 프레임워크는 스케일 분리 생성(Scale-Decoupled Generation)을 통해 움직임 일관성이 있는 디테일을 재생성하고 텍스처 파편화를 줄입니다. 추가적으로 잔여 가이드 토큰 가지치기(Residual-guided token pruning)를 활용하여 추론 비용을 절감합니다. 실험 결과, Edit-VAR는 편집 충실도, 원본 보존력, 시간적 일관성 및 추론 효율성 등 모든 면에서 기존의 훈련 비사용 비디오 편집 방법들을 능가하는 것으로 입증되었습니다.