리서치 연구
실시간 상호작용 및 편집 가능한 영상 생성 모델 Vidu S2 공개
Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation
arXiv실시간 상호작용과 편집이 가능한 디지털 캐릭터 및 영상 생성 AI 모델 'Vidu S2'가 공개되어 큰 주목을 받고 있습니다.
세 줄 요약
- 개선된 Vidu S2-Avatar는 실시간 720p 영상 생성이 가능하며, Vidu S2-Editing은 의상/배경 교체 등 영상을 즉각적으로 수정할 수 있는 기능을 제공합니다.
- 이는 미디어 및 엔터테인먼트 산업의 영상 제작 과정을 혁신하여, 창작자들이 고품질 결과물을 빠르고 쉽게 구현하도록 돕는다는 의미가 있습니다.
- 실험 결과 기존 최고 모델들을 능가하는 성능을 입증했으며, 현재 온라인 데모를 통해 그 기능을 직접 확인할 수 있습니다.
Vidu S2는 실시간으로 상호작용하고 편집이 가능한 영상 생성 AI 시스템입니다. 이 시스템은 실시간 인터랙티브 디지털 캐릭터 모델인 Vidu S2-Avatar와 실시간 비디오 편집 모델인 Vidu S2-Editing 두 가지 구성 요소로 이루어져 있으며, 이를 통해 실시간 공간 영상 생성이 가능함을 탐구합니다.
Vidu S2-Avatar는 이전 버전(Vidu S1) 대비 여러 개선점을 보여줍니다. 이 모델은 실시간 720p 비디오 생성을 지원하며, 언제든지 업데이트할 수 있는 동적 참조를 활용하고 춤추기 같은 더욱 강력한 지시 사항을 따르는 능력을 갖췄습니다.
한편, Vidu S2-Editing은 비디오 스트림 자체를 실시간으로 편집하는 기능을 제공합니다. 구체적으로 스타일 렌더링, 의상 교체, 캐릭터 교체, 배경 교체 등 다양한 수정 작업이 가능하며, 실험 결과에 따르면 Vidu S2는 기존의 모든 기준 모델(baselines)보다 우수한 성능을 입증했습니다.