3차원 기하학으로 영상 움직임을 정밀하게 제어하는 방법론
4Director: Controlling Video World Models with Rigid 3D Geometry
영상 제작의 핵심인 카메라 및 객체 움직임을 정밀하게 제어하는 새로운 비디오 월드 모델 '4Director'가 개발되었습니다.
이 기술은 영상 제작에서 카메라와 객체의 움직임을 3차원 기하학 구조를 기반으로 정밀하게 제어할 수 있게 하여, 전문적인 비디오 콘텐츠의 품질을 높여줘요.
- 이 기술은 입력 이미지의 각 객체를 고유한 3D 메쉬로 재구성하고, 이를 기반으로 강체 변환을 적용하여 시점 변화에도 일관된 움직임을 구현합니다.
- 기존 방식의 깊이 모호성을 극복하고 기하학적 구조를 유지하며, 사실적인 외형과 비강성 역학까지 합성해 영상 품질을 높였습니다.
- 영화 및 애니메이션 등 전문 분야의 정밀 제어에 혁신적이며, 새로운 데이터셋(RealCOD-Rigid)으로 성능이 입증되었습니다.
전문적인 비디오 제작에서 필수적인 카메라 및 객체 움직임의 정밀한 제어가 중요합니다. 기존 방식들은 깊이와 회전 정보가 모호하거나, 완전한 기하학적 구조를 갖추지 못해 시점 변화에 일관성을 잃는 한계가 있었습니다. 연구진은 이러한 문제를 해결하기 위해 명시적인 4D 장면 표현을 기반으로 하는 비디오 월드 모델 '4Director'를 개발했습니다. 이 모델은 입력 이미지의 각 객체를 고유한 메쉬로 재구성하고, 프레임마다 미리 지정된 강체 변환(rigid transformation)을 적용하여 직관적인 3D 제어 인터페이스를 제공합니다.
이러한 기하학적 표현 방식은 관찰되지 않은 부분이 매 프레임 독립적으로 재생성되는 것을 방지하며 일관성을 유지합니다. 연구진은 이 제어된 장면을 깊이 비디오로 렌더링하고, Motion Adapter라는 구성 요소를 도입하여 이 기하학적 골격(scaffold)을 영상으로 변환합니다. 이를 통해 시점 변화에 일관된 외형, 조명, 그리고 비강성 역학까지 합성하는 것이 가능해졌습니다.
4Director의 학습을 위해 새로운 데이터셋인 RealCOD-Rigid를 구축했으며, 이 데이터셋은 자동 파이프라인을 통해 강체 3D 장면으로 주석 처리된 총 20,774개의 클립으로 구성되어 있습니다. 또한 객체의 움직임 준수와 객체 정체성 보존을 동시에 평가하는 Identity-Gated IoU(IG-IoU)를 도입했습니다. 실험 결과에 따르면, 4Director는 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들보다 일관되게 우수한 성능을 입증했습니다.
기존 영상 제작 방식의 어떤 한계를 극복했나요?
기존 방식들은 깊이나 회전 정보가 모호하거나 완전한 기하학적 구조를 갖추지 못해서 시점 변화에 일관성을 잃는 문제가 있었어요. 이 모델은 명시적인 4D 장면 표현을 기반으로 하여 이러한 문제를 해결했어요.
영상 외형과 움직임의 일관성은 어떻게 유지되나요?
이 기술은 객체를 고유한 메쉬로 재구성하고, Motion Adapter라는 구성 요소를 도입하여 기하학적 골격을 영상으로 변환해요. 이를 통해 시점 변화에도 외형, 조명, 비강성 역학까지 일관되게 합성할 수 있어요.
성능 검증을 위해 어떤 데이터셋과 평가 지표를 사용했나요?
연구진은 'RealCOD-Rigid'라는 새로운 데이터셋을 구축했어요. 이 데이터셋으로 학습했으며, 객체의 움직임 준수와 정체성 보존을 동시에 평가하는 Identity-Gated IoU(IG-IoU)를 사용해 성능을 입증했어요.