영상 생성 품질 향상, 'WanPE'가 제시하는 감독급 프롬프트 기술
WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation
arXiv연구진은 텍스트 기반 영상 생성의 품질을 극대화하기 위해 'WanPE'라는 프롬프트 강화 모델을 개발했습니다.
- 이 모델은 영화감독 수준의 시네마틱 플래닝 능력을 갖추고 있으며, 특히 30초 길이 영상에서 인간 선호도를 최대 50점 이상 향상시키는 뛰어난 성능을 입증했습니다.
- 단순한 명령어 전달을 넘어 카메라 움직임이나 조명 변화 등 영화적 요소를 고려하여 영상을 제작할 수 있어 AI 영상 기술의 수준을 한 단계 끌어올립니다.
- 5초부터 30초까지 다양한 길이로 검증되었으며, 상용 제품 대비 우위를 보였으나 성능 비교는 특정 평가 환경(WanPEval)에 기반합니다.
현대적인 텍스트-비디오 생성기는 복잡한 조건에 맞춰 최대 30초 길이의 영상을 구현하며, 이때 텍스트 는 액션, 카메라 움직임, 조명 및 사운드 등이 여러 장면을 거쳐 전개되는 방식을 지시하는 핵심 역할을 합니다. 연구진은 이러한 영상 제작 과정을 위해 'WanPE'라는 프롬프트 강화 모델을 개발했습니다. 이 모델은 1.05M개의 실제 비디오 데이터로 학습되었으며, 영화감독 수준의 시네마틱 플래닝 능력을 갖추는 것을 목표로 합니다.
WanPE는 비디오 기반 역구성을 통해 장면별 시네마틱 계획(shot-level cinematic plans)을 수립하며, Semantic-Consistency GRPO (SC-GRPO)를 활용하여 시간의 흐름과 여러 샷에 걸쳐 사용자 요구사항의 의미적 일관성(semantic fidelity)을 유지합니다. 이 모델의 성능은 5초부터 30초까지 다양한 길이와 의도 세분화 수준을 포괄하는 WanPEval 테스트베드를 통해 검증되었습니다.
WanPE-397B를 기반으로 한 영상 생성기는 일반 사용자 프롬프트 대비 인간 선호도를 5~15초 구간에서 10.66~18.84점, 그리고 30초 구간에서는 50.86점까지 향상시키는 성능을 입증했습니다. 또한, 연구 결과에 따르면 역구성은 순방향 재작성 방식보다 명확한 우위를 보였으며, WanPE는 5~15초 길이에서 평가된 상용 제품들을 능가하는 것으로 나타났습니다.
용어 풀이
- 프롬프트
- AI에게 주는 지시나 질문 글.