단일 프레임으로 비디오 캐릭터 교체하는 AI 기술
Viggle/Viggle-Animate
Hugging FaceViggle-Animate는 비디오의 특정 프레임에서 캐릭터를 재도색한 단일 이미지를 활용하여, 영상 속 캐릭터를 높은 정확도로 교체하는 기술입니다.
- 포즈 골격이나 마스크 같은 복잡한 중간 표현을 사용하지 않고, 원본 비디오와 재도색된 프레임 두 입력만으로 애니메이션을 구현합니다.
- 추가 모델 없이 작동하며 움직임 추적이 뛰어나 동물, 로봇 등 인간 외 형태에도 적용 가능하고 기존 대비 처리 속도가 매우 빠릅니다.
- 다만, 이 모델은 사용자가 제공한 이미지 편집 내용을 그대로 계승하는 경향이 있으며, 비디오와 페인트 정보가 충돌할 경우 영상의 형태가 우선 반영됩니다.
Viggle-Animate는 영상 속 캐릭터를 재도색한 단일 프레임을 활용하여 캐릭터를 교체하는 모델입니다. 이 시스템은 기존의 복잡한 중간 표현(예: 포즈 골격, 분할 마스크, 얼굴 크롭 등)을 사용하지 않습니다. 대신, 구동 비디오와 해당 비디오에서 재도색된 프레임이라는 두 가지 입력만을 사용하여 편집 내용을 전체 클립에 전파하는 것이 핵심입니다. 이 방식 덕분에 모델은 새로운 캐릭터가 무엇인지 클래스나 아이덴티티 인코더를 통해 학습할 필요 없이, 오직 주어진 정보만으로 애니메이션을 수행합니다.
이 기술의 주요 강점 중 하나는 속도와 범용성입니다. Viggle-Animate는 포즈 추정기, 분할기, 얼굴 트래커 또는 텍스트 인코더 등 추가 모델이나 복잡한 오케스트레이션 과정 없이 작동하며, 샘플러가 결합되어 최종 클립을 생성하는 데 단 세 번의 순방향 패스만 필요합니다. 이로 인해 기존 방식 대비 처리 속도가 크게 향상되었으며, 인간 형태에 국한되지 않고 동물이나 항공기 같은 비인간적인 대상에도 적용할 수 있습니다.
성능 비교 측면에서 Viggle-Animate는 경쟁 모델 대비 월등히 빠른 렌더링 시간을 보여줍니다. 예를 들어, 한 테스트에서는 26초 만에 124프레임을 렌더링하는 반면, 다른 방식은 160초가 소요되었습니다. 이 모델은 외형(Appearance) 정보는 재도색된 프레임에서 가져오고, 형태(Geometry) 정보는 구동 비디오에서 가져옵니다. 만약 두 입력 간에 충돌이 발생할 경우, 영상의 형태가 우선적으로 반영됩니다.