개발도구 연구
Puppeteer: Object-Grounded Posture-Aware Co-Speech Gesture Generation
ARarXiv
말하기와 관련된 제스처를 주변 사물 및 신체 자세까지 고려하여 물리적으로 일관되게 생성하는 새로운 확산 모델 'Puppeteer'가 개발되었습니다.
세 줄 요약
- 이 모델은 동작을 구조화된 단위로 분해하고, 과거 정보에만 의존하는 '인과적 잠재 공간'에서 작동하여 정교한 제스처 합성이 가능합니다.
- 단순히 제스처를 만드는 것을 넘어 중간 동작을 채우거나 완료하는 등 정교한 시간적 제어가 가능하며, 최초의 3D 데이터셋 'SceneGes'도 공개했습니다.
- 제스처 생성의 정확도를 높이기 위해 말소리 신호, 초기 자세 참조, 주변 사물 기하학 정보 등 다중적이고 복합적인 입력 조건이 필수적으로 요구됩니다.
말하기와 관련된 제스처를 주변 사물 및 신체 자세까지 고려하여 물리적으로 일관되게 생성하는 새로운 확산 모델 'Puppeteer'가 개발되었습니다.