스트리밍 다중 트랙 타임라인 제어를 통한 3D 인간 동작 생성
Streaming Multi-Track Timeline Control for 3D Human Motion Generation
기존 동작 생성 모델은 모든 지침이 사전에 필요했지만, 이 연구는 실시간으로 들어오는 여러 개의 독립적인 행동을 동시에 제어하는 방법을 제시했습니다.
이 기술은 통화 중 걷기처럼 실시간으로 발생하는 복합적인 인간 행동을 합성할 수 있게 하여 가상현실이나 인터랙티브 콘텐츠 제작에 활용될 수 있어요.
- 연구진은 '스트리밍 다중 트랙 타임라인 제어'를 도입한 TimelineControl 모델을 개발하여, 동작의 시간적 흐름과 신체 부위별 움직임을 통합적으로 구현했습니다.
- 통화 중 걷기처럼 실시간으로 발생하는 복합적인 인간 행동을 합성할 수 있어, 가상현실이나 인터랙티브 콘텐츠 제작에 혁신적 변화를 가져올 전망입니다.
- 오버래핑된 지침 간격과 신체 부위 주석이 포함된 새로운 데이터셋 TimelineMotion을 구축했으며, 모델 성능은 인간 평가를 통해 검증되었습니다.
기존의 텍스트 기반 인간 동작 생성 모델들은 지침이 합성 전에 모두 주어져야 한다는 가정을 했으나, 실제 인터랙티브 애플리케이션에서는 통화 중 걷기와 같이 진행 중인 행동을 지속하면서 새로운 지침에 반응해야 합니다. 기존 접근 방식들은 스트리밍 생성이나 동시 구성을 다루었지만, 스트리밍되는 지침의 도착과 독립적으로 시간 분배되고 겹치는 동작들을 명시적으로 결합하는 데는 한계가 있었습니다.
연구진은 이러한 문제를 해결하기 위해 '스트리밍 다중 트랙 타임라인 제어'를 도입하고 TimelineControl 모델을 제안했습니다. 이 모델은 간격 인지 조건화(Interval-aware conditioning)를 통해 지침의 타이밍을 보존하며, 원인적 부분 구조 표현과 부분 인식 디노이징을 활용하여 신체 영역 전반에 걸쳐 동시적인 동작들을 조정할 수 있습니다.
연구팀은 오버래핑된 지침 간격과 신체 부위 주석이 포함된 새로운 데이터셋 TimelineMotion을 구축했습니다. 이 데이터를 사용한 실험 결과, MTT(Multi-Track Timeline) 모델은 기존의 스트리밍 기반 모델들보다 향상된 의미 정렬 및 시간적 준수성을 보여주었습니다. 또한, 본 설계는 제거 실험과 인간 평가를 통해 검증되었습니다.
기존 동작 생성 모델은 어떤 한계가 있었나요?
이전의 텍스트 기반 모델들은 모든 지침이 합성 전에 주어져야 한다는 가정을 했어요. 따라서 통화 중 걷기처럼 진행되는 행동을 지속하면서 새로운 지침에 반응하거나, 시간적으로 분배되고 겹치는 동작들을 명시적으로 결합하는 데 어려움이 있었답니다.
연구에서 제안한 핵심 기술은 무엇인가요?
연구진은 '스트리밍 다중 트랙 타임라인 제어'를 도입한 TimelineControl 모델을 개발했어요. 이 모델은 지침의 타이밍을 보존하는 간격 인지 조건화와 신체 영역 전반에 걸쳐 동시적인 동작들을 조정할 수 있는 원인적 부분 구조 표현 등을 활용해요.
모델의 성능은 어떻게 검증되었나요?
연구팀은 오버래핑된 지침 간격과 신체 부위 주석이 포함된 새로운 데이터셋 TimelineMotion을 구축했어요. 이 데이터를 사용해 실험한 결과, 개발된 모델은 기존 스트리밍 기반 모델보다 향상된 의미 정렬 및 시간적 준수성을 보여주었으며, 제거 실험과 인간 평가를 통해 검증되었어요.