다양한 골격 애니메이션을 위한 통합 모델 UniMate 공개
Friedrich-M/UniMate
다양한 골격 구조를 하나의 모델로 통합하여 애니메이션을 생성하는 범용 기술 'UniMate'가 공개되었습니다.
이 모델은 기존에 개별 골격 전용으로 제작되던 애니메이션의 한계를 넘어, 인간형부터 해양 생물까지 어떤 종류의 움직임이든 범용적으로 구현할 수 있게 해줘요.
- 인간형부터 해양 생물까지 1만 건 이상의 움직임을 담은 대규모 데이터셋 'UniML3D'를 구축하여 학습 기반을 마련했습니다.
- 기존의 개별 골격 전용 모델 한계를 넘어, 어떤 생명체든 범용적으로 움직임을 구현할 수 있어 애니메이션 제작 분야에 혁신을 가져옵니다.
- 공개된 코드와 데이터셋을 통해 직접 모델 구조를 확인하고, 다양한 골격 애니메이션 생성의 가능성을 검토해 보세요.
UniMate는 다양한 종류의 골격을 하나의 통일된 모델로 애니메이션화할 수 있도록 설계된 범용 모델입니다. 이 프로젝트는 인간형, 사족 보행, 조류, 해양 생물, 곤충형 등 광범위한 골격 구조를 단일 캐노니컬라이제이션을 통해 통합하여 움직임을 구현하는 것을 목표로 합니다.
모델 학습의 기반이 되는 UniML3D 데이터셋은 총 13,006개의 텍스트-쌍 애니메이션 시퀀스를 포함하며, 이는 다양한 골격 구조를 포괄합니다. 이 대규모 데이터셋은 Mixamo, Objaverse-XL-Rigged-Animated, Truebones-ZOO-Annotations 등 여러 출처의 원본 에셋을 수집하고 정제하는 과정을 거쳐 구축되었습니다.
사용자는 conda 환경 설정을 통해 모델을 구동할 수 있으며, 학습 과정에서는 데이터 전처리 파이프라인을 거친 UniML3D 클립을 사용합니다. 훈련은 흐름 매칭(flow matching) 방식을 채택하며, 이 과정에서 애니메이션의 속도 예측과 함께 지오데식 회전 손실 및 속도 평활화 손실 등의 보조 항들이 적용됩니다.
학습된 모델은 `accelerate launch` 명령어를 통해 단일 또는 다중 환경에서 구동할 수 있으며, 각 실행 결과는 설정 파일, 정규화 통계, 체크포인트 등 체계적으로 저장되어 추후 검증 및 재사용이 가능합니다.
용어 풀이
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
어떤 종류의 골격 애니메이션을 만들 수 있나요?
인간형, 사족 보행, 조류, 해양 생물, 곤충형 등 광범위한 구조를 단일 모델로 통합하여 움직임을 구현할 수 있어요.
모델 학습에 사용된 데이터셋은 무엇인가요?
UniML3D라는 대규모 데이터셋을 기반으로 해요. 이 데이터셋에는 Mixamo, Objaverse-XL-Rigged-Animated 등 여러 출처의 13,006개 애니메이션 시퀀스가 포함되어 있어요.
모델을 구동하거나 학습시키려면 어떤 과정이 필요한가요?
사용자는 conda 환경 설정을 통해 모델을 구동할 수 있고, 훈련 시에는 데이터 전처리 파이프라인을 거친 UniML3D 클립을 사용해요. 또한 `accelerate launch` 명령어로 GPU 환경에서 실행하여 결과를 체계적으로 저장할 수 있어요.