FunArt: 생성된 3D 잠재 공간으로 로봇 기능 구조 분석

로봇이 인간 환경에서 효과적으로 작동하려면 움직이는 객체를 식별하고, 이동 가능한 부위를 분할하며, 운동학적 모델을 추정해야 합니다. 기존의 방법들은 관찰된 상호작용에서 운동학을 복구하거나 정적인 스캔에 의존하여 기능적 요소와 움직임을 분리하는 한계가 있었습니다. FunArt는 이러한 문제를 해결하기 위해 단일 정지된 RGB-D 관측만으로 작동 가능한 기능적 3D 장면 그래프를 구축하는 프레임워크입니다.

FunArt는 객체 인스턴스를 재구성하고, 그 결합된 기하학 정보를 TRELLIS의 O-Voxel 표현으로 변환합니다. 이 과정에서 구조적 사전 지식(structural prior)을 활용하기 위해 VAE를 사용하며, 경량 쿼리 기반 디코더가 컴팩트한 객체 레벨 잠재 정보와 표면 정렬 특징을 결합하여 움직이는 부위와 기능적 상호작용 요소를 공동 분할하고 운동 유형, 축, 원점 및 범위를 추정합니다.

Articulate3D 데이터셋에서 FunArt는 움직이는 부위 분할, 관절 추정, 기능 요소 분할 모두에서 최고 성능(SOTA)을 달성했습니다. 특히 종단 간 설정(end-to-end setting)에서는 움직이는 부위에 대해 1.5 AP$_{50}$ 포인트, 공동 원점 및 축 제약 조건 하에 2.8 AP$_{50}$ 포인트, 기능 요소에 대해 6.7 AP$_{50}$ 포인트의 성능 향상을 보였습니다. 이는 생성된 3D 잠재 정보가 물리적 상호작용 이전에 로봇의 인식 및 계획을 초기화할 수 있는 실행 가능한 구조적 단서를 담고 있음을 입증합니다.