변형 물체까지 재구성하는 에이전트 기반 시뮬레이션용 3D 장면 복원 기술
CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes
arXivCoDimRecon은 실제 환경의 다중 시점 RGB 관찰을 기반으로, 로봇 공학 및 가상현실에 바로 적용 가능한 편집 가능하고 시뮬레이션 준비가 완료된 3D 장면을 재구성하는 에이전트 프레임워크입니다.
- 기존 방식의 한계를 넘어 변형 물체(Deformables)를 곡선, 표면, 부피 세 가지 형태로 분리 모델링하며, 행동 테스트를 통해 기하학적 오류까지 능동적으로 수정합니다.
- 이 기술은 단순한 3D 재구성을 넘어, 로봇의 물리적 상호작용이나 복잡한 환경 시뮬레이션 등 고도화된 물리 기반 애플리케이션 개발에 혁신적인 토대를 제공합니다.
- 재구성은 다중 시점 관찰 데이터가 필수이며, 변형 물체의 경우 중심선(Curve), 쉘(Surface), 솔리드(Volume) 등 각 특성에 맞는 전문적 모델링 과정이 수반됨을 고려해야 합니다.
CoDimRecon은 실제 환경의 다중 시점 RGB 관찰 데이터를 활용하여, 로봇 공학 및 몰입형 애플리케이션에 바로 적용 가능한 '시뮬레이션 준비 완료' 3D 장면을 재구성하는 프레임워크입니다. 기존 방법들이 주로 강체(rigid) 물체를 가정했던 한계를 극복하고, 변형성 물체(deformables)를 다루는 데 중점을 두었습니다.
이 프레임워크는 장면 수준의 기하학적 사전 지식(priors)을 통해 스케일과 레이아웃을 확보하며, 객체별로 생성된 메시가 상세한 구조를 안내합니다. 특히 변형성 물체의 경우, 곡선은 중심선과 반지름으로, 표면은 두께가 있는 매니폴드 쉘로, 부피는 밀폐된 고체(watertight solids) 형태로 분리하여 재구성하는 것이 특징입니다.
CoDimRecon은 에이전트 기반의 행동 테스트를 통해 동작, 기하학, 수치 모델링상의 불일치를 능동적으로 노출하고 이를 수정합니다. 평가 결과, Replica 및 ScanNet++ 장면에서 경쟁력 있는 재구성 정확도를 달성했으며, 로드, 쉘, 솔리드 시뮬레이션을 위한 변형 자산을 생성하고 로봇 상호작용까지 입증했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.