카메라-라이다 결합, 로봇 신규 시점 합성 모델 M3GD
M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
arXiv로봇의 새로운 시점 합성(NVS)을 위해, 기존 이미지 정보만 사용하던 방식에서 벗어나 카메라와 LiDAR 데이터를 결합한 다중 모드 모델 'M3GD'가 개발되었습니다.
- M3GD는 별도의 크로스-모달 변환기 없이도 2D 이미지 및 3D 포인트 클라우드 기반 모델을 통합하며, 공통 공간 구조를 이용해 LiDAR 정보를 생성 과정에 효과적으로 주입합니다.
- 이 기술은 로봇이 단순히 시각적 외형뿐 아니라 정확한 거리와 3차원 구조까지 파악하게 하여, 실제 환경에서 더욱 신뢰성 높은 자율 임무 수행을 가능케 합니다.
- 실제 지상 로봇에 적용되어 작동이 입증되었으며, 오일러 적분 단계 조절을 통해 사용자가 원하는 품질과 비용 효율성을 맞춤 설정할 수 있습니다.
로봇의 새로운 시점 합성(NVS)은 단순히 시각적 외형뿐만 아니라 거리와 같은 계측 3D 구조를 복원해야 합니다. 기존의 대부분 생성 NVS 방법들은 이미지 정보에만 의존하여 로봇 플랫폼에서 흔히 사용되는 보완 센서인 라이다 정보를 간과해 왔습니다. 연구진은 이러한 한계를 극복하기 위해 M3GD라는 카메라-라이다 다중 모드 표현을 제시했습니다. 이 모델은 별도의 크로스-모달 변환기 사전 학습 없이, 독립적으로 사전 학습된 2D 이미지 및 3D 포인트 클라우드 기반 모델들을 결합하는 것이 특징입니다.
M3GD는 카메라 투영 후 고정된 라이다 및 이미지 피처가 보여주는 상당한 공유 공간 구조를 활용하여 자연스러운 크로스-모달 표현을 제공합니다. 이 구조를 통해 M3GD는 생성 과정에 라이다 정보를 조건화하는데, 명시적인 기하 통계와 학습된 포인트 클라우드 디스크립터를 뷰 정렬 패킷으로 결합합니다. 이 패킷은 경량 잔여 어댑터(residual adapter)를 통해 다중 뷰 흐름 매칭 생성기(multi-view flow-matching generator)에 주입되어 작동합니다.
이 기술의 성능은 GrandTour 데이터셋에서 이미지 전용 백본 대비 타겟 뷰 RGB 및 깊이 합성 개선을 보여주었습니다. 특히, 라이다가 기하학적 질의(geometric query) 역할을 수행하며 요청된 뷰를 소스 관측과 연결하는 것이 핵심입니다. 실제 지상 로봇에 배포되어 작동이 입증되었으며, 오일러 적분 단계 수를 조절함으로써 사용자가 원하는 품질과 비용 효율성 간의 트레이드오프를 설정할 수 있습니다.