PePESeg3D: 3D 가우시안 스플래팅의 다중 스케일 분할 성능 향상
PePESeg3D: Perception Prior Enhances Multi-Scale Segmentation for 3D Gaussian Splatting
arXiv3D 가우시안 스플래팅(3DGS) 기반의 다중 스케일 분할 정확도를 높이기 위해 PePESeg3D라는 새로운 프레임워크가 개발되었습니다.
- 이 방법은 인식 사전 지식(perception priors)을 특징 학습뿐 아니라 기하학적 구조 최적화 과정에도 통합하여 의미론적으로 일관된 3D 객체 구조를 구축하는 것이 핵심입니다.
- 기존 방식의 한계였던 불완전한 마스크 의존성을 극복하고, 주요 벤치마크에서 최고 성능을 달성하며 정확도를 높였습니다.
- 정확한 다중 스케일 3D 분할을 위해서는 인식 사전 지식을 특징 학습과 기하학 최적화 양쪽에 통합하는 것이 중요함을 보여줍니다.
최근 발전한 3D 가우시안 스플래팅(3DGS) 기술은 다중 스케일 분할 기능까지 확장되었습니다. 하지만 기존 방법들은 기하학적 구조가 의미론적 구조를 인지하지 못하고, 특징 학습이 불완전한 마스크 감독에 의존하는 한계가 있었습니다. 이러한 제약을 해결하기 위해 PePESeg3D라는 새로운 프레임워크가 개발되어 다중 스케일 3D 가우시안 분할 파이프라인에 인식 사전 지식(perception priors)을 주입합니다.
PePESeg3D는 이 인식 사전 지식을 특징 학습뿐만 아니라 상위 기하학 재구성 과정에도 통합하는 것이 핵심입니다. 구체적으로, PEPE Reconstruction은 단안 깊이 및 마스크 제약을 활용하여 의미론적으로 일관된 객체 구조를 보장하도록 기하학적 최적화를 수행합니다.
또한, 특징 학습 측면에서는 PEPE Contrastive Learning을 적용했습니다. 이 과정에서 밀집된 깊이-색상 단서와 뷰 일관성 중심 감독(view-consistent centroid supervision)을 활용하여, 2D 기반 모델로부터 얻는 다중 스케일 마스크의 불완전성을 보완합니다.
광범위한 실험 결과에 따르면, PePESeg3D는 SPIn-NeRF, LERF-Mask, NVOS 등 여러 에서 다중 스케일 분할 및 장면 재구성 모두에서 최고 성능을 달성했습니다. 이는 정확한 다중 스케일 3D 분할을 위해서는 인식 사전 지식을 기하학 최적화와 특징 학습 양쪽에 통합하는 것이 중요함을 입증합니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.