장면 의미 정보의 안정성을 위한 영속적 언어 필드 기술
LangStreet: Persistent Language Fields for Anchor-Decoded Street Gaussians
arXiv대규모 환경에서 시점 변화로 인해 발생하는 객체 의미 정보의 불안정성을 해결하기 위해 '영속적 언어 필드' 모델이 제안되었습니다.
- 의미 정보의 소유권을 기준점(앵커)에 집중시켜, 모델 크기를 대폭 줄이면서도 최고 성능과 유사한 높은 정확도를 달성했습니다.
- 자율주행차나 실시간 3D 재구성 등 복잡한 환경에서 객체의 의미를 안정적이고 비용 효율적으로 인식하는 핵심 기반 기술입니다.
- 이 기술은 영속적인 의미 소유권 개념과 더불어, 구조의 안정성과 세부 디테일 표현 간의 균형 유지가 필수적임을 보여줍니다.
기존의 언어 가우시안 필드는 원시적인 의미를 시점과 관계없이 식별 가능하다고 가정하지만, 확장 가능한 앵커 기반 표현에서는 이 가정이 깨집니다. 카메라에 따라 기하학적 구조와 외관이 변하는 '뷰 조건부' 환경에서 의미 정보가 불안정해지는 문제를 해결하기 위해, 연구진은 영속적인 언어 필드(persistent language field)를 제안했습니다. 핵심 아이디어는 '의미 소유권(semantic ownership)'을 설정하여, 일시적인 자식 가우시안이 관측치를 전달하고, 영속적인 디코더 슬롯과 그 부모 앵커가 의미 필드를 소유하도록 구조화한 것입니다.
제안된 모델은 알파-합성 책임(alpha-compositing responsibilities)을 사용하여 슬롯에 방향별 증거를 누적하며, 이 통계는 정확히 앵커로 축소됩니다. 이를 통해 약하게 지원되는 슬롯을 앵커와 정렬된 증거로 완성하면서도 원래의 앵커 방향성을 유지할 수 있습니다. 또한, 슬롯의 세부 정보는 앵커 상대 의미 좌표계에서의 저랭크 잔차(low-rank residuals)를 통해 표현되며, 주 모델인 Ours (base)는 앵커 특징과 압축된 슬롯 잔차만을 저장합니다.
이러한 구조적 접근 방식은 높은 정확도와 효율적인 메모리 사용을 동시에 달성했습니다. KITTI 데이터셋에서 Ours (base)는 34.19 mIoU를 달성했으며, 이는 Ours (max)의 성능(34.20 mIoU)과 거의 유사합니다. 특히, Ours (base)가 요구하는 유효 특징 공간은 2.72 GiB에 불과하여, 같은 정확도를 가진 Ours (max)의 12.90 GiB 대비 현저히 낮은 저장 비용을 보여주었습니다.