비전-언어 모델 기반 협력 3D 인식 중재 프레임워크 'VeriFuse'
VeriFuse: Bounded Vision-Language Arbitration and Reason-Guided Refinement for Cooperative 3D Perception
arXivVeriFuse는 여러 에이전트가 독립적으로 얻은 3D 탐지 결과를 통합하고, 비전-언어 모델(VLM)을 활용해 최종 객체 정보를 결정하는 협력 인식 중재 프레임워크입니다.
- 핵심은 VLM에게 '선택(SELECT)', '정제(REFINE)', '거부(REJECT)'라는 세 가지 제한된 역할을 부여하여, 의미론적 추론과 기하학적 제약을 결합해 신뢰도를 높인 것입니다.
- 단순 데이터 합성을 넘어, AI가 모호한 상황에서 논리적인 판단을 내리게 함으로써 자율주행 시스템의 협력 인식 능력을 근본적으로 향상시킵니다.
- DAIR-V2X 데이터셋에서 높은 성능을 보였으며, 특히 300ms 지연 시간에서도 BEV AP50 하락률이 1.7%에 그치는 실시간 안정성을 입증했습니다.
Vision-language models (s)은 다양한 작업에서 강력한 장면 이해와 의미론적 판단 능력을 보여주지만, 협력적인 인식(cooperative perception)에서의 적절한 역할이 불분명합니다. 기존 방식으로는 VLM에 직접 3D 탐지 회귀를 요청하는 것은 신뢰성이 낮고 계산 비용이 높으며, 단일 소스의 출력을 선택하는 것은 다른 가 제공하는 유용한 정보를 버리게 만듭니다.
VeriFuse는 차량-인프라 협력 3D 탐지를 위한 경계 지정 중재(bounded arbitration) 프레임워크입니다. 이 프레임워크는 각 에이전트가 독립적으로 탐지 결과를 생성한 후, 주변의 차량 및 도로변 제안을 기반으로 소스 조건부 기하학적 후보군을 생성합니다. 이후 원래 탐지 결과, 그 섭동(perturbations), 그리고 교차 소스 가설들을 통합된 후보 풀로 결합하여 처리합니다.
VeriFuse는 고정된 VLM을 활용하여 세 가지 허용 가능한 행동 중 하나를 선택하도록 합니다: 적절한 후보를 '선택(SELECT)'하거나, 객체가 지지되지만 모든 후보가 기하학적으로 부적절할 경우 기존 앵커를 '정제(REFINE)'하거나, 지원되지 않는 인프라 전용 제안을 '거부(REJECT)'합니다. 실험 결과에 따르면, VeriFuse는 DAIR-V2X 데이터셋에서 협력 3D AP50/AP70 점수 0.494/0.357을 달성했으며, 300ms 지연 시간에서도 EV AP50 하락률이 1.7%에 그치는 안정성을 보였습니다.
용어 풀이
- VLM
- 이미지와 글을 함께 이해하는 모델.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.