리서치 연구
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
ARarXiv
MLLM 에이전트의 실질적인 이동 능력을 검증하기 위해, 연구진은 홍콩 기반의 3D 지리 데이터를 활용한 가상 도시 환경 'UrbanGround'를 구축했습니다.
세 줄 요약
- 테스트 결과, 에이전트는 단기적인 시각 인식은 가능하나, 장거리 탐색 과정에서 로컬 능력이 지속적인 목표 지향 행동으로 통합되지 못하고 오류가 누적되는 한계를 보였습니다.
- 본 연구는 AI의 능력을 단순한 이미지 분석을 넘어, 복잡하고 개방된 도시 환경에서의 '신뢰성 있는 탐색 및 행동'이라는 새로운 기준으로 확장하여 제시합니다.
- 특히 경로 변경이나 보행자 움직임 등 외부 환경 변화에 취약하며, 지역적 지식을 전역적이고 안정적인 임무 수행으로 연결하는 것이 핵심 과제임을 보여줍니다.
MLLM 에이전트의 실질적인 이동 능력을 검증하기 위해, 연구진은 홍콩 기반의 3D 지리 데이터를 활용한 가상 도시 환경 'UrbanGround'를 구축했습니다.