스마트 공간 다중 카메라 기반 대규모 3D 인지 벤치마크 공개
Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces
arXiv실내 스마트 공간에서 다중 카메라를 이용한 3차원 인지 능력을 측정하는 대규모 벤치마크 'Physical AI Smart Spaces'가 공개되어 주목받고 있습니다.
이 벤치마크는 가상 환경에서 개발된 인공지능 모델이 병원이나 창고 같은 복잡하고 현실적인 실내 공간에서도 실제로 작동하는지 검증할 수 있는 표준화된 기회를 제공해요.
- 병원, 창고 등 다양한 실내 환경에서 수집된 이 데이터셋은 280시간 이상의 영상과 함께 3차원 위치 및 경계 상자 추적을 위한 새로운 평가 지표를 제공합니다.
- 가상 시뮬레이션 환경에서 개발된 인공지능 모델이 복잡하고 현실적인 실내 공간에서도 실제로 작동하는지 검증할 수 있는 표준화된 기회를 제공한다는 점에서 의미가 큽니다.
- 약 1,800대에 달하는 다수 카메라와 시간 동기화된 영상을 사용하며, 정확한 측정을 위해 정밀한 보정(Calibration) 및 자동 주석 과정이 필수적인 고난도 데이터셋입니다.
Physical AI Smart Spaces는 실내 스마트 공간을 위한 최초의 대규모 로, 다중 클래스 및 다중 카메라 환경에서 3차원(3D) 인지 데이터를 제공합니다. 이 데이터셋은 창고, 병원, 소매점 등 다양한 실내 환경을 포괄하며, 약 1,800대에 달하는 카메라가 촬영한 시간 동기화된 1080p 영상 280시간 이상으로 구성되어 있습니다.
이 벤치마크는 다중 카메라 식별자, 2D 및 3D 경계 상자(bounding boxes), 카메라 보정 정보, 그리고 깊이 정보를 포함하는 자동 주석을 제공합니다. 데이터 생성 과정은 Isaac Sim의 합성 생성부터 Cosmos Transfer를 이용한 외관 증강, 실제 환경에서의 Sim2Real 평가까지 아우르며 표준화된 워크플로우를 따릅니다.
주요 기여점 중 하나는 추적 정확도(Tracking Accuracy)를 3D 위치와 3D 경계 상자로 확장한 고차원 추적 정확도(Higher Order Tracking Accuracy, HO$^{TA}$)의 도입입니다. 또한, 실제 환경을 반영하여 시간 동기화된 스트림과 자동 VGGT 기반 보정 시스템이 적용된 두 개의 창고 배포 사례를 포함하고 있습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
이 데이터셋은 어떤 종류의 정보를 포함하고 있나요?
다중 카메라 식별자, 2D 및 3D 경계 상자, 깊이 정보와 같은 자동 주석을 제공해요. 또한 약 1,800대에 달하는 카메라가 촬영한 시간 동기화된 1080p 영상 280시간 이상으로 구성되어 있어요.
데이터는 어떤 과정을 거쳐 표준화되었나요?
이 데이터 생성 과정은 Isaac Sim을 이용한 합성 생성부터 시작해요. 여기에 Cosmos Transfer를 사용해 외관 증강 과정을 거치고, 실제 환경에서의 Sim2Real 평가까지 아우르는 표준화된 워크플로우를 따르고 있어요.
이 벤치마크의 주요 기술적 기여점은 무엇인가요?
추적 정확도를 3D 위치와 3D 경계 상자로 확장한 고차원 추적 정확도(Higher Order Tracking Accuracy)를 도입했어요. 또한 실제 환경을 반영하여 시간 동기화된 스트림과 자동 VGGT 기반 보정 시스템이 적용되었어요.