DABACO 데이터셋: 화면 위치 및 포인팅 추정 벤치마크 공개
DABACO: A Multi-Camera Dataset and Benchmark for Screen Localization and Pointing Estimation
DABACO는 저가형 인터랙티브 장치에서 화면 위치를 파악하고 포인팅을 추정하는 알고리즘 개발을 위한 멀티 카메라 비디오 데이터셋입니다.
저비용 인터랙티브 장치 개발자들이 실제 환경의 복잡성을 반영하여 화면 위치 파악 및 포인팅 기술을 평가하고 발전시키는 데 필수적인 자료가 돼요.
- 광학 왜곡, 롤링 셔터 등 실제 환경의 복잡성을 반영한 비디오 시퀀스를 제공하며, 마커가 있는 원본과 제거된 이미지를 모두 공개해 신뢰도를 높였습니다.
- 임베디드 시스템 기반의 저비용 포인팅 장치 개발자들에게 필수적인 자원이며, 학계와 산업계의 새로운 평가 기준을 제시합니다.
- 데이터셋과 함께 오픈소스 평가 툴킷이 제공되어, 고전적인 기하학 방법론과 YOLOv8 기반 모델 등 두 가지 참고 기준선으로 즉시 검증할 수 있습니다.
화면 위치 파악(Screen localization)과 포인팅 추정은 저비용 인터랙티브 장치에 핵심 기술이지만, 이를 평가하기 위해서는 현실적인 데이터가 필수적입니다. 기존의 는 광학 왜곡, 롤링 셔터, 모션 블러 등 실제 물리적 촬영 환경을 완전히 재현하지 못하며, 연속적인 포인팅 평가를 위한 비디오 자료가 부족했습니다. 이에 연구진은 저비용 포인팅 장치(DABACO) 프로젝트의 일환으로 DABACO 데이터셋을 공개했습니다.
이 데이터셋은 라즈베리 파이 4B나 ESP32-S3 같은 임베디드 플랫폼에서 촬영된 다중 카메라 센서 기반의 비디오 시퀀스로 구성되어 있습니다. 데이터 구축 과정에서는 임시 시각 워터마킹, 광류 추적(optical-flow tracking), 수동 검증 등의 체계적인 주석 파이프라인을 적용했습니다. 연구진은 감사 및 잠재적 재구성 편향 연구를 위해 마커가 표시된 원본 캡처와 마커가 제거된 이미지를 모두 공개하며, 명시적인 코너 주석과 수정 마스크도 함께 제공합니다.
또한 DABACO는 평가 툴킷을 함께 배포하여 사용자가 즉시 검증할 수 있도록 했습니다. 이 툴킷에는 고전적인 모서리 및 윤곽 기하학 기반의 화면 감지 파이프라인과, 데이터셋별 학습 없이 활용 가능한 YOLOv8 분할 모델 등 두 가지 참고 기준선(reference baselines)이 포함되어 있습니다. 평가 결과는 IoU, 코너 오차, 포인팅 오차를 기준으로 산출됩니다.
용어 풀이
- 합성 데이터
- 실제로 모은 것이 아니라 AI나 프로그램으로 만들어 낸 학습용 데이터.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
이 데이터셋은 어떤 종류의 이미지를 제공하여 신뢰도를 높였나요?
연구진은 감사 및 잠재적 재구성 편향 연구를 위해 마커가 표시된 원본 캡처와 마커가 제거된 이미지를 모두 공개했어요. 이 외에도 명시적인 코너 주석과 수정 마스크도 함께 제공하여 신뢰도를 높였어요.
데이터셋은 실제 환경의 어떤 복잡성을 반영했나요?
기존 합성 데이터가 재현하지 못했던 광학 왜곡, 롤링 셔터, 모션 블러 같은 실제 물리적 촬영 환경을 반영했어요. 또한 라즈베리 파이 4B나 ESP32-S3 같은 임베디드 플랫폼에서 다중 카메라 센서로 비디오 시퀀스를 촬영하고 체계적인 주석 과정을 거쳤어요.