운전 중 시선 추적 끊김 구간 예측 기술 개발
Context-Aware Causal Gaze Forecasting for Human-Vehicle Interaction During In-Cabin Tracking Dropouts
arXiv운전 중 고개 돌림이나 거울 확인 등으로 시선 추적 장치가 끊기는 상황에서, 사라진 운전자의 주의 집중 상태를 정확하게 예측하는 기술이 개발되었습니다.
- 연구진은 'Causal Context-Gated Forecaster(CCGF)'라는 모델을 도입하여 과거의 시선 기록과 실시간 주행 환경 정보를 결합해 시선을 복원했습니다.
- 이는 운전자의 인지 상태를 놓치지 않게 하여, 자율주행 시스템이나 차량 모니터링 장치의 안전성과 신뢰도를 획기적으로 높일 수 있습니다.
- 특히 주변 환경 정보(Scene)를 끊김 구간 동안 지속 업데이트하는 'Live' 방식이 고정된 정보를 사용하는 것보다 예측 정확도가 월등히 뛰어남을 입증했습니다.
대시보드 장착형 시선 추적기는 운전자가 어깨를 돌리거나 거울을 확인하는 등 큰 머리 움직임이 발생할 때 종종 시선을 놓치는 문제가 있습니다. 이러한 상황은 운전자의 주의 집중 상태에 대한 정보가 가장 유용하게 필요한 순간입니다. 기존의 오프라인 간극 채우기 방식으로는 양쪽 관찰 데이터를 이용해 누락된 구간을 재구성할 수 있지만, 온라인으로 작동하는 운전자 모니터링 시스템은 아직 발생하지 않은 측정값에 의존할 수 없습니다.
연구진은 이러한 문제를 해결하기 위해 인과적 시선 복구(causal gaze recovery)를 제안하며, 이는 목표 추적기가 현재 시간 t 또는 그 이후의 시선을 제공하지 않을 때도 가용하지 않은 시선을 예측하는 방식입니다. 이들은 Causal Context-Gated Forecaster (CCGF)라는 모델을 도입하여 60프레임의 드롭아웃 전 시선 및 머리 자세 기록과 DINOv3 장면 특징(scene features)을 결합했습니다. 학습된 신뢰도 게이트가 드롭아웃이 진행됨에 따라 과거 기록과 장면 표현의 기여도를 제어합니다.
CCGF는 10명의 운전자가 수행한 총 10.5시간 분량의 자연스러운 주행 데이터에서 추출된 2,047개의 'head_lost' 이벤트를 대상으로 평가되었습니다. 그 결과, Live 장면 업데이트 조건에서는 평균 운전자당 중앙 오차(mean per-driver median error)가 175.7 px (10.5 deg)를 달성했으며, 이는 과거 기록만 사용한 인과 예측 대비 33% 감소한 수치입니다. 반면 Frozen 장면 입력 시에는 오차가 210.8 px (12.9 deg)로 증가하여, 드롭아웃 기간 동안 얻은 장면 관찰 정보가 유용한 예측 정보를 제공함을 입증했습니다.