리서치 연구
위치 및 속도 기반 시선 궤적 생성 확산 모델 연구
Diffusion models for eye-gaze trajectory generation using position and velocity representations
arXiv시선 추적 데이터의 높은 수집 비용과 개인 정보 문제를 해결하기 위해, 확산 모델(DDPM)을 활용하여 눈 움직임 궤적 생성 기술이 개발되었습니다.
세 줄 요약
- 위치 및 속도 기반의 두 가지 모델을 통해 시선 움직임을 성공적으로 재현했으며, 합성 데이터 학습 후 실제 환경 테스트에서 $R^2=0.66$의 높은 성능을 입증했습니다.
- 값비싼 전문 장비나 통제된 실험실 환경 없이도 고품질의 시선 데이터를 확보할 수 있게 되어, 관련 연구 및 서비스 개발에 혁신적인 기여를 할 전망입니다.
- 현재 모델은 국소적 움직임 패턴과 단기 구조 포착에 강점을 보이나, 사케이드 횟수 등 장거리 특성 재현을 위해서는 조건부 모델 개발이 필요합니다.
시선 추적 데이터는 전문 하드웨어와 통제된 실험실 환경이 필요하며, 개인 정보 제약으로 인해 공유가 어렵다는 문제가 있다. 본 연구는 이러한 문제를 해결하기 위해, 시각 검색 데이터를 활용하여 눈 움직임 역학을 무조건적으로 생성하는 두 가지 보완적인 DDPM(Denoising Diffusion Probabilistic Models) 모델을 개발했다.
위치 공간 모델은 원시 2차원 시선 위치 시퀀스를 생성하며, 총 아홉 가지 운동학적 특징에 걸쳐 평균 Jensen-Shannon(JS) 발산이 $0.016\pm0.004$를 달성했다. 이 모델을 'Train-on-Synthetic-Test-on-Real' 프로토콜로 평가했을 때, $R^2=0.66\pm0.02$의 성능을 보였다.
한편, 속도 공간 모델은 두 성분으로 구성된 속도 시퀀스를 생성하며 평균 JS 발산이 $0.0065$를 기록했다. 전반적으로 무조건적 은 국소적인 시선 운동학 및 단기 구조 포착에 강점을 보였으나, 사케이드 횟수와 같은 장거리 특성을 재현하기 위해서는 향후 조건부 모델 개발이 필요하다.
용어 풀이
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.