생체 신호 인식 가우시안 아바타 'Heartian' 개발 연구
$\unicode{x1F493}$Heartian: Physiology-Aware Relightable Gaussian Head Avatar
arXiv기존 가우시안 헤드 아바타가 간과했던 심장 박동에 따른 미세한 피부색 변화(rPPG)를 포착하는 '생리 인식' 기술을 개발했습니다.
- 이 프레임워크는 피부의 주기적 색 변화를 모델링하여, 가상 아바타가 생성된 후에도 높은 정확도로 심장 박동 신호를 추출할 수 있음을 입증했습니다.
- 아바타가 단순한 시각적 표현을 넘어 심박수 같은 생체 신호까지 전달하게 되어, 원격 건강 모니터링 및 메타버스 사용자 분석에 활용될 잠재력이 큽니다.
- 시각적 재현 품질 저하를 최소화하면서도 신호를 삽입하는 것이 가능했으나, 실제 측정 정확도는 후처리 디코더와 환경 조건에 따라 달라질 수 있습니다.
기존의 가우시안 헤드 아바타는 일반적으로 얼굴 외형을 시간적으로 정적인 것으로 모델링하여, 심장 박동에 의해 발생하는 미세한 피부색 변화(rPPG)를 포착하지 못하는 한계가 있었습니다. 연구진은 이러한 문제를 해결하기 위해 'Heartian'이라는 생리 인식 변조 프레임워크를 제안했습니다. 이 프레임워크는 재조명 가능한 헤드 아바타 내의 얼굴 피부 영역 가우시안에 심장 주기 의존적 프레임별 알베도 변조를 학습하여 rPPG 신호를 인코딩합니다.
Heartian은 동기화된 접촉 PPG 감독을 활용하여, 주어진 심장 파형을 두 개의 가우시안 함수의 합으로 모델링하고 경량 MLP(Multi-Layer Perceptron)를 통해 프레임별 공간 잔차를 학습하는 방식으로 작동합니다. 이 방법론은 UBFC-rPPG, PURE, MMPD의 152개 정지 녹화본을 사용하여 테스트되었습니다.
실험 결과에 따르면, 공급된 신호에 대한 속성 공간 복구 시 풀링 녹화 수준에서 심박수 MAE는 0.29 bpm, MAPE는 0.38%를 달성했습니다. 특히, 가장 잘 테스트된 구성(UBFC-rPPG로 사전 학습된 모션 증강 TS-CAN 디코더)을 사용했을 때, 렌더링된 MMPD 아바타에서 0.97 bpm MAE와 1.21% MAPE를 기록하며 심박수 복구 능력을 입증했습니다.
Heartian은 rPPG 신호를 제어 가능한 물질 속성으로 주체별 가우시안 헤드 아바타에 내장하면서도, 평균 PSNR 저하가 0.005 dB로 미미하여 전반적인 재구성 품질을 유지하는 것을 목표로 합니다.