리서치 연구
말하는 얼굴 딥페이크 탐지를 위한 rPPG 및 입 주변 신호 활용
Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection
arXiv말하는 얼굴(Talking-face) 딥페이크 탐지 시 기존 rPPG 기반 방법의 신뢰성 문제가 발견되자, 연구진은 입 주변 움직임과 rPPG 파형을 활용한 새로운 비전 단서를 제시했습니다.
세 줄 요약
- 실험 결과, 입 영역 DCT 계수와 rPPG 유도 파형을 결합하는 융합 방식이 개별 단서보다 월등히 높은 탐지 성능을 보이며 우수한 결과를 나타냈습니다.
- 이는 딥페이크 탐지에 있어 하나의 신호에만 의존하기보다, 입술 움직임 패턴과 혈류 변화 등 여러 독립적인 시각적 특징을 종합 분석하는 것이 중요함을 의미합니다.
- 다만, rPPG 유도 신호는 심장 박동의 근거라기보다는 경험적 단서로 간주되었으며, 생성기별 전이 성능에는 여전히 편차가 존재한다는 한계가 있습니다.
말하는 얼굴(Talking-face) 딥페이크 탐지 시 기존 rPPG 기반 방법의 신뢰성 문제가 발견되자, 연구진은 입 주변 움직임과 rPPG 파형을 활용한 새로운 비전 단서를 제시했습니다.