리서치 연구
모달리티 불일치를 활용한 양가감정 인식 모델 개발
Modality Discrepancy Transformer for Ambivalence and Hesitancy Recognition
arXiv얼굴, 음성, 언어 등 다중 채널의 모순된 신호(불일치)를 포착하여 양가감정과 주저함을 인식하는 새로운 트랜스포머 기반 모델이 개발되었습니다.
세 줄 요약
- 기존 방식이 놓치던 모달리티 간의 불일치 신호를 포착하기 위해 토큰 구조를 확장하고, 이를 트랜스포머에 적용하여 높은 인식 성능을 달성했습니다.
- 이 모델은 인간의 복합적인 감정 상태를 임상 환경에서 정밀하게 분석하여, 심리 진단 및 정신 건강 모니터링 기술 발전에 기여할 전망입니다.
- 높은 인식 정확도(Macro F1)를 유지하면서도 단일 GPU에서 20분 내외로 빠르게 학습 가능한 효율성까지 확보한 점이 핵심 경쟁력입니다.
본 연구는 얼굴, 음성, 언어 등 여러 채널에서 모순되는 신호를 보이는 '양가감정 및 주저함(A/H)' 상태를 자동으로 인식하는 방법을 제시합니다. 기존의 표준 융합 방식들이 놓치기 쉬운 이러한 '교차 모달리티 불일치' 신호를 탐지하는 것이 핵심 과제입니다.
이를 해결하기 위해 개발된 Modality Discrepancy Transformer (MDT)는 원래의 6개 구조를 확장하여 총 9개의 토큰 표현을 사용합니다. 이 9개 토큰은 세 가지 모달리티 , 세 가지 절대 차이 특징(absolute-difference features), 그리고 세 가지 Hadamard 곱 불일치 특징으로 구성되며, 의 자체 어텐션 메커니즘과 FiLM 기반 변조를 핵심 요소로 활용합니다.
BAHW 데이터셋을 사용한 실험 결과, MDT는 레이블링된 테스트 스플릿에서 0.7408 Macro F1 점수를 달성했으며, 비공개 리더보드에서도 0.7368을 기록했습니다. 특히 이 모델은 단일 환경에서 20분 이내에 학습이 가능하여 높은 인식 성능과 효율성을 동시에 확보한 것이 특징입니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.