불완전 데이터 환경을 위한 멀티모달 감성 분석 프레임워크 SemMSA
SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data
arXiv불완전한 데이터 환경에서도 인간의 감정을 정확히 추론하는 멀티모달 감성 분석(MSA) 프레임워크, SemMSA를 제안합니다.
- LLM을 활용해 풍부한 의미론적 정보를 구축하고, 스펙트럼 정렬 기법으로 모든 모달리티 간의 비선형 의존성을 포착하는 것이 핵심입니다.
- 기존 방식에서 발생하던 '가짜 정보 생성' 및 노이즈 문제를 해결하여, 데이터 부족 상황에서도 신뢰도 높은 감정 분석을 가능하게 합니다.
- SIMS, MOSI 등 주요 벤치마크에서 최고 성능을 입증했으며, 다양한 형태의 멀티모달 데이터 분석에 활용될 수 있습니다.
최근 연구에서 다루어지는 감성 분석(MSA)은 언어, 시각, 음향 등 다양한 모달리티의 불완전한 데이터를 활용하여 인간의 감정을 추론하는 데 초점을 맞추고 있습니다. 기존 방법들은 누락된 정보를 복원하거나 복잡한 융합 메커니즘을 설계하지만, 부분적으로 관찰된 멀티모달 증거에서 고수준 의미론적 근거가 부족하여 가짜 정보 생성(spurious generation)이나 노이즈 유도에 취약하다는 한계가 있습니다.
이를 해결하기 위해 SemMSA 프레임워크를 제안합니다. 이 방법은 을 활용하여 감성 관련 풍부한 의미론적 정보를 구축하며, 모든 모달리티와 연결됩니다. 구체적으로 Cross-modal Semantic Refinement (CSR) 단계에서는 적응형 어댑터를 사용하여 시각 및 음향 표현을 추출하고, 이를 언어와 결합된 통합 멀티모달 접두사(prefix)를 형성합니다. 이후 효율적인 잠재 정제 과정을 통해 명시적 텍스트 디코딩 없이 연속적인 판별 의미 상태를 반복적으로 생성합니다.
다음으로 Cross-modal Spectral Alignment (CSA)는 모든 모달리티의 정제된 의미론을 동시에 정렬하는 역할을 합니다. 이는 커널 그람 행렬(kernel Gram matrix)의 지배적인 스펙트럼 성분을 강화함으로써 이루어지며, 사전에 정의된 앵커 모달리티에 의존하지 않고 모든 표현 간의 전역적 비선형 의존성을 포착합니다. 또한 인스턴스 수준의 스펙트럼 분리 제약 조건은 샘플 간 판별 가능성을 유지하고 표현 붕괴를 완화하는 데 기여합니다.
SemMSA는 SIMS, MOSI, MOSEI와 같은 광범위한 에서 실험을 통해 최고 성능(state-of-the-art performance)을 달성했음을 입증했습니다. 이 프레임워크는 불완전한 데이터 환경에서도 신뢰도 높은 멀티모달 감성 분석이 가능함을 보여줍니다.
용어 풀이
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.