리서치 연구
키워드 기반 밈 분류 프레임워크 MemeTAG 소개
MemeTAG: Keyword-Driven Meme Classification through Tag Embedding Reconstruction
arXiv악성 인터넷 밈의 분류는 내용이 복잡하고 다중 모드적이라 난제였으나, 연구진은 키워드를 활용한 'MemeTAG'라는 새로운 프레임워크를 제시했습니다.
세 줄 요약
- 핵심 기술은 VLM으로 추출된 키워드를 'ATIN' 어텐션 모듈로 하나의 의미 임베딩에 압축하고, 이를 재구성 손실에 이용해 시각-텍스트 특징을 깊게 정렬하는 것입니다.
- 이 접근 방식은 기존 최고 성능(SOTA)을 능가하며, HMC 및 HarMeme 등 다양한 악성 밈 데이터셋에서 우수한 분류 성능을 입증했습니다.
- 본 연구는 단순한 이미지 분석을 넘어, 키워드와 문맥적 의미를 통합하여 복잡하고 미묘한 밈의 의도를 파악하는 새로운 패러다임을 제시합니다.
악성 인터넷 밈의 분류는 내용이 복잡하고 다중 모드적이라 난제였으나, 연구진은 키워드를 활용한 'MemeTAG'라는 새로운 프레임워크를 제시했습니다.