AI 에이전트 연구
Parametric Multimodal User Memory: Storing What Captions Cannot Carry
ARarXiv
기존 AI 에이전트가 대화 기록 같은 텍스트에만 의존하여 목소리나 얼굴처럼 포착하기 어려운 '지각적' 사용자 정보를 놓치는 한계를 지적했습니다.
세 줄 요약
- 새로운 시스템은 VLM으로 상황을 파악하고 전용 인코더로 고유 정체성을 추출하여 두 정보를 결합함으로써 높은 인식률을 달성합니다.
- 이를 통해 AI는 사용자가 말한 '사실(What)'뿐만 아니라 목소리 톤, 외모 변화 등 그 사람의 고유한 '정체성(Who)'까지 기억하며 상호작용할 수 있습니다.
- 정체성은 모델 매개변수 영역에, 사실 정보는 별도 저장소에 분리 관리하는 구조이나, 지각적 정체성은 용량 제한 등의 한계가 존재합니다.
기존 AI 에이전트가 대화 기록 같은 텍스트에만 의존하여 목소리나 얼굴처럼 포착하기 어려운 '지각적' 사용자 정보를 놓치는 한계를 지적했습니다.