LLM 에이전트의 기억을 관리하는 'MoM' 시스템 소개
MoM: Memory of Memory
arXiv장기 추론이 필요한 LLM 에이전트의 기억 문제를 해결하기 위해, 단순 내용 저장 대신 데이터의 출처와 변경 역사를 기록하는 'Memory of Memory(MoM)' 시스템을 제안합니다.
- MoM의 구현체인 'Provenant Memory(P-Mem)'는 기존 데이터를 덮어쓰지 않고, 새로운 정보가 들어와도 이전 상태를 보존하여 오류 발생 시에도 과거 확정 기록을 복구할 수 있습니다.
- 이 기술은 지식 업데이트 과정에서 발생하는 오답률을 낮추고, 장기간의 추론 체인에서도 일관성을 유지하며 답변의 신뢰도와 유효성(Validity)을 극대화합니다.
- MoM은 단순히 정보의 '정확성'을 넘어, 새로운 관찰이 기존 값을 지지하는지 반박하는지를 그래프 구조로 판단하여 데이터의 신뢰도를 높이는 데 특화되어 있습니다.
장기 추론 과정에서 가 직면하는 메모리 문제는 단순히 기록된 내용(what was once recorded)이 아니라 현재 유효한 상태(what currently holds)를 유지하는 것입니다. 기존의 설계 방식들은 모든 상호작용을 저장하고 쿼리 시점에 이를 재구성하여 사용하지만, 이 과정에서 오래되거나 잘못된 값이 다시 시스템에 진입하거나 동일한 충돌 문제가 반복적으로 발생할 수 있습니다.
이러한 문제를 해결하기 위해 'Memory of Memory (MoM)'라는 개념이 제안되었으며, 이는 단순히 콘텐츠뿐만 아니라 각 항목의 출처(provenance), 상태, 그리고 변경 이력까지 추적합니다. MoM을 구현한 'Provenant Memory (P-Mem)'는 타입화된 출처 그래프를 사용하여 작동하며, 새로운 관찰이 기존 값을 지지하는지, 대체하는지, 반박하는지 등을 판단하여 데이터의 신뢰도를 높입니다.
MoM은 특히 이전 상태를 덮어쓰지 않고 보존한다는 점에서 큰 이점을 가집니다. P-Mem은 활성 영역(active frontier)을 통해 현재 값을 노출하고, 변경된 값은 출처 정보로 유지합니다. 그 결과, 기존의 CRUD 메모리가 처리할 수 없는 오류가 발생했을 때도 과거에 확정된 기록을 100% 복구하는 것이 가능하며, 이는 지식 업데이트 과정에서 오답률을 낮추는 데 기여합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.