에이전트 메모리, 모델 업그레이드에도 살아남을까? 기억 전송성 연구
Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability
arXiv모델 업그레이드가 일상화되면서 AI 에이전트의 메모리 지속성 문제가 중요해졌습니다. 본 연구는 다양한 기억 저장 방식(RAG, NOTES, KG 등)을 비교 분석하여 안정성을 검증했습니다.
- 고정 스키마로 구조화된 지식 그래프(KG-fixed)는 모델 교체에도 높은 안정성을 보였으나, 압축 메모리나 부분 임베딩은 성능 저하가 크게 나타났습니다.
- 이는 AI 에이전트의 신뢰성 확보를 위해 단순한 데이터 보존을 넘어, 체계적인 기억 관리와 원본 출처 기록 유지가 필수적임을 시사합니다.
- 따라서 메모리 복구 시스템 구축 시에는 방향별 테스트가 필수이며, 성능 저하를 막기 위해 원본 기록(raw source history)을 반드시 유지해야 합니다.
모델 업그레이드는 흔한 일이지만, 의 메모리를 이전하는 과정은 그렇지 않다. 본 연구는 장기 컨텍스트 읽기(LC-RAW), (RAG), 모델 압축 노트(NOTES), 고정 스키마 지식 그래프(KG-fixed) 등 네 가지 방식의 기억 저장 방식을 비교 분석했다. 이 연구는 48개의 합성 히스토리와 두 개의 오픈 모델을 사용하여 메모리 지속성을 측정했다.
측정 결과, KG-fixed와 같은 고정 스키마 구조는 작성자 교체 후에도 $+0.0004 \pm 0.0020$의 작은 변화만 보이며 안정적으로 전송되는 것을 확인했다. 반면, 압축된 NOTES 방식은 모델 결합도가 높아 성능 변동 폭이 커서, 특정 마이그레이션 방향에 따라 정확도가 $+9.91$ 또는 $-13.28$ 퍼센트 포인트씩 비대칭적으로 변화하는 모습을 보였다.
RAG 시스템에서 부분 을 사용한 마이그레이션은 전체 재임베딩 대비 낮은 성능 개선만을 기록했다. 또한, NOTES의 경우 원본 출처 히스토리를 유지할 때 48개 테스트 케이스 중 34개에서 성공적인 복구가 가능했던 반면, 노트만으로 복구하는 것은 모든 테스트 케이스에서 90% 성능 회복 목표에 도달하지 못했다. 이는 방향별 마이그레이션 테스트와 원본 기록 유지가 필수적임을 보여준다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 검색 증강 생성
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.