리서치 연구
Where Should Experience Live? Hierarchical Hebbian Memory for Continual Vision Transformers
ARarXiv
시각 트랜스포머(ViT)의 메모리 한계를 극복하기 위해, 세 가지 계층으로 구성된 '계층적 헤비안 메모리' 아키텍처가 제안되었습니다.
세 줄 요약
- 이 모델은 빠른 작업 기억, 지속적인 에피소드 메모리, 느린 의미론적 메모리를 통합하고 학습된 컨트롤러로 온라인 경험을 체계적으로 정리합니다.
- 단순히 파라미터를 업데이트하는 것을 넘어, 다양한 시간 스케일의 지식을 조직하여 AI가 지속적으로 학습하고 장기 기억 능력을 갖추도록 돕습니다.
- 메모리 간 상호작용을 정교하게 제어하며, 실제 테스트에서 높은 인식 정확도와 강력한 장기 기억 유지력을 입증했습니다.
시각 트랜스포머(ViT)의 메모리 한계를 극복하기 위해, 세 가지 계층으로 구성된 '계층적 헤비안 메모리' 아키텍처가 제안되었습니다.