고정 메모리 상태를 활용한 장기 기억 메커니즘 연구
Constant-Memory Recall: Learned Associations in a Fixed Matrix State
연구진이 고정된 작은 메모리 상태만으로도 장기적인 정보를 효율적으로 기억하는 새로운 AI 회상(Recall) 메커니즘을 제시했습니다.
이 연구는 적은 메모리 용량으로도 장기적인 정보를 효율적으로 기억할 수 있는 새로운 AI 회상 메커니즘을 제시하여, 대규모 언어 모델의 핵심 과제인 '메모리 한계'를 극복하는 가능성을 열어줍니다.
- 이 모델은 단 32 KiB라는 극히 적은 메모리 용량으로 높은 평균 정확도를 달성했으며, 긴 컨텍스트에서도 뛰어난 기억력을 보였습니다.
- 이는 대규모 언어 모델(LLM)의 핵심 과제인 '메모리 한계'를 극복하고, 추론 과정에서 장기 정보를 안정적으로 유지할 수 있는 가능성을 열었습니다.
- 다만, 특정 메모리 블록 초기화 시 기억력 손실 같은 구조적 취약점이 확인되었고, 기존 트랜스포머 기반 모델과의 직접적인 효율성 비교는 어렵다는 한계가 있습니다.
연구진은 고정된 크기의 순환 메모리 상태(recurrent matrix state)를 사용하는 DeltaNet 변형 모델을 제시했습니다. 이 모델은 별 키 편향(key biases)을 활용하며, 단 32 KiB의 메모리 용량으로 각 시퀀스당 32개의 새로운 키-값 쌍을 기억하도록 훈련되었습니다. 그 결과, 세 가지 학습 시드에서 평균 99.95%에 달하는 높은 정확도를 기록했습니다.
이 모델은 필러가 전처리 컨텍스트를 1,798 토큰까지 확장하더라도 새로운 쌍을 추가하지 않는 한 회상력이 거의 완벽하게 유지되는 것을 보여주었습니다. 다만, 첫 번째 메모리 블록을 초기화하면 이 기억력이 사라지는 구조적 취약점이 확인되었습니다. 또한, 기존 기반 모델과의 효율성 비교는 기준선(baseline)의 실패로 인해 어렵다는 한계가 있습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
메모리 용량이 작은데도 높은 정확도를 유지하는 원리가 궁금해요.
연구진은 고정된 크기의 순환 메모리 상태와 토큰별 키 편향을 활용한 DeltaNet 변형 모델을 제시했어요. 이 모델은 단 32 KiB의 적은 용량으로 각 시퀀스당 32개의 새로운 키-값 쌍을 기억하도록 훈련되었고, 그 결과 평균 99.95%에 달하는 높은 정확도를 기록했습니다.
긴 컨텍스트에서도 기억력을 유지하는 방식이 궁금해요.
이 모델은 필러가 전처리 컨텍스트를 1,798 토큰까지 확장하더라도 새로운 쌍을 추가하지 않는 한 회상력이 거의 완벽하게 유지되는 것을 보여주었어요. 이는 장기적인 정보 유지가 가능하다는 것을 의미합니다.
이 모델을 사용할 때 주의해야 할 구조적 취약점이 있나요?
네, 한 가지 구조적 취약점이 확인되었어요. 바로 첫 번째 메모리 블록을 초기화하게 되면 이전에 쌓아왔던 기억력이 사라질 수 있다는 점이에요.