AI 메모리: 원본 대화 기록과 시간 축을 보존하는 시스템
Show HN: Lossless-memory – a personal AI memory that never summarizes
Hacker News기존 AI 메모리 시스템의 요약 및 유사 검색 한계를 극복하고, 모든 대화 원본 로그와 시간 정보를 보존하는 로컬 장기 기억 시스템입니다.
- 단순히 의미를 추출하기보다 '시간'을 최우선 축으로 삼아 특정 시점의 대화 범위를 먼저 제한하고, 원문 내용을 시간 순서대로 재구성하는 것이 핵심 기술입니다.
- AI가 시간이 지남에 따라 맥락을 잊는 문제를 해결하여, 단순 정보 검색을 넘어 사용자가 경험했던 순간의 디테일과 시간적 흐름까지 복원할 수 있습니다.
- 개인 PC 기반의 단일 사용자용 시스템이며, 현재 상대적인 시간 표현 검색 기능은 일본어 위주로 지원되므로 참고해야 합니다.
기존 AI 장기 기억 시스템은 대화를 요약하거나 유사한 청크를 하여 검색하는 방식을 취해왔습니다. 이로 인해 사용자가 실제로 나눈 '무엇'과 '언제'가 가장 중요한 정보가 손실되는 문제가 발생합니다. 본 프로젝트는 이러한 한계를 극복하기 위해, 모든 원본 대화 로그를 요약 없이 그대로 보존하고 모든 기록에 타임스탬프를 부여하는 것을 핵심 철학으로 삼습니다.
이 시스템의 검색은 시간(Time)을 최우선 축으로 간주합니다. 사용자가 '지난 화요일 밤 예산 관련 논의'와 같이 시간 구문을 포함한 쿼리를 입력하면, 먼저 해당 시간 범위로 검색 범위를 제한하고 그 안에서 순위화하여 결과를 반환합니다. 원본 로그는 JSONL 파일 형태로 저장되며, SQLite FTS5(정확히 일치하는 검색) 및 sqlite-vec(의미론적 검색) 등의 인덱스를 활용하여 데이터 무결성을 유지합니다.
장기 대화 맥락을 유지하기 위해 'LLL'이라는 작은 인덱스가 사용됩니다. 이는 현재 대화가 어떤 주제에 있는지 기록하며, 이 정보는 모델의 압축이나 세션 경계에도 불구하고 모델이 현재 주제를 인식하도록 매 턴마다 주입됩니다. 시스템은 단일 사용자, 단일 기기 환경에서 작동하며, 상대적인 시간 표현 검색 기능은 현재 일본어 위주로 지원되고 있습니다.
용어 풀이
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 컨텍스트 창
- 모델이 한 번에 읽고 참고할 수 있는 입력의 최대 길이. 보통 토큰 수로 나타내요.