벡터 데이터베이스 turbopuffer, 아키텍처 대대적 개편 예고
RIP, vector database
벡터 데이터베이스 turbopuffer가 핵심 저장 구조를 근본적으로 개편하는 v3 엔진을 도입합니다. 기존의 모든 데이터를 ANN(근사 최근접 이웃) 벡터 인덱스 하나에만 의존하던 방식에서 벗어납니다.
이 변화는 단순한 벡터 검색을 넘어, 속성 필터링이나 전문 검색 등 복합적인 조건을 가진 대규모 쿼리 처리 성능 자체를 혁신하는 것이 핵심이에요.
- 이전의 단일 벡터 주도 아키텍처가 야기했던 데이터 중복 및 쓰기 증폭 문제를 해결하고, 각 검색 유형별로 독립적인 최적화된 구조를 구현합니다.
- 이번 개편은 순수 벡터 검색을 넘어, 속성 필터링이나 전문 검색 등 복합적인 조건을 가진 대규모 쿼리 처리 성능 자체를 혁신하는 것이 핵심입니다.
- 구조 개편의 규모가 크기 때문에 초기에는 성능 하락이 있었으나, 현재는 안정화 및 최적화 작업을 통해 점진적으로 최고 수준의 성능을 확보할 예정입니다.
turbopuffer는 저장소 아키텍처를 근본적으로 변경하는 새로운 엔진인 'turbopuffer v3'을 도입합니다. 기존에는 ANN(근사 최근접 이웃) 벡터 인덱스가 모든 쿼리 계획의 중심이 되는 단일 구조였으나, 이러한 방식은 비-벡터 검색 형태에 대한 최신 기술 수준을 유지하는 데 한계가 있습니다. 특히 저장소 증폭(storage amplification), 쓰기 증폭(write amplification), 그리고 제한된 벡터화 등의 문제로 인해 아키텍처 개편이 필요하게 되었습니다.
turbopuffer는 초기에는 ID와 벡터만으로 구성되었으며, 이후 속성 필터링 및 전문 검색 기능을 추가하며 발전했습니다. 그러나 ANN 주소(ANN address)를 기본 키로 사용하면서 발생하는 문제는 심각합니다. 문서가 여러 개의 벡터를 가질 경우 내용이 각 벡터마다 중복 저장되어야 하며, 단 하나의 벡터만 업데이트해도 해당 문서를 참조하는 모든 속성 인덱스까지 이동해야 하는 쓰기 증폭 현상이 발생하기 때문입니다.
따라서 turbopuffer v3는 ANN 주소에 키를 두지 않는 방식으로 아키텍처의 근본적인 변화를 시도합니다. 이 변경은 매우 큰 규모의 작업이며, 초기에는 기존 프로덕션 버전 대비 성능 저하가 관찰되기도 했습니다. 현재 개발팀은 기초 설계와 정확성에 초점을 맞추고 있으며, 점진적으로 최적화 작업을 진행하며 더 많은 쿼리 계획에서 높은 성능을 목표로 하고 있습니다.
기존 시스템은 어떤 문제점 때문에 개편이 필요했나요?
이전에는 ANN 주소를 기본 키로 사용하면서, 문서가 여러 벡터를 가질 경우 내용이 각 벡터마다 중복 저장되어야 했고, 하나의 벡터만 업데이트해도 관련된 모든 속성 인덱스까지 이동해야 하는 쓰기 증폭 현상이 발생했어요.
turbopuffer v3의 가장 큰 구조적 변화는 무엇인가요?
v3는 ANN 주소에 키를 두지 않는 방식으로 아키텍처의 근본적인 변화를 시도해요. 이 변경은 매우 규모가 크고, 초기에는 성능 저하가 관찰되기도 했지만 현재 최적화 작업을 진행하고 있어요.