PlanetScale의 Neki, 대규모 Postgres 수평 확장 기술
Neki by PlanetScale
Hacker NewsPlanetScale의 Neki는 단일 서버의 한계를 넘어 수억 QPS와 페타바이트급 데이터를 처리할 수 있도록 포스트그레스를 샤딩하는 시스템입니다.
- Neki는 각 샤드를 실제 Postgres로 유지하고 라우터 및 제어 평면을 추가하여, 서비스 중단 없이 데이터 재분배 및 스키마 변경이 가능한 수평 확장을 구현합니다.
- 대규모 트래픽 증가나 데이터 성장에 대비해 애플리케이션 코드 수정이나 다운타임 없이 DB 용량을 유연하게 확장할 수 있다는 것이 핵심 강점입니다.
- 샤드 간의 트랜잭션은 Neki가 커밋을 조정하여 원자성을 보장하며, 복잡한 데이터 이동 및 스키마 변경도 명시적 워크플로우로 안전하게 처리합니다.
Neki는 PlanetScale이 개발한 샤딩 시스템으로, 단일 서버가 가진 한계를 넘어 수억 QPS와 페타바이트급 데이터 처리를 가능하게 합니다. 이 과정에서 각 샤드는 실제 Postgres로 유지되며, Neki는 라우터, 사이드카, 제어 평면을 추가하여 서비스 중단 없이 데이터를 수평 확장할 수 있도록 지원합니다.
데이터베이스 용량 확장이 필요할 때 애플리케이션 코드 수정이나 다운타임이 발생하지 않습니다. 워크로드가 증가하면 Neki는 새로운 타겟 샤드를 생성하고 복제를 통해 동기화하며, 토폴로지 변경을 거쳐 트래픽을 이동시킵니다. 이를 통해 서비스가 온라인 상태를 유지한 채 데이터 재분배 및 용량 재조정이 가능합니다.
Neki는 분산된 환경에서도 데이터의 무결성을 보장하는 기능을 제공합니다. 샤드 간에 쓰기 작업을 할 때 커밋 과정을 조정하여 변경 사항이 원자적으로 적용되도록 하며, 여러 샤드에 걸친 스키마 변경 역시 좌표화된 워크플로우로 처리할 수 있습니다.
시스템의 안정성과 확장성도 핵심 기능입니다. 각 샤드는 가용 영역 전반에 걸쳐 고가용성 Postgres 클러스터로 운영되어 장애 발생 시 영향이 최소 단위로 격리됩니다. 또한, 기존 서비스 중단 없이 새로운 버전으로 마이그레이션하거나 외부 데이터를 가져오는 등 복잡한 분산 작업을 명시적 워크플로우로 반복 가능하게 만듭니다.