인프라 뉴스
네키 플랫폼, 512개 샤드에서 초당 1억 건 이상 처리량 달성
118M Queries per Second on Neki
Hacker News데이터베이스 플랫폼 Neki가 512개 샤드와 1.22PiB 규모에서 초당 약 1억 1,800만 건의 쿼리 처리량(QPS)을 기록하며 압도적인 성능을 입증했습니다.
세 줄 요약
- 샤드를 늘릴 때마다 전체 처리량이 비례적으로 증가하고 개별 샤드의 속도가 안정적으로 유지되는 뛰어난 확장성을 보여주었습니다.
- 이는 대규모 데이터를 다루는 시스템에서 병목 현상 없이 지속적이고 높은 수준의 읽기 전용 성능을 확보할 수 있음을 의미합니다.
- 다만, 이번 측정은 쓰기 작업이나 복제본 구성 없이 순수하게 읽기 전용 쿼리만을 사용했으며 장애 전환 과정은 포함되지 않은 조건입니다.
Neki의 성능 테스트는 단일 샤드 포인트 선택을 기본으로 했으며, 각 쿼리는 기본 키를 통해 한 행만 가져오는 방식으로 구성되었습니다. 이 워크로드는 쓰기 작업이나 조인, 또는 여러 샤드를 가로지르는 복합 쿼리가 포함되지 않은 읽기 전용 환경이었습니다. 초기 목표는 각 샤드에서 20만 QPS를 유지하는 것이었으며, 이후 클러스터 규모를 확장하며 처리량 증대를 시도했습니다.
테스트는 5개, 50개, 그리고 최종적으로 512개의 샤드로 단계적으로 진행되었습니다. 샤드가 늘어남에 따라 전체 처리량은 비례적으로 증가하는 모습을 보였습니다. 특히 5개에서 50개로 확장했을 때 개별 샤드의 속도는 0.8% 이내로 유지되었으며, 512개 샤드에서도 여유 용량이 확인되었습니다.
최종적으로 512개의 샤드와 1.22 PiB의 데이터 규모에서 총 118,538,803 QPS를 16분 동안 지속했습니다. 이 측정은 복제본이 없는 Primary 전용 샤드를 사용했으며, 워크로드는 읽기 전용 쿼리로만 구성되었고, 측정된 기간 중 장애 전환(fail over) 과정은 포함되지 않은 조건입니다.