AI 에이전트 연구
메타 뮤즈 에이전트 부하 테스트: 동시 생성 시 시스템 안정성 분석
I stress-tested Meta Muse until its agent control plane started timing out
Hacker News개인 AI 에이전트 'Meta Muse'를 대상으로 한 스트레스 테스트에서, 다수의 에이전트를 동시에 생성하는 과정에 시스템 안정성 문제가 확인되었습니다.
세 줄 요약
- 특히 120개 동시 에이전트 요청 시 72.5%에 달하는 높은 실패율을 기록했으며, 이는 PostgreSQL DB에서 발생하는 '잠금 시간 초과' 오류와 연관됩니다.
- 이는 AI 에이전트가 복잡한 다중 작업을 수행할 때, 사용자 경험(UI)을 넘어 백엔드 인프라의 안정성이 핵심 병목 지점이 될 수 있음을 시사합니다.
- 본 테스트는 제한적 접근 권한을 이용한 블랙박스 분석이므로, 오류의 정확한 원인(특정 쿼리 등)은 밝혀내지 못했으며, 수치는 관찰된 현상일 뿐 절대적인 성능 한계로 해석해서는 안 됩니다.
Meta Muse는 사용자를 대신하여 작업을 수행하도록 설계된 개인 로, 전용 VM에서 구동됩니다. 본 연구는 이 에이전트의 런타임 동작을 블랙박스 방식으로 조사했으며, `subagent.spawn`과 같은 인터페이스 호출 및 런타임이 PostgreSQL 데이터베이스에 남긴 상태 기록(agent registry, spawn ledger 등)을 분석하는 데 초점을 맞췄습니다.
실험은 에이전트 생성 요청을 한 번의 시점에 집중적으로 보내는 버스트 스타일 테스트를 포함했습니다. 특히 120개의 동시 에이전트를 요청한 BURST-120 테스트에서는 총 87건의 실패가 발생하여 실패율이 72.5%에 달했으며, 이 과정에서 관찰된 최대 동시 접속 수는 33개였습니다.
모든 실패 호출은 동일하게 'PostgreSQL 오류: 잠금 시간 초과(lock timeout)'를 반환했습니다. 본 분석은 에이전트 레지스트리 등 런타임이 기록한 상태 데이터를 기반으로 재구성되었으나, 특정 잠금 객체, 테이블, 또는 트랜잭션의 정확한 원인을 식별하는 데는 한계가 있었습니다.
용어 풀이
- AI 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.