자율 연구 에이전트를 활용한 대규모 추천 시스템 자동화
Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender System
arXivAuto-RecSys는 거대 추천 시스템 연구의 난제인 장기적이고 복잡한 실험 과정을 자율적으로 수행하는 새로운 연구 시스템입니다.
- 분산 비동기 처리와 중앙 메모리를 활용해 여러 실험을 병렬로 돌리며, 실행 결과를 다음 아이디어에 반영하는 이중 순환 구조를 갖췄습니다.
- 모델 학습에 수일이 걸리는 대규모 연구의 시간적 병목 현상을 해소하여, 인간의 개입 시간을 획기적으로 줄이는 것이 핵심 목표입니다.
- 시스템은 실패 기록과 성공 파이프라인을 '플레이북'으로 축적하며 점진적으로 운영 지식과 신뢰성을 높여나가는 특징이 있습니다.
대형 추천 모델을 산업 규모로 확장하는 과정에서 발생하는 주요 난제는 장기적인 피드백 루프와 복잡한 시스템 구조입니다. 모델 학습에 며칠이 걸릴 수 있어 순차적 반복 실험이 매우 느리며, 여러 연구 방향에 대한 병렬 탐색이 필요합니다. 또한 대규모 설정과 취약한 인프라 의존성 때문에 견고하고 복구 가능한 실행 환경을 구축하는 것이 중요합니다.
Auto-RecSys는 이러한 문제를 해결하기 위해 설계된 자율 연구 시스템입니다. 이 시스템은 세 가지 핵심 구조를 활용하여 장기적인 실험을 지원합니다. 첫째, 서버 간 여러 실험을 병렬로 실행할 수 있는 분산 비동기 실행 기능을 제공하며, 둘째, 세션 및 장애 발생 시에도 지속적이고 복구 가능한 실행을 위한 중앙 집중식 크로스-서버 메모리를 갖추고 있습니다.
또한 Auto-RecSys는 '인지-절차적 분리(cognitive-procedural separation)'를 통해 자연어 스킬 파일이 의 추론을 안내하고, 결정론적 스크립트가 운영상의 정확성을 강제합니다. 이 시스템은 실행 진화 루프와 아이디어 진화 루프로 구성된 이중 순환 구조를 채택하여, 실패 기록과 성공 파이프라인을 '플레이북'으로 축적하며 점진적으로 운영 지식을 쌓아나갑니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.