LLM 기반 AI 모델 개발 자동화 시스템 'AIBuildAI-2.5'

자율 에이전트를 이용해 인공지능(AI) 모델을 자동으로 구축하는 방식은 과학 및 공학 분야의 접근성을 높일 수 있습니다. 기존 연구들은 모델 구축 과정을 코드 검색 문제로 보고 트리 탐색 방식으로 해결했지만, 효율성 측면에서 세 가지 약점을 가지고 있었습니다. 첫째, 제한된 예산 내에서 실행 가능한 후보가 적어 몬테카를로 스타일의 탐색 규칙이 노이즈가 많고 소수의 점수에 의존하는 경향이 있습니다. 둘째, 하드웨어 자원 상태를 고려한 스케줄링 전략이 부재하여 학습 효율성이 떨어집니다. 셋째, 모든 에이전트 호출을 단일 강력한 모델에 의존하면서 추론 비용이 증가한다는 문제가 있었습니다.

AIBuildAI-2.5는 이러한 세 가지 문제를 해결하기 위해 개발된 시스템입니다. 이 시스템은 LLM 에이전트를 활용하여 트리 탐색을 수행하며, 후보별로 기대 개선도, 근거(grounding), 실현 가능성 등을 평가하는 심사 과정과 검색 상태를 기반으로 후보군을 순위화하는 선택자(selector)를 도입했습니다. 또한, 현재 하드웨어 자원 상태를 고려한 스케줄러와 라우터를 포함하여, 낮은 비용의 LLM은 덜 까다로운 작업에 할당하고 가장 강력한 LLM은 모델 구축 워크플로우에서 가장 어려운 서브 태스크에만 사용하도록 설계되었습니다.

실험 결과, AIBuildAI-2.5는 MLE-Bench에서 73.3%의 메달률을 기록하며 최고 성능을 달성했습니다. 또한 AIRS-Bench의 여섯 가지 자율 AI 연구 과제에서도 강력한 기준 모델보다 우수한 결과를 입증했습니다.