AI 에이전트 연구
AutoFyn: 지속 학습을 위한 에이전트 프레임워크 공개
AutoFyn Technical Report: Non-Parametric Expert Iteration for Long-Horizon Agents
arXivAutoFyn은 전문가 반복(Expert Iteration) 알고리즘을 차용한 에이전트 프레임워크로, 모델 가중치 대신 검증된 보상 신호를 통해 지속적인 상태를 업데이트하며 성능을 개선합니다.
세 줄 요약
- 수학 올림피아드 문제 해결, 데이터 과학 벤치마크 최고 기록 달성, 다수의 실제 취약점 발견 등 다양한 분야에서 높은 효율성을 입증했습니다.
- 이는 복잡하고 장기적인 목표를 가진 AI 에이전트가 모델 재학습 없이도 외부 피드백을 통해 지식을 축적하며 발전할 수 있음을 보여주는 중요한 방법론입니다.
- AutoFyn의 성능은 작업 기반 검증자(verifier)가 제공하는 객관적이고 신뢰성 높은 보상 신호에 크게 의존하므로, 이 검증 과정의 품질이 핵심 요소로 작용합니다.
AutoFyn은 전문가 반복(Expert Iteration) 알고리즘에서 영감을 받은 프레임워크입니다. 이 시스템은 모델 를 업데이트하는 대신, 검증된 보상 신호를 통해 지속적인 상태를 업데이트하여 성능을 개선합니다. 매 라운드는 새로운 모델 세션에서 시작하며, 정보는 영구 메모리 파일이나 보고서 같은 명시적 인터페이스를 통해서만 재도입됩니다.
AutoFyn의 작동 과정은 복잡한 루프 구조를 가집니다. 오케스트레이터가 전문 에이전트들과 함께 다양한 접근 방식을 탐색하고 계획을 수립합니다. 이와 동시에 작업 기반 검증자(verifier)가 작업을 확인하며 객관적인 보상을 제공합니다. 이 보상은 지속적 상태로 추출되어 다음 라운드의 효과적인 정책을 업데이트하는 데 사용됩니다.
이 프레임워크는 여러 분야에서 그 효용성을 입증했습니다. 2026 국제수학올림피아드 문제에 대해서는 제공업체의 코딩 에이전트보다 높은 점수를 기록했으며, Spider 2.0 dbt 에서도 최고 순위를 차지했습니다. 또한 MetaMask, pnpm 등에서 유지 관리자가 확인한 16개의 취약점 권고안을 생성하기도 했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.