일반화된 에이전트 반복: 정책 개선과 자기 개선의 공식 프레임워크
Generalized Agent Iteration: One Formal Framework for Iterative Policy Improvement and Recursive Self-Improvement
arXiv정책 개선(GPI)과 재귀적 자기 개선(RSI)을 하나의 학습 패러다임으로 통합한 '일반화된 에이전트 반복(GAI)' 프레임워크를 제시했습니다.
- GAI는 개선 메커니즘의 포함 여부와 측정 기준의 외부성을 기준으로 시스템 작동 방식을 분류하는 두 가지 핵심 축을 도입합니다.
- 이를 통해 기존에 난립하던 다양한 자율 지능 시스템들을 체계적으로 비교하고, RSI가 가진 문제점을 개별 조건으로 분석할 수 있는 기반을 마련했습니다.
- 본 연구는 고전적인 이론적 관점에서 RSI를 형식화하려는 시도로, 차세대 자율 지능 시스템 설계의 원칙적인 분석 토대를 제공합니다.
본 논문은 재귀적 자기 개선(RSI)을 포함하여, 고전적인 일반화된 정책 반복(GPI)과 RSI를 하나의 학습 패러다임으로 통합한 '일반화된 반복(GAI)'이라는 공식 프레임워크를 제안합니다. GAI는 에이전트를 시스템 내의 수정 가능한 구성 요소로 정의하고, 학습 과정을 에이전트 평가와 에이전트 개선의 순환 과정으로 모델링합니다.
GAI는 두 가지 핵심 축을 통해 다양한 인스턴스를 구분합니다. 첫째, 개선 메커니즘 자체가 에이전트 내부에 포함되어 있는지 여부입니다. 둘째, 시스템이 측정되는 표준(standard)이 외부에서 근거하는지 내부적인지를 결정합니다. 이 두 지표는 GPI와 RSI 사이의 경계를 설정하며, 시스템을 앵커링된(anchored), 목표 표류형(goal drift), 또는 완전한 자기 참조적(fully self-referential)으로 분류하게 합니다.
연구진은 이러한 좌표계를 활용하여 기존에 난립하던 다양한 자율 지능 시스템들을 동일한 두 축 위에 배치할 수 있게 했습니다. 이를 통해 재귀적 자기 개선이 가진 결함점들을 개별적인 조건들로 명확히 분석하는 것이 가능해집니다. 본 연구는 고전적인 이론적 관점에서 RSI를 형식화하려는 시도로, 차세대 자율 지능 시스템 설계에 원칙적인 분석 토대를 제공합니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.