AI 에이전트 연구
Automata from Agent Traces: Failure and Next-Step Prediction
ARarXiv
LLM 기반 에이전트의 행동 구조가 불투명하다는 문제를 해결하기 위해, 전체 트레이스 코퍼스를 단일하고 간결한 유한 상태 기계(FSM)로 압축하는 방법을 제시했다.
세 줄 요약
- 제안된 FSM은 12개 공개 데이터셋에서 7~43개의 상태를 가지며, 밀리초 단위로 구축되고 검증 데이터에 대해 0.997 이상의 적합도를 보였다.
- FSM의 상태 컨텍스트는 모든 정답 매칭 데이터셋에서 Agent Workflow Memory보다 다음 단계 예측 성능이 우수하며, 실패 예측에서는 AUROC 최대 0.94를 달성했다.
- 이 구조적 원시 요소는 LLM에 구애받지 않는(model-agnostic) 안전 감사 및 런타임 모니터링을 위한 기반을 제공한다.
LLM 기반 에이전트의 행동 구조가 불투명하다는 문제를 해결하기 위해, 전체 트레이스 코퍼스를 단일하고 간결한 유한 상태 기계(FSM)로 압축하는 방법을 제시했다.