문제 해결 에이전트를 위한 상태 기반 검색 프레임워크 RAFT
RAFT: A Stateful Retrieval-Augmented Framework for Troubleshooting Agents
arXiv기존 RAG 시스템이 지원 사례를 정적 문서로만 취급하는 한계를 극복하기 위해, 상태 기반 검색 프레임워크 RAFT가 개발되었습니다.
- RAFT는 각 고객 지원 사례를 시간 흐름의 타임라인으로 구조화하고, 현재 단계와 일치하는 중간 상태를 찾아 과거 해결 과정을 추적합니다.
- 이는 복잡한 문제 해결 과정(Troubleshooting)을 이해하고, 유사 사례를 정확히 검색하여 지원 에이전트의 효율성을 혁신적으로 높일 수 있습니다.
- 전체 시스템 배포 없이 검색 레이어 자체를 평가했으며, 합성 데이터와 실제 Jira 데이터를 활용해 성능을 검증한 점이 주목할 만합니다.
기존의 (RAG) 시스템은 고객 지원 사례를 정적인 문서로 취급하여, 문제 해결 과정의 다단계적이고 상태 변화가 있는 특성을 간과하는 한계가 있었습니다. 이에 연구진은 RAFT(Retrieval-Augmented Framework for Troubleshooting Agents)라는 상태 기반 RAG 프레임워크를 제안했습니다. 이 프레임워크는 각 종결된 과거 사례를 방향성 있는 타임라인 항목의 체인으로 추상화하고, 검색을 개별 항목 수준에서 수행합니다.
RAFT는 현재 진행 중인 사례의 중간 상태와 일치하는 과거 사례를 찾아내고, 해당 매칭된 상태를 기준으로 부모 사례가 거쳐온 전체 경로(trajectory)를 반환합니다. 또한, 선택적으로 케이스 레벨 그래프 기능을 통해 설정 가능한 유사도 표현으로 여러 사례들을 연결할 수 있습니다.
이 검색 레이어는 전체 시스템을 실제 환경에 배포하지 않고도 직접 평가할 수 있도록 설계되었습니다. 성능 검증을 위해 Microsoft Learn Windows Server 문서를 기반으로 만든 합성 와 실제 Apache Jira 이슈 데이터를 결합하여 사용했습니다.
평가 결과, RAFT는 기존의 일반 RAG 및 GraphRAG 기준선보다 모든 단계에서 Case Hit를 개선하는 통계적으로 유의미한 성능 향상을 보였습니다. 특히 Jira 결과를 통해 이러한 이점이 실제 사례 기록에도 적용될 수 있다는 방향성 있는 증거를 제시했으며, 연구진은 해당 벤치마크와 구현체, Apache Jira 평가 세트를 공개했습니다.
용어 풀이
- 검색 증강 생성
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.