웹 에이전트용 사용자 맞춤형 기능 자동 선택 프레임워크 'AutoTailor'
AutoTailor: Automatic, User-Aligned Capability Selection and Adaptation for Web Agents
arXiv웹 에이전트가 방대한 도구 사용으로 비효율적이라는 문제를 해결하기 위해, 사용자 요구에 맞춰 필요한 기능만 선별하는 메타-에이전틱 프레임워크 'AutoTailor'를 제시했습니다.
- AutoTailor는 초기 방대한 API 세트를 오프라인 필터링으로 압축하고, 실제 사용 과정에서 부족한 기능을 동적으로 재선택하여 최적의 핵심 기능 집합을 구축합니다.
- 테스트 결과, 기존 방식 대비 정확도를 높이는 동시에 전체 요청 토큰 비용을 57.8% 절감하고 처리 지연 시간을 29.4% 단축하는 높은 효율성을 입증했습니다.
- 이 기술은 단순히 기능을 줄이는 것을 넘어, 사용자가 실제로 필요로 하는 핵심 기능에 초점을 맞춰 API를 관리하는 '사용자 정렬' 접근법의 중요성을 보여줍니다.
웹 는 재사용 가능한 도구를 활용하여 브라우저 상호작용의 비용과 지연 시간을 줄일 수 있지만, 자동으로 발견된 방대한 도구 모음은 중복되거나 사용자 요구와 맞지 않는 경우가 많습니다. 이에 메타-에이전틱 프레임워크인 AutoTailor가 제시되었습니다. 이 프레임워크는 웹 궤적(web trajectories)을 화된 브라우저 자동화 프로그램으로 변환하여, 오프라인 단계에서 품질 필터(Quality Filter)와 사용 가능성 필터(Usage Likelihood Filter)를 적용합니다. 이를 통해 부적절하거나 중복되는 를 제거하고, 의미론적 커버리지를 유지하면서도 광범위하게 유용한 기능들을 우선순위화하여 간결한 API 세트를 구축합니다.
AutoTailor는 온라인 단계에서도 지속적인 개선을 수행합니다. 동적 재선택(Dynamic Reselection) 기능을 통해 작업 결과를 모니터링하고 API 사용량을 분석하며, 반복적으로 발생하는 커버리지 격차를 식별하여 관련 후보군을 추가하고 영구적으로 사용되지 않는 기능은 제거합니다. 106개의 WebArena Postmill 태스크로 평가한 결과, 오프라인 필터링만으로 초기 1,283개 API가 87개로 줄어들었으며, 동적 재선택 과정을 거치면 최종적으로 33개의 API 세트를 얻을 수 있었습니다.
이러한 사용자 정렬(user-aligned) 기능 관리의 조합은 높은 효율성을 입증했습니다. ReAct 추론 및 행동(ReAct) 폴백과 함께 사용했을 때, AutoTailor는 정확도 90.6%를 달성하여 ReAct 단독 사용 시의 87.5%보다 높았습니다. 또한 평균 총 요청 비용을 57.8% 절감하고 지연 시간을 29.4% 줄였습니다. 특히 ReAct 없이만 사용할 경우에도 정확도 60.1%를 달성하며, 요청 토큰 사용량을 94.9%까지 줄이는 등 효율적인 웹 에이전트 구현에 기여함을 보여주었습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.