심층 검색 에이전트를 위한 PrimeSeeker 프레임워크
PrimeSeeker: Capability-Oriented Supervision for Deep Search Agents
arXivLLM 기반 심층 검색 에이전트가 지역적 정보 검색 능력 부족 문제를 겪자, '잠재 앵커 추론'을 활용한 새로운 프레임워크 PrimeSeeker를 제안했습니다.
기존의 대규모 언어 모델 기반 검색 에이전트는 복잡한 경로를 따라가도록 훈련되어 실제 필요한 국소적인 정보 검색 능력이 부족했어요.
- PrimeSeeker는 웹 기반의 '앵커 구조'를 구축하고 질문과 함께 증거 골격(skeleton)을 생성하여 복잡한 검색 과정을 체계적으로 분해합니다.
- 이 방식은 기존 장기 탐색 시스템보다 적은 도구 호출로도 높은 해결 범위를 보이며, 검색 과정의 효율성과 신뢰도를 크게 높였습니다.
- 핵심은 단순히 긴 경로를 따라가는 것이 아니라, 필요한 정보를 '앵커'로 추론하고 이를 통해 검색 과정을 모듈화하여 성능을 극대화하는 원리입니다.
(LLM) 기반의 검색 는 일반적으로 증거 그래프 확장이나 긴 이동 경로를 통해 난이도를 높인 합성 질문으로 훈련됩니다. 그러나 이러한 전역적 속성들은 실제 검색 과정에서 요구되는 국소적인 정보 검색 능력을 간접적으로만 반영하는 한계가 있습니다.
이러한 불일치를 해결하기 위해 잠재 앵커 추론(latent anchor reasoning)을 도입했습니다. 이 기법은 설명적 사양으로부터 명명되지 않은 검색 앵커를 해결하고, 이를 후속 정보 요구에 전달하여 심층 검색 과정을 결합된 연산의 체인으로 분해합니다. PrimeSeeker는 이를 기반으로 웹 기반의 앵커 구조를 구축하며, 질문과 참조 증거 골격(skeleton)을 공동으로 도출하는 프레임워크입니다.
생성된 증거 골격은 구성 단계에서 지원 증거를 보존하여 전문가 생성을 안내하고, 이후 (RL) 보상을 위한 참조 단계 커버리지를 감사하는 데 재사용됩니다. 연구진은 9,221개의 전문가 궤적을 구축하여 30B 검색 에이전트를 훈련시켰으며, 다섯 가지 심층 검색 에서 강력한 성능을 달성했습니다. 특히 고정 예산 평가에서는 장기 지평 시스템보다 훨씬 적은 도구 호출로 높은 해결 범위를 보여주었습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
PrimeSeeker는 어떻게 복잡한 검색 과정을 분해하나요?
잠재 앵커 추론을 도입하여 설명적 사양으로부터 명명되지 않은 검색 앵커를 해결해요. 이를 통해 심층 검색 과정을 결합된 연산의 체인으로 나누고, 웹 기반의 앵커 구조와 증거 골격을 공동으로 도출합니다.
PrimeSeeker가 기존 시스템보다 나은 점이 있나요?
고정 예산 평가 같은 상황에서 장기 지평 시스템보다 훨씬 적은 도구 호출만으로도 높은 해결 범위를 보여주었어요. 이는 검색 과정의 효율성과 신뢰도를 높여줍니다.