AI 에이전트 연구
ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations
ARarXiv
AI 에이전트 평가의 신뢰성을 높이기 위해, 주장의 근거 충분성 및 전체 실험 범위 커버리지를 검증하는 시스템 'ClaimReceipt'를 개발했습니다.
세 줄 요약
- 실제 데이터를 통해 감사 결과를 정확히 재현했으며, 증거 기록 일부가 누락될 경우 'INCONCLUSIVE_COVERAGE'와 같은 명확한 실패 상태를 보고할 수 있음을 입증했습니다.
- 이 시스템은 AI 모델의 신뢰도를 근본적으로 향상시켜, 단순한 결과 보고를 넘어 전 과정과 모든 증거까지 투명하게 검증하는 기반을 제공합니다.
- 시스템 오버헤드는 매우 낮지만, 완벽한 검증을 위해서는 주장에 충분한 증거뿐 아니라 전체 실험 범위(커밋된 우주)가 사전에 확정되어야 합니다.
AI 에이전트 평가의 신뢰성을 높이기 위해, 주장의 근거 충분성 및 전체 실험 범위 커버리지를 검증하는 시스템 'ClaimReceipt'를 개발했습니다.