도구 호출 오류를 계약 기반으로 수정하는 ContractRL 프로토콜
ContractRL: Shielded Group-Relative Policy Optimization for Auditable Tool-Call Repair
연구진은 구조화된 도구 호출(Tool Call)이 실패했을 때 전체를 재구성하는 대신, 계약 제약을 활용하여 오류가 발생한 부분만 국소적으로 수정하는 프로토콜인 ContractRL을 개발했습니다.
이 기술은 인공지능 시스템이 외부 도구를 사용할 때 발생하는 오류를 빠르고 투명하게 수정할 수 있게 하여, AI 상호작용의 신뢰성과 감사 가능성을 높여줘요.
- ContractRL은 오류 수정 과정에서 높은 의미적 성공률(0.9375)을 달성했으며, 기존 방식 대비 생성 토큰 수를 획기적으로 줄여 효율성과 성능을 동시에 입증했습니다.
- 이 기술은 인공지능 시스템이 외부 도구를 사용할 때 발생하는 오류를 빠르고 투명하게 수정할 수 있게 하여, AI 상호작용의 신뢰성과 감사 가능성(Auditability)을 높이는 데 중요합니다.
- 연구진은 적대적 환경 및 다중 턴 평가를 통해 현재 남아있는 실패 모드를 분석했으며, 이는 향후 AI 모델이 해결해야 할 핵심적인 개선 과제를 제시합니다.
연구진은 구조화된 도구 호출(Tool Call)이 실패했을 때 전체 객체를 재구성하는 대신, 계약 제약 조건을 활용하여 오류가 발생한 부분만 국소적으로 수정하는 새로운 프로토콜인 ContractRL을 개발했습니다. 이 방식은 검증자 안내 JSON 복구 과정을 유한 결정 과정으로 모델링하며, 각 단계에서 정책은 후보 값, 타입 검증 피드백, JSON Pointer, 불변의 복구 기록 등을 관찰합니다. 또한 계약 기반 액션 마스크가 잘못되거나 금지된 RFC-6902 작업을 필터링하여 전이(transition)를 수행합니다.
ContractRL은 패치, 재시도, 또는 포기 결정에 대해 계약 제약 그룹 상대 목표(group-relative objective)를 지정했습니다. 192개 케이스와 다섯 개의 시드를 대상으로 한 테스트에서 ContractRL은 생성 34.4개를 사용하여 0.9362의 의미적 성공률을 달성했습니다. 이는 기존의 Patch-SFT 방식(0.9076, 44.9 토큰)이나 전체 재구성 방식(0.9148, 137.2 토큰)보다 높은 효율성과 성능을 보였습니다.
정책 최적화를 통해 ContractRL은 의미적 성공률을 0.9375까지 개선했습니다. 별도의 세 시드 쌍 비교 평가에서는 Patch-SFT 대비 +0.0396의 의미적 차이를 나타냈습니다. 연구진은 이러한 성능 향상이 국소적인 수정 덕분임을 밝히며, 적대적 환경 및 다중 턴 평가를 통해 남아있는 실패 모드를 분석했습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
기존 방식과 달리 오류를 어떻게 수정하나요?
구조화된 도구 호출이 실패했을 때 전체 객체를 재구성하는 대신, 계약 제약 조건을 활용하여 오류가 발생한 부분만 국소적으로 수정해요. 이 방식은 검증자 안내 JSON 복구 과정을 유한 결정 과정으로 모델링하며, 각 단계에서 후보 값이나 타입 검증 피드백 등을 관찰합니다.
성능과 효율성 측면에서 어떤 장점이 있나요?
ContractRL은 생성 토큰을 34.4개 사용하여 0.9362의 의미적 성공률을 달성했어요. 이는 기존의 Patch-SFT 방식(44.9 토큰)이나 전체 재구성 방식(137.2 토큰)보다 높은 효율성과 성능을 보여주었어요.
현재 기술의 개선 과제는 무엇인가요?
연구진은 적대적 환경 및 다중 턴 평가를 통해 남아있는 실패 모드를 분석했어요. 이 분석 결과는 향후 AI 모델이 해결해야 할 핵심적인 개선 과제를 제시합니다.