NAQD-Env: 언어 에이전트의 선택적 철회 능력 평가 벤치마크
NAQD Env: A benchmark for selective withdrawal in language agents
언어 에이전트가 증거 변화나 권한 박탈 등 외부 조건 변화에 대응하여 계획을 수정하는 능력을 평가하기 위해 'NAQD-Env'라는 합성 환경이 개발되었습니다.
언어 에이전트가 외부 조건 변화에 대응하여 계획을 수정하고 필요한 부분만 선택적으로 작업을 중단했다가 재개하는 능력이 AI의 신뢰성을 평가하는 핵심 요소로 부상하고 있어요.
- 실제 테스트 결과, 현존 모델들은 영향을 받는 부분만 선택적으로 중단하고 작업을 보존하며 재개하는 '선택적 철회(Selective Withdrawal)' 능력이 매우 미흡한 것으로 나타났습니다.
- 이는 AI 에이전트의 신뢰성을 평가할 때, 단순히 기능 수행을 넘어 '선택적 철회'를 독립적인 핵심 구성 요소로 반드시 다루어야 함을 시사합니다.
- 다만, 이 환경은 구조화된 입력 기반의 정책 적용 능력을 측정하는 것이므로 실제 세계에서의 안전성이나 출처 검증 능력까지 보장하지는 않습니다.
언어 는 증거 변화, 권한 박탈 또는 중단 지시가 발생했을 때 계획된 행동을 수정해야 합니다. NAQD-Env는 이러한 상황에서 '선택적 철회(selective withdrawal)' 능력을 평가하기 위해 개발된 합성 환경입니다. 이 환경은 명시적인 증거, 승인, 제약 의존성을 기반으로 에이전트의 결정 과정을 평가하며, 정책 합의도, 작업 가치, 철회 및 재개 등의 지표를 측정합니다.
개발진은 세 가지 오픈 명령어 조정 모델을 350개의 동결된 시나리오에서 테스트한 결과, 전반적인 성능이 미흡함을 확인했습니다. 보고된 조건 하에서 철회 회상률(withdrawal recall)은 최대 0.06에 그쳤으며, 적격한 기회가 주어졌음에도 유효하게 작업을 재개하는 사례는 관찰되지 않았습니다.
모델 비교 결과, Qwen2.5-7B가 Qwen2.5-3B 및 Llama-3.1-8B보다 안전하지 않은 시도(unsafe-attempt episodes)는 적었으나, 유용한 작업 완료도가 낮고 영향을 받지 않는 행동을 정확하게 보존하는 능력은 떨어지는 것으로 나타났습니다. 이 환경은 구조화된 입력 기반의 정책 적용 능력을 측정하며, 실제 세계에서의 격리나 출처 검증 능력까지는 확립하지 않습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
언어 에이전트가 갖춰야 할 '선택적 철회' 능력은 무엇인가요?
증거 변화나 권한 박탈 같은 외부 조건 변화가 생겼을 때, 원래 계획된 행동 전체를 멈추는 것이 아니라 영향을 받는 부분만 선택적으로 중단하고 나머지 작업을 보존하며 재개하는 능력을 말해요.
테스트 결과, 현존하는 언어 에이전트들의 성능은 어땠나요?
세 가지 오픈 가중치 명령어 조정 모델을 테스트한 결과, 전반적인 성능이 미흡했어요. 특히 철회 회상률이 최대 0.06에 그쳤고, 적절한 기회가 주어져도 작업을 유효하게 재개하는 사례는 관찰되지 않았어요.
NAQD-Env가 측정할 수 없는 능력이나 한계점은 무엇인가요?
이 환경은 구조화된 입력 기반의 정책 적용 능력을 측정하는 것이기 때문에, 실제 세계에서의 안전성이나 출처 검증 능력까지는 보장하지 않아요.