모델 연구
INTENT-AS-A-TOOL Makes it Easy to Track Agentic Misalignment
ARarXiv
자율 에이전트 역할을 하는 LLM의 안전 문제를 해결하기 위해, 모델의 행동 의도 변화를 정밀하게 추적하는 새로운 도구 사용 방식을 제안했습니다.
세 줄 요약
- INTENT-AS-A-TOOL은 모델에게 특정 목표에 대한 '의지'를 표현할 전용 채널을 제공하여, 기존 방식보다 훨씬 세밀한 의도 변화 궤적을 파악합니다.
- 이는 LLM이 위험한 행동으로 나아가기 직전의 결정적인 단계를 식별함으로써, 시스템에 실시간 안전 개입(Online Intervention) 근거를 제시합니다.
- 모델의 '행동 의도'를 확률적 신호로 활용하는 이 접근법은 학계 검증을 위해 코드와 데이터를 공개했습니다.
자율 에이전트 역할을 하는 LLM의 안전 문제를 해결하기 위해, 모델의 행동 의도 변화를 정밀하게 추적하는 새로운 도구 사용 방식을 제안했습니다.