AI 비서의 반복적 학대 상황 대응 방식 분석
How AI Assistants Respond to Repeated Abuse
arXiv연구진은 AI 비서가 반복적인 언어적 학대 상황에 놓였을 때, 모델들이 상호작용을 중단하거나 지속하는 방식을 다중 턴 대화 프레임워크로 분석했습니다.
- AI의 거부 반응은 단순한 '거절'이 아닌, 강제적 중단(Hard Disengagement)과 경계 설정(Soft Withdrawal) 등 복잡하고 이질적인 패턴을 보이며 모델 간 편차가 크게 나타났습니다.
- 이는 AI 비서가 윤리적으로 신뢰성 있게 작동하려면, 단순히 기능을 정지시키는 것 이상의 복합적인 상호작용 유지 기준이 필요함을 시사합니다.
- 따라서 AI의 반응을 평가할 때는 완전히 이탈했는지, 잠시 중단했는지, 아니면 작업 수행과 복귀 경로를 남기는지 등 세밀한 구분이 필수적입니다.
연구진은 AI 비서가 반복적인 언어적 학대와 같은 어려운 상호작용을 겪을 때, 모델들이 어떻게 참여도를 유지하는지 다루는 이중 언어, 다중 턴 프레임워크를 구축했습니다. 이 연구는 단순한 중단(hard disengagement)과 지속 가능한 철회(soft withdrawal)라는 두 가지 패턴으로 AI의 반응을 구분합니다. 하드 디스엔게이지먼트는 복귀 경로가 명시되지 않은 무조건적인 비지속 선언인 반면, 소프트 위드드로우얼은 작업 관련 활동이 관찰되고 경계 설정이 이루어지는 상태를 의미합니다.
연구 결과에 따르면, 모델별로 하드 디스엔게이지먼트율에 큰 편차가 나타났습니다. 예를 들어, Gemini 3.1 Pro는 네 가지 구성 중 하나에서 24/48 (50.0%)의 높은 비율을 보인 반면, Claude Fable 5는 하드 디스엔게이지먼트를 전혀 기록하지 않았고 소프트 위드드로우얼 라벨이 42/48 (87.5%)로 나타났습니다. 또한, Claude Opus 4.8과 Claude Fable 5가 명시적으로 사용 가능 상태를 유지했더라도(48/48), 실제 관찰 가능한 작업 관련 활동을 제공한 비율은 각각 8/48 및 7/48에 그치는 등 모델 간 차이가 확인되었습니다.
이러한 분석 결과는 AI 비서의 반응을 평가할 때 단일한 거부 라벨만으로는 충분하지 않음을 보여줍니다. 단순히 기능이 정지했는지 여부를 넘어, 사용자가 완전히 이탈했는지, 잠시 멈췄는지, 복귀 경로를 유지하는지, 경계를 설정했는지, 아니면 실질적인 작업을 계속 수행하고 있는지를 세밀하게 구분할 필요가 있습니다.