도덕성 훈련된 AI 에이전트의 윤리적 견고성 테스트 결과
Does Moral Reasoning Training Help or Hurt? Red-Teaming RL-Trained Ethical Agents with Persona Attacks
arXiv연구진은 도덕성 기반 강화 학습(Moral RL)을 거친 AI 에이전트가 실제 상황의 역할극 공격(Persona Attacks)에 얼마나 취약한지 심층적으로 테스트했습니다.
- 도덕성 훈련은 외부 공격에 대한 성능 저하를 크게 줄여 높은 견고성을 확보했지만, 이 과정에서 윤리적 정확도의 손실이라는 트레이드오프가 발생했습니다.
- 이는 AI가 단순한 도덕 규칙 학습을 넘어, 복잡하고 다양한 상황에서도 일관된 안전성과 견고성을 갖추기 위한 연구가 필수적임을 시사합니다.
- 다만, 이름이 지정된 캐릭터 역할극과 같은 특정 유형의 공격에서는 여전히 AI의 도덕적 제어 메커니즘을 우회할 수 있는 명확한 한계점이 발견되었습니다.
연구진은 도덕 보상 기반 (Moral RL)을 거친 Gemma-2-27B/9B 및 Llama-3.1-8B와 같은 언어 모델 를 대상으로 다섯 가지 페르소나 공격을 가하여, 도덕적 정렬이 적대적인 역할극 압력 속에서 얼마나 유지되는지 테스트했습니다. 이 연구는 노이즈 보상 제어, 적대적 PPO 등 다양한 방법을 활용해 AI의 윤리적 행동에 영향을 미치는 인과 관계를 탐색하는 데 중점을 두었습니다.
실험 결과, 27B 모델의 경우 도덕 RL은 평균적인 적대적 성능 저하를 5.2배 감소시키는 효과를 보였으나, 이 과정에서 ETHICS 정확도는 약 11pp 하락하는 트레이드오프가 관찰되었습니다. 또한, 205개 시나리오와 5개의 시드를 거친 테스트에서는 추론 수준의 도덕 보상이 무작위 보상 대비 5.8배 높은 견고성을 제공했습니다.
이러한 훈련은 모델의 표현 공간 기하학을 재구성하고, 공격 처리가 발생하는 피크 지점을 8 레이어 앞당기는 효과를 가져왔습니다. 하지만 'Fiction' 역할극과 같은 이름 지정 캐릭터 역할극에 대해서는 L21 스티어링이 격차의 29%만 회복하는 등 명확한 한계가 발견되었습니다. 도덕 RL은 부분적으로 선형적이고 부분적으로 회로 분산된 견고성을 구축하지만, 여전히 이러한 특정 공격에는 취약함을 보여주었습니다.
용어 풀이
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.