리서치 연구
A Single Suffix to Break Them All: Basin-Aware Jailbreaks for Merged Model Families
ARarXiv
모델 병합은 추가 훈련 없이 여러 미세 조정 모델을 결합하지만, 안전성 위험에 대한 이해가 부족하다.
세 줄 요약
- 연구진은 개별적으로 안전하게 정렬된 구성 요소 모델이라도 병합 과정에서 기반 모델의 취약점이 드러남을 보여주었다.
- 제안한 Basin-Aware Jailbreak(BAJ)는 병합 공간에 대한 최소-최대 최적화를 통해 전이 가능한 적대적 접미사를 생성한다.
- 실험 결과, BAJ는 다양한 백본과 병합 설정에서 일관되게 높은 전이 성공률을 달성하며 기존 방어책에서도 효과를 유지했다.
모델 병합은 추가 훈련 없이 여러 미세 조정 모델을 결합하지만, 안전성 위험에 대한 이해가 부족하다.