오타가 탐지 시스템을 무력화하는 방식과 새로운 방어 기법
Latent Undertow: How Ordinary Typos Break Probes
arXivLLM은 일반적인 오타에 강하지만, 악성 프롬프트를 탐지하는 내부 상태 분석(probe) 방식은 사소한 오타에도 성능이 급격히 저하되는 취약점이 발견되었습니다.
- 연구진은 사용자 메시지에 고정 접미사(KV-cache fork)를 추가하여, 오타 발생 지점 이후의 토큰 변화까지 읽어냄으로써 탐지 성능 저하 문제를 95%까지 해결했습니다.
- 이는 AI 보안 시스템이 실제 사용 환경에서 발생하는 자연스러운 오타나 변형에도 강건해야 함을 보여주며, LLM 안전성 연구에 중요한 기술적 기준점을 제시합니다.
- 제안된 방식은 오타 발생 이후의 공간적 변화를 활용하는 것이 핵심이며, 기존 모델 재훈련 기반 방어 기법보다 월등히 높은 성능 개선 효과를 입증했습니다.
(LLM)은 일반적인 오타나 구두점 누락 같은 타이핑 변형에 대해 사용자 의도와 응답이 크게 변하지 않는 등 유연하게 처리합니다. 그러나 악성 를 탐지하기 위해 모델의 내부 상태를 읽는 '프로브' 방식은 다른 양상을 보입니다. 사소한 오타가 발생하면, 프로브는 해당 에서 리드아웃 벡터가 43~56만큼 회전하며, 이후 약 10개 토큰 내에 15% 이하로 급격히 감쇠하는 현상이 관찰되었습니다.
연구 결과에 따르면, 일반적인 오타를 약 3개 쌓을 경우 단일 위치 프롬프트 주입 프로브의 TPR@FPR$=1% 성능이 12.0pp까지 떨어지는 것으로 나타났습니다. 다중 위치 집계(Multi-position aggregation) 방식은 국지적 교란(-0.5 loss 이하)에는 효과를 보이지만, 분산된 교란에 대해서는 여전히 약 3.8pp의 성능 저하가 발생했습니다.
이러한 문제를 해결하기 위해 연구진은 'KV-cache fork'라는 방식을 제안했습니다. 이는 사용자 메시지 뒤에 짧고 고정된 접미사를 추가하여, 프로브가 교란 지점 이후 몇 개의 다운스트림 토큰을 읽을 수 있게 합니다. 이 방법은 탐지 성능 저하 문제를 95%까지 해소하며 잔여 오차는 -0.6pp로 나타났습니다. 이는 기존의 교란 증강 학습 방식(-3.7pp)보다 월등히 높은 개선 효과를 보였으며, Llama-3.1-8B, Qwen3-8B, Gemma-4-E4B 등 여러 모델에서 재현되었습니다.
용어 풀이
- 거대 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.