LLM의 유해 의도, 레이어별 변화 추적 기술 개발
Harmfulness Propagation Dynamics: Layer-wise Trajectories of Adversarial Intent in Large Language Models
arXiv대규모 언어 모델(LLM)의 유해한 의도는 특정 레이어에서 갑자기 나타나기보다, 트랜스포머 깊이에 따라 점진적으로 변화하는 '유해성 전파 역학'을 보인다는 것을 발견했습니다.
- 연구진은 이 패턴을 분석하는 경량 모델 $ ext{hERALD}$를 개발하여, 레이어별 활성화의 기울기나 곡률 등 7가지 특징을 추출해 유해성을 판별하며 기존 방어 모델보다 높은 성능을 기록했습니다.
- 이 기술은 단순히 '유해하다/안 하다'를 판단하는 것을 넘어, 유해성이 시스템 내에서 '언제', 그리고 '어떤 경로로' 발생하는지 기계가 읽을 수 있는 감사 기록을 제공한다는 점에서 의미가 큽니다.
- $ ext{hERALD}$는 계산 비용이 매우 낮고(낮은 FLOPs), 레이어별 유해성 방향 학습 자체가 무작위 분할에도 안정적임을 입증하여 높은 신뢰도를 확보했습니다.
연구진은 (LLM)에서 발생하는 '유해성 전파 역학(Harmfulness Propagation Dynamics, HPD)'을 식별했습니다. 이 연구에 따르면, 유해한 의 경우 마지막 은닉 상태를 학습된 유해 방향으로 투영했을 때 깊이에 따라 단조 증가하는 경향을 보입니다. 반면, 무해한 프롬프트는 평탄하거나 진동하는 패턴을 유지합니다. 이는 유해 의도가 표면적인 형태가 아닌, 모델의 깊이를 거치며 점진적으로 해소되는 의미적 속성임을 시사하며, 단일 레이어 스냅샷보다 '궤적 모양'이 더 많은 정보를 제공함을 보여줍니다.
이러한 패턴을 분석하기 위해 $ ext{hERALD}$ (Harmful Encoding Recognition via Activation Layer Dynamics)라는 경량 입력 조정기가 개발되었습니다. 이 모델은 교차 레이어 투영 시퀀스에서 기울기, 곡률, 단조성 등 7가지 특징 기록을 추출하고 이를 288개 의 MLP로 분류합니다. $ ext{hERALD}$는 추론 과정에서 $2.6 imes 10^{-6}$의 프리필 FLOPs만을 추가하며, 레이어별 유해성 방향 학습 자체가 무작위 분할에서도 안정성을 유지하는 것이 입증되었습니다.
실험 결과, $ ext{hERALD}$는 8가지 프롬프트-유해성 와 4개 모델 패밀리에서 평균 F1 점수 $89.3$을 달성하며 기존의 가드 모델들을 능가했습니다. 특히 이 기술은 단순히 유해 여부를 판단하는 것을 넘어, 시스템 내에서 유해성이 '언제', 그리고 '어떤 경로로' 발생하는지를 기계가 읽을 수 있는 감사 기록(audit records) 형태로 제공한다는 점에서 해석 가능성 측면의 우위를 가집니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.