LLM 안전성 평가, 주제 전체가 아닌 경계 인식으로

기존의 LLM 안전장치는 특정 주제 전체를 일괄적으로 차단하는 방식이라 비실용적이라는 문제가 제기됩니다. 실제 배포 환경에서는 하나의 모델이 일반 비서, 교육 제품 등 다양한 용도로 사용되므로, 같은 주제 내에서도 해로운 하위 집합(subset)만 거부하고 나머지 정상적인 내용은 답변할 수 있어야 합니다. 본 연구는 이러한 '경계 인식' 설정을 통해, 전체 주제를 차단하는 대신 특정 정책과 충돌하는 유해한 부분만을 식별하여 모델을 훈련시키는 방법을 제시합니다.

안전성 확보 과정에서 발생하는 데이터의 누락(coverage gap)이나 무해하지만 위험하게 보이는 문맥에 대한 오답 거부(downside reactions) 문제를 해결하기 위해 여러 개선책이 적용되었습니다. 특히, 유해한 질문과 정상적인 질문 쌍을 함께 측정하는 '보류된 경계 쌍(held-out boundary pairs)'을 활용하여 모델의 행동 양식을 정밀하게 측정합니다. 이 과정에서 반복 시도 전략 등을 통해 초기 데이터 누락률 19.88%를 0.20% 수준으로 낮추는 등의 개선이 이루어졌습니다.

모델의 안전성을 평가할 때 단순히 유해한 내용에 대한 거부율만 높다고 해서 더 안전하다고 판단해서는 안 됩니다. 높은 거부율은 경계 근처의 정상적인 문맥까지 오답으로 차단하는 '과잉 거부(over-refusal)' 문제를 야기하기 때문입니다. 따라서, 본 연구에서는 무해한 질문을 얼마나 정확하게 답변하는지 여부를 반드시 함께 측정해야 함을 강조합니다. 실제로 보류된 경계 쌍에 대한 무해한 측면의 데이터를 추가했을 때, 과잉 거부는 32.94%에서 4.16%로 크게 감소했으나, 유해한 내용에 대한 거부율은 91.88%에서 87.72%로 소폭 하락하는 결과를 보였습니다.