분류기 방어 전략: 적대적 공격에 대한 정보 설계 연구
Information Design Against Gaming and Learning Adversaries
arXiv분류기가 추론 과정에서 답변을 유보(Abstain)할 때, 어떤 방어 전략이 최적인지 적대자 유형에 따라 분석한 정보 설계 연구입니다.
- 답변 유보 전략은 '고정 비율'과 '경계 근처' 두 가지가 있으며, 이 둘은 상호 대체 불가능하며 필요한 질의 횟수(쿼리 복잡도)에 큰 차이가 있습니다.
- 본 연구는 정보 시스템의 견고성을 높이는 이론적 기반을 제시하며, 실제 분류기 경계 추출 시 기존 대비 최대 200배 적은 질의로 높은 성능을 입증했습니다.
- 최적의 방어 전략을 설계하려면, 공격자가 분류기를 이미 알고 있는지(게임형) 혹은 모르는지(학습형) 등 위협 모델을 정확히 파악하는 것이 필수입니다.
본 연구는 이진 분류기를 사용하는 주체가 답변을 유보(abstain)할 때, 어떤 방어 전략이 최적인지 분석합니다. 최적의 선택은 적대자의 유형에 따라 달라집니다. 이미 분류기를 알고 있는 '게임형 적대자'에게는 경계 근처에서 유보하는 것이 가장 효과적이며, 반면 분류기를 모르는 '학습형 적대자'를 상대로는 경계 근처에서의 유보는 오히려 이진 탐색을 유도하여 취약점을 노출할 수 있습니다.
연구진은 두 가지 자연스러운 방어 전략인 '고정 비율로 유보'와 '경계 근처에서 유보'의 이론적 차이를 분석했습니다. 이 두 방법은 상호 대체 불가능하며, 의사결정 경계를 오차 $\epsilon$까지 재구성하는 데 필요한 질의 횟수(쿼리 복잡도)에 큰 차이가 있습니다. 각각 고정 비율 방어는 $\tilde{\Theta}(d/\epsilon)$의 쿼리가 필요하고, 경계 근처 유보 전략은 $\Theta(d \log(1/\epsilon))$의 쿼리로 충분함을 입증했습니다.
이러한 이론적 분석을 바탕으로 실제 분류기 경계 추출 작업에 적용하여 성능을 검증했습니다. 표 형식 데이터, 이미지, 언어 모델 특징 등 총 일곱 가지 이진 분류 과제에서 파레토 프론티어를 특성화했으며, 특히 레이블과 반사실 접근(label-plus-counterfactual access) 방식을 사용했을 때 기존의 라벨만 사용하는 기준선 대비 최대 200배 적은 질의로 경계를 추출할 수 있음을 확인했습니다.