프로토타입 기반 해석력 강화를 위한 아키텍처 제약 연구
Diverse by Design: Architectural Constraints for Prototype-Based Interpretability
arXiv프로토타입 기반 AI는 높은 해석력을 제공하지만, 프로토타입 간 특징이 중복되거나 다양한 의미 영역을 포착하지 못하는 한계가 있었습니다.
- 이를 해결하기 위해 DAPL은 명시적 정규화 대신 아키텍처 제약과 전경 인식을 결합하여 프로토타입의 다양성을 확보합니다.
- 본 연구는 단순히 결과만 내놓는 것이 아니라, 모델의 해석 가능성(판단 근거)을 '커버리지'와 '다양성'이라는 정량적 지표로 측정하는 방법을 제시했습니다.
- 실험 결과, 제안된 방법은 기존 방식 대비 우수한 균형 잡힌 성능을 보여주었으므로, AI 모델의 해석력을 평가할 때 이 두 가지 정량적 지표를 반드시 확인해야 합니다.
프로토타입 기반 신경망은 사례 기반 추론을 통해 본질적인 해석 가능성을 제공하지만, 프로토타입들이 중복된 특징으로 수렴하거나 다양한 의미 영역을 포착하지 못하는 등의 한계가 있습니다. 또한 기존 방식들은 모델의 해석 가능성(interpretability)을 정량적으로 평가할 수 있는 방법이 부족했습니다.
본 연구에서는 명시적인 정규화 대신 아키텍처 제약을 통해 프로토타입의 다양성을 확보하는 '다양성 인식 프로토타입 학습(DAPL)' 방법을 제안합니다. 이 접근 방식은 엄격한 일대일 어텐션-프로토타입 매핑을 가진 멀티헤드 셀프어텐션을 활용하여 각 프로토타입이 고유한 시각적 특징에 특화되도록 합니다. 또한, 의미적으로 중요한 영역에 초점을 맞추기 위해 전경 인식 훈련(foreground-aware training)을 도입했습니다.
연구진은 모델의 해석 가능성을 정량적으로 평가하기 위한 포괄적인 지표인 '커버리지'와 '다양성(Diversity)'을 개발했습니다. CUB-200-2011 데이터셋에서 실험한 결과, 전경 인식 훈련이 적용된 DAPL은 81.69%의 정확도를 달성했으며, 0.596의 커버리지와 0.427의 다양성을 보여 모든 평가된 프로토타입 기반 방법 중 가장 우수한 균형 잡힌 성능을 입증했습니다.