신경망 다의성 분석을 위한 범용 프레임워크 SPICE 제안
SPICE: Simple Polysemantic Feature Interpretation via Clustering-based Explanation
arXiv신경망 해석의 핵심 난제인 '다의성(polysemanticity)'을 분석하기 위해 범용 프레임워크 SPICE가 제안되었습니다.
- SPICE는 아키텍처 의존성을 제거하고, 사용자가 임의로 설정할 필요 없이 개념 클러스터 수를 자동으로 결정하여 높은 범용성을 확보했습니다.
- 이를 통해 CNN과 Transformer 등 다양한 구조에서 다의성을 체계적으로 비교 분석하며, AI 내부 작동 원리에 대한 이해를 심화시킬 수 있습니다.
- 본 연구는 모델의 깊이와 아키텍처가 다의성 발생에 미치는 영향을 포괄적으로 파악하는 새로운 분석 기준을 제시합니다.
최근 신경망 해석 분야에서 중요한 난제 중 하나는 '다의성(polysemanticity)'입니다. 이는 단일 뉴런이 여러 개의 관련 없는 개념에 의해 활성화되는 현상으로, 모델의 기능적 이해를 어렵게 만듭니다. 기존 연구들은 이러한 다의성을 탐구했으나, 대부분 아키텍처에 의존적이거나 고정된 클러스터 수($K$)와 같은 수동적인 휴리스틱(manual heuristics)에 의존하여 일반성과 확장성에 한계가 있었습니다.
이러한 제약을 해결하기 위해 SPICE (Simple Polysemantic Feature Interpretation via Clustering-based Explanation)라는 범용 프레임워크가 도입되었습니다. SPICE는 깊은 비전 아키텍처에서 다의성을 분석하는 것을 목표로 하며, 아키텍처 의존적인 전파 규칙을 회피합니다. 특히, 사전에 설정된 $K$ 값에 의존하지 않고 뉴런당 개념 클러스터 수를 자동으로 결정하여 대규모 모델에서도 확장 가능한 분석이 가능하도록 설계되었습니다.
SPICE를 활용함으로써 연구자들은 CNN과 Transformer 등 다양한 구조 간의 다의성을 체계적으로 비교할 수 있게 되었습니다. 또한, 본 프레임워크는 다의성이 어떻게 발생하는지, 그리고 모델의 깊이나 아키텍처에 따라 어떻게 변화하는지를 포괄적으로 조사하며, 이러한 현상이 구별되는 계산 경로를 통해 형성됨을 분석합니다.