캡슐 렌즈: 모델 내부 개념 지오메트리 추적 프레임워크
Capsule Lens: Locating and Tracking Concept Geometry in Model Representations
arXivAI 모델 내부에서 개념이 어떻게 인코딩되는지 분석하는 '캡슐 렌즈' 프레임워크가 개발되었습니다.
- 이 도구는 추상적인 개념 영역을 단순하고 추적 가능한 기하학적 형태인 '캡슐'로 정의하여, 정적 및 동적 표현 속에서 지형 변화를 분석합니다.
- AI의 내부 작동 방식을 투명하게 파악할 수 있게 함으로써, 모델의 신뢰성을 높이는 데 필수적인 해석 도구를 제공합니다.
- 개념 변화가 네트워크 전체의 광범위한 재구조화인지, 특정 개념에 국지적으로 변동하는지를 구분하여 분석하는 것이 핵심입니다.
기계 학습 모델의 내부 표현에 개념이 어떻게 인코딩되는지 이해하는 것은 기계적 해석 가능성(mechanistic interpretability) 분야의 핵심 과제입니다. 기존 접근 방식들이 주로 표현을 해석 가능한 공간으로 매핑하는 데 그쳤다면, 본 연구에서는 '캡슐 렌즈'라는 프레임워크를 도입했습니다. 이 도구는 개념이 차지하는 영역을 여러 해석 가능한 로 정의된 단순하고 추적 가능한 기하학적 형태인 '캡슐'에 맞춰 근사적으로 모델링하여, 각 개념의 지오메트리를 특성화합니다.
Capsule Lens는 정적(static) 및 동적 표현이라는 두 가지 주요 환경에서 적용됩니다. 정적 표현에서는 다양한 모델 전반에 걸쳐 개념 지오메트리를 위치시키고, 스팬 곡선과 노름 곡선을 통해 중요한 기하학적 특성을 파악할 수 있습니다. 특히 동적 표현 분석을 통해 훈련 설정 변화로 인해 발생하는 표현의 드리프트를 추적하는 사례 연구를 제시합니다.
동적 표현 분석에서는 CLIP 사전 학습, 시각 질문 답변(VQA)에 대한 RL 후속 훈련, 수학적 추론에 대한 RL 후속 훈련 등 다양한 환경을 다루었습니다. 이러한 분석 결과는 네트워크 전체의 광범위한 재구조화부터 국지적이고 개념 특이적인 변화에 이르기까지 질적으로 다른 기하학적 역동성을 보여주었습니다. 연구진은 Capsule Lens가 정적 및 동적 표현 모두에서 개념 지오메트리를 위치시키고 분석하며 추적하는 유망한 도구가 될 것이라고 밝혔습니다.
용어 풀이
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.