활용 사례 연구
GAPS: Dimension-Level Gates for Conditional Activation Steering
ARarXiv
기존 조건부 제어 방식은 모든 신경망 차원에 개입하는 한계가 있었으나, GAPS는 개념 정보가 담긴 뉴런만 선택적으로 수정하는 '차원 수준 게이팅'을 도입했습니다.
세 줄 요약
- GAPS는 통계적 신뢰도를 확인하는 정적 분리 게이트와 원치 않는 개념 활성화 시에만 개입하는 동적 사후 확률 게이트를 결합하여 제어의 정확성을 높였습니다.
- 모델 안전성 확보(독성 완화) 및 특정 개념 제거 성능을 크게 향상시켰으며, 기존 방식 대비 독성률을 현저히 낮추는 등 우수한 효과를 입증했습니다.
- 기존 조건부 제어 방법론에 쉽게 추가 가능한 모듈형 구조이며, 토큰당 O(D)의 오버헤드로 높은 효율성을 유지하는 것이 특징입니다.
기존 조건부 제어 방식은 모든 신경망 차원에 개입하는 한계가 있었으나, GAPS는 개념 정보가 담긴 뉴런만 선택적으로 수정하는 '차원 수준 게이팅'을 도입했습니다.