개념 추론의 한계를 극복하는 Soft-PNet 모델
Soft Symbol Grounding for Prototypical Concepts
arXiv신경망과 기호 논리를 결합한 AI 모델은 최종 결과 예측에만 의존하여 중간 개념 추론 과정에서 오류(reasoning shortcut)를 범하는 한계가 있었습니다.
- Soft-PNet은 작업별로 설계해야 했던 복잡한 손실 함수를 제거하고, 모든 과제에 통일적으로 적용 가능한 학습 목표를 제시해 개념 근거 능력을 높였습니다.
- 시각적 스도쿠나 논리 문제 등 복잡한 환경에서 적은 감독만으로 높은 추론 성능을 입증하며 기존 모델의 한계를 극복했습니다.
- 개념 근거를 가능한 해답들의 캐시 위에서 탐색하는 방식으로 작동하므로, 적용 가능한 구조화된 문제 영역에 효과적입니다.
신경-기호(Neuro-symbolic) 모델은 일반적으로 최종 레이블에 대한 감독 학습만 받기 때문에, 중간 개념 과정에서 오류를 범하는 '추론 지름길(reasoning shortcut)'이라는 한계가 있습니다. 기존의 프로토타입 네트워크는 각 개념을 몇 개의 라벨링된 예시에 고정하여 이러한 단축 경로를 줄였으나, 이 방식은 매 과제마다 재설계해야 하는 수작업 기반의 미분 가능한 손실 함수에 의존했습니다.
Soft-PNet은 이러한 복잡한 과제별 손실 함수를 제거하는 방식으로 개념 근거(concept grounding) 문제를 재정의합니다. 이 모델은 개념 근거 과정을 가능한 기호적 해답들의 사전 계산된 캐시 위에서 메트로폴리스 워크로 간주하며, 단일 라벨 앵커로부터 구축된 프로토타입 분포에 의해 안내됩니다. 학습 목표는 과제와 무관하게 적용할 수 있는 KL 목적 함수를 사용합니다.
이러한 접근 방식 덕분에 Soft-PNet은 손실 엔지니어링 없이도 MNIST-EvenOdd, 시각적 스도쿠(Visual Sudoku), Kand-Logic과 같은 복잡한 환경에서 적은 감독만으로 높은 추론 성능을 입증했습니다. 이는 기존의 프로토타입 네트워크와 개념 수준 및 레이블 수준 모두에서 유사하거나 더 나은 결과를 보여주었으며, 소프트 접지 기반 모델이 놓치던 개념까지 회복하는 능력을 보였습니다.