토큰 확률을 넘어 의미적 제약으로 LLM 평가하는 방법
From Token Probabilities to Semantic Constraints: Towards Declarative Probabilistic Evaluation of Language Models
arXiv대규모 언어 모델(LLM)의 지식과 추론 능력을 평가하기 위해 'ModelLog'라는 새로운 프레임워크가 제안되었습니다. 이 방법은 단순한 토큰 확률 대신 의미적 구조를 명시하여 모델을 평가합니다.
- ModelLog는 부정, 상호 배타성 등 논리적 제약 조건을 심볼릭하게 설정하고, 모델이 이러한 조건들을 얼마나 강력하게 만족하는지 측정합니다. 이를 통해 기존 방식으로는 놓치기 쉬운 체계적인 오류를 발견했습니다.
- 평가 점수를 손실(Loss)처럼 해석할 수 있게 함으로써, 단순히 모델의 행동을 진단하는 것을 넘어 학습 과정 자체의 의미 구조까지 밝힐 수 있는 연결고리를 제공합니다.
- 모델 평가 시 단순한 정확도 측정에 머무르지 않고, 논리적 제약 조건(부정, 일관성 등)을 명시적으로 포함하여 모델의 깊은 추론 능력을 진단하는 방법을 고려해야 합니다.
(LLM)의 급속한 발달에도 불구하고, 모델이 습득한 지식과 추론 능력을 어떻게 평가할지에 대한 근본적인 질문들이 남아 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 ModelLog라는 새로운 선언적 확률 프레임워크를 제안합니다. 이 방법은 모델 행동의 의미적 구조를 명시적으로 표현하고, 평가 결과를 학습 과정과 연결하는 새로운 형식적 도구를 제공합니다.
ModelLog는 평가 목표를 수준 예측에 대한 심볼릭 제약 조건으로 지정하며, 모델 분포가 이러한 제약 조건을 얼마나 강력하게 만족하는지 측정합니다. 이 프레임워크를 통해 부정(negation), 상호 배타성(mutual exclusivity), 일관성(consistency)과 같은 새로운 작업군을 탐색했으며, 이는 단순히 토큰 가능도나 답변 정확도로는 파악하기 어려운 체계적인 오류들을 발견할 수 있게 합니다.
더 나아가, 연구진은 이러한 평가 점수들이 손실(loss)로 해석될 수 있음을 보여주었습니다. 이 손실의 기울기(gradient)는 논리적 강도, 정보성, 변수 수준 민감도를 반영하며, 이는 모델 행동을 진단하는 것을 넘어 학습 과정 자체의 의미 구조를 명확히 하는 연결고리를 제공합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.