리서치 연구
LLM 수학 추론 과정 분석: 네 단계 구조와 취약점 규명
A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning
arXiv대규모 언어 모델(LLM)의 수학 문제 풀이 과정은 '스키마 추상화-연산 계획-피연산자 결합-계산'의 네 단계 순차적 파이프라인으로 작동하는 것이 밝혀졌습니다.
세 줄 요약
- 특히 이 중 '연산 계획(Operation Planning)' 단계가 외부에서 삽입된 사소한 방해 요소에도 가장 취약하여 오류를 일으키는 핵심 원인임을 규명했습니다.
- 이는 LLM의 수학적 추론 과정을 단순한 블랙박스가 아닌 구조화된 메커니즘으로 해석할 수 있게 하며, AI 모델 신뢰성 확보에 중요한 단서를 제공합니다.
- 향후 연구는 이처럼 분해된 각 단계의 취약점을 보완하고, 복잡하거나 다양한 유형의 문제에도 적용 가능한 일반화 방안을 모색하는 데 초점을 맞출 전망입니다.
(LLM)이 학년 초반 수준의 수학 문제 풀이에서 높은 정확도를 보이지만, 사소한 무관한 구절 하나만 삽입되어도 전체 추론 과정이 붕괴되는 현상이 관찰되었습니다. 연구진은 이러한 현상을 설명하기 위해 LLM 내부 계산 과정을 기계적(mechanistic) 관점에서 분석했습니다.
분석 결과, 모델의 내부 연산은 '스키마 추상화(Schema Abstraction)', '연산 계획(Operation Planning)', '피연산자 결합(Operand Binding)', 그리고 '계산(Computation)'의 네 단계로 구성된 순차적 파이프라인으로 분해되었습니다. 각 단계는 식별 가능한 레이어 대역에서 고유한 중간 표현을 생성하는 것으로 밝혀졌습니다.
연구진은 이 구조를 활용하여 방해 요소에 의한 오류 진단에 적용했고, 그 결과 오작동의 원인을 '연산 계획(Operation Planning)' 단계로 국한시켰습니다. 이 단계는 특정 어텐션 헤드 세트에 의해 구현되며, 연구팀은 해당 헤드의 인과적 역할을 양방향으로 검증했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.