CoT의 인과적 역할 분석: 문제 난이도와 오류 전파 관계
From Decorative to Load-Bearing: Task Difficulty Shapes the Causal Role of Chain-of-Thought
arXiv대규모 언어 모델의 추론 과정(CoT)이 단순한 꾸밈인지, 최종 답변에 결정적인 인과적 역할을 하는지 측정하는 새로운 방법론을 제시했습니다.
- 연구 결과, CoT의 중요도는 문제 난이도와 밀접하게 연관됩니다. 쉬운 문제는 무시되지만, 어려운 문제일수록 오류가 다음 단계로 전파되는 경향을 보였습니다.
- 이는 LLM 기반 안전 감독 시스템 설계에 구조적 한계를 던집니다. 오류 발생 시점에 사람이 개입하기 전에 이미 오류가 확산될 수 있기 때문입니다.
- 추론 과정의 오류 전파를 분석하는 데 성공했으나, 현재로서는 이 과정을 완벽하게 제어하거나 원하는 방향으로 수정하는 것은 기술적인 어려움이 남아있습니다.
연구진은 추론 과정(, CoT)이 단순히 꾸밈인지 최종 답변에 결정적인 인과적 역할을 하는지 측정하기 위해 '연속성 기반 인과 테스트'를 도입했습니다. 이 방법은 하나의 추론 단계를 교란하거나 체인을 잘라내어 모델이 손상된 접두사부터 계속하도록 강제하는 방식으로, CoT가 최종 답변에 얼마나 부하를 지탱하는지(load-bearing) 측정합니다.
테스트 결과, CoT의 중요도는 문제 난이도와 밀접하게 연관됨을 확인했습니다. 쉬운 과제에서는 모델들이 자체 추론 과정을 무시하는 경향을 보였으나, 어려운 과제일수록 오류가 다음 단계로 전파되는 현상이 두드러졌습니다. 구체적으로 GSM8K에서 BBH 다단계 산술 문제로 갈 때 오류 전파는 16배 증가했으며, 전체 편차의 98.8%가 과제 난이도에 기인하는 것으로 분석되었습니다.
이러한 현상은 CoT 기반 안전 감독 시스템 설계에 구조적 문제를 제기합니다. 추론 과정에서 오류가 발생할 경우, 모니터가 개입하기 전에 이미 오류가 전파될 수 있기 때문입니다. 비록 선형 프로브 등을 통해 무시(bypass), 자체 수정, 오류 전파를 분리하는 것이 가능하지만, 활성화 스티어링을 통한 인과적 제어는 여전히 제한적이어서 최악의 경우에도 오류 전파 사례 중 약 25%만을 되돌릴 수 있었습니다.
용어 풀이
- Chain-of-Thought
- 답에 이르는 생각 과정을 단계별로 적게 해서 정확도를 높이는 방법.