모델 연구
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
ARarXiv
LLM의 추론 과정(CoT)을 분석할 때, 단순히 텍스트가 보여주는 가시성만으로 단계별 기능적 중요도를 판단하는 것이 적절한지 검증했습니다.
세 줄 요약
- 연구 결과, 모델이 아무리 뛰어나도 특정 추론 단계의 실제 기여도는 그 텍스트 자체만으로는 완전히 복구하거나 파악하기 어렵다는 점을 밝혀냈습니다.
- 이는 AI가 제시한 답변 과정이 '겉으로 보이는 설명(Legibility)'과 '실제 작동 원리(Interpretability)'를 구분하여 해석해야 함을 시사합니다.
- 추론 과정을 분석하는 것은 오류 수정에는 도움되나, 이미 정답에 도달했을 때 특정 단계의 핵심 역할을 파악하기는 여전히 한계가 있습니다.
LLM의 추론 과정(CoT)을 분석할 때, 단순히 텍스트가 보여주는 가시성만으로 단계별 기능적 중요도를 판단하는 것이 적절한지 검증했습니다.