리서치 연구
언어 모델의 수치 표현 불변성 검증 연구
Same Quantity, Different Answer: Numerical Representation Invariance in Language Models
arXiv언어 모델이 수량적 문제에서 표현 방식(소수점, 분수, 단위 등)이 달라져도 동일한 답을 내는지 '표현 불변성'을 검증했습니다.
세 줄 요약
- 모델들은 정답 형태 자체는 높은 정확도를 보였으나, 다양한 입력 변환에 대한 일관성은 떨어져 불안정성을 드러냈습니다.
- 이는 LLM이 복잡한 수치 계산이나 단위 변환 시 표현 차이를 처리하지 못해 실제 산업 적용 신뢰도가 떨어질 위험을 의미합니다.
- 오류는 단순 문법 파서의 한계를 넘어 모델 자체의 의미론적 결함에서 기인하므로, 입력값 정규화만으로는 해결이 어렵습니다.
언어 모델이 수량적 문제에서 표현 방식(소수점, 분수, 단위 등)이 달라져도 동일한 답을 내는지 '표현 불변성'을 검증했습니다.