빠진 '모르겠다': 세 가지 연구가 지적하는 보정된 포기 능력
The Missing "I Don't Know": Why Three Reasoning-Reliability Findings Converge on Calibrated Abstention
arXiv최근 여러 연구 결과들이 LLM의 추론 신뢰성 문제를 다루며, 모델이 자신의 한계를 인지하는 능력이 부족하다는 공통점을 발견했습니다.
- 이들 연구가 수렴하여 제시한 핵심 능력은 '보정된 포기(Calibrated Abstention)'입니다. 이는 모델이 불확실성을 정확히 판단하고 답변을 거부하는 기능의 중요성을 강조합니다.
- 이 능력이 필수적임에도 불구하고, 현재 주류 벤치마크는 답변 포기에 대한 보상을 부여하지 않아 모델 학습에 근본적인 한계가 있습니다.
- 따라서 단순히 모델 개선만으로는 부족하며, 포기율 보고 및 다중 점수화 등 평가 방식 자체의 근본적인 개혁이 시급합니다.
최근 발표된 여러 신뢰성 관련 연구 결과들은 모델이 자신의 한계를 인지하는 능력이 부족하다는 공통점을 발견했습니다. Yin et al.(2026)은 추론 RL이 도구 신뢰성 표현을 무너뜨리는 현상을, Suleymanov et al.(2026)은 안전 제약 하에서 대규모 모델이 플래그가 지정된 부분을 재작성하는 문제를 보여주었습니다. 특히 Bastounis et al.(2024)는 명시적인 '모르겠다' 기능 없이는 일관된 추론 시스템이 광범위한 문제 클래스에서 무한히 할 수 있음을 증명했습니다.
이러한 독립적인 연구 결과들은 모두 모델에게 필요한 핵심 능력이 '보정된 포기(calibrated abstention)'임을 가리킵니다. 비록 이들이 문서화하는 결함의 원인(능력 격차, 정책 격차, 재귀 이론적 격차)은 다르지만, 근본적으로는 모델이 불확실성을 정확히 판단하고 답변을 거부하는 기능이 부족한 상태입니다. 현재 배포된 모델에서 정직성(Honesty)이 이 간극을 좁혔으나, Bastounis가 정의한 클래스를 원칙적으로 닫기 위해서는 보정된 포기 함수가 필요합니다.
그러나 현행 주류 환경에서는 이러한 기능의 학습 신호 자체가 부재합니다. 지표(leaderboard)는 답변을 거부하는 행위에 대해 0점의 보상을 부여하기 때문에, 이 기능을 선택하도록 유도하는 기울기(gradient)가 존재하지 않습니다. 따라서 연구진은 평가 방식 자체의 근본적인 개혁이 필요하다고 제안하며, 트리플 스코어링, 포기율 보고, 능력 계층화된 평가, 의무적 교정 지표 등을 도입해야 한다고 주장했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.