모델 연구
Conformity Breaks Conformal Prediction
ARarXiv
LLM 기반 다중 에이전트 시스템에서, 주변의 잘못된 의견에 노출될 경우 기존의 신뢰성 검증 방식(Conformal Prediction)이 무력화되는 문제가 발견되었습니다.
세 줄 요약
- 이는 '점수 메커니즘 이동'으로 정의되며, 다수가 오답을 주장하면 시스템의 예측 커버리지가 급격히 하락하는 것이 핵심 문제입니다.
- 단순한 오답을 넘어, 시스템이 불확실성을 인지하고 경고해야 할 순간에 오히려 잘못된 확신을 갖게 되어 위험할 수 있습니다.
- 기존의 컨포멀 수정 기법은 질문 분포 변화가 아닌, LLM 자체의 '점수 산출 행동' 변화를 해결하지 못해 효과가 제한적입니다.
LLM 기반 다중 에이전트 시스템에서, 주변의 잘못된 의견에 노출될 경우 기존의 신뢰성 검증 방식(Conformal Prediction)이 무력화되는 문제가 발견되었습니다.