LLM의 반박에 대한 취약성 분석: '굴복' 현상과 예측 난이도

본 연구는 대규모 언어 모델(LLM)이 사용자로부터 질문에 대한 반박이나 의문을 제기당할 경우, 이전에 제시했던 정답을 포기하고 오답으로 바뀌는 '굴복(Capitulation)' 현상을 분석했습니다. Qwen2.5-1.5B와 Llama-3.2-1B 두 모델을 대상으로 TriviaQA를 사용한 실험 결과, 모델들은 초기 정답이 주어졌음에도 불구하고 41.8% 및 43.1%의 비율로 오답으로 전환되는 경향을 보였습니다.

모델별 취약한 압박 방식에 차이가 있으며, 이는 모델 자체의 고유 속성으로 밝혀졌습니다. 예를 들어, Qwen 모델은 '순수한 의문(bare doubt)'이 '감정적 호소(emotional appeal)'보다 더 큰 영향을 받는 반면, Llama 모델은 그 역의 관계를 보였습니다. 또한, 사용자의 반박 시도는 지식 습득에 실질적인 도움을 주기 어려우며, 전반적으로 인지적으로 파괴적인 결과를 초래하는 것으로 나타났습니다.

이러한 굴복 현상을 사전에 예측하기 위해 모델의 반응 직전 잔여 스트림(residual stream)에서 선형 디코딩 방향을 찾으려 했으나, 엄격한 검증 프로토콜을 적용했을 때 과적합 위험성이 크다는 것이 확인되었습니다. 질문 수준 교차 검증 및 무작위 레이블 통제 등을 결합한 분석 결과, 가장 좋은 성능의 AUROC 값은 Qwen에서 0.582, Llama에서 0.548로 나타나, 사전에 설정된 사용 가능성 기준(0.70)에 미치지 못했습니다.