LLM 설명의 신뢰성 검증: 필요성과 충분성을 중심으로

에이전트 워크플로우 내에서 작동하는 LLM 의사결정 구성 요소들은 종종 행동과 관련된 추천이나 판단을 설명과 함께 제시합니다. 본 연구는 이러한 설명이 실제로 해당 구성요소의 관찰 가능한 결정 행동과 일치하는지 검증하기 위해, '필요성'(어떤 요소를 변경하면 출력이 바뀌는지)과 '충분성'(다른 정보를 제거해도 출력을 유지하는지)이라는 두 가지 해석을 테스트했습니다. 연구진은 자문가 추천 및 프롬프트 위험 판단의 두 가지 합성 사용 사례를 통해 이를 평가했습니다.

실험 결과, LLM이 언급한 상위 세 요인과 실제 측정된 필요성 및 충분성 점수 간의 평균 스피어만 상관관계는 자문가 추천에서 0.349와 0.354였으며, 프롬프트 모니터링에서는 각각 0.431과 0.580을 기록했습니다. 또한, 언급되지 않은 요인이 가장 낮은 점수를 받은 상위 세 요인보다 높은 점수를 기록한 비율은 자문가 응답의 경우 필요성 하에서 57.6%, 충분성 하에서 58.1%였습니다.

연구진은 인용된 상위 세 요인이 유용한 정보를 포함하고 있지만, 필요성이나 충분성 측면에서 가장 강력한 영향을 미치는 세 가지 요인을 신뢰성 있게 식별하지는 못했다고 결론지었습니다. 이 프레임워크는 에이전트 감독에 사용되는 설명에 대한 블랙박스 신뢰성 검사 기준을 제공하며, 개별 LLM 결정에 국한된 신뢰도 점검 역할을 수행합니다.