모델 연구
When Less Is More: An Empirical Study of Minimal Responses in Counseling Dialogues and the Behavior of LLMs
ARarXiv
심리 상담 대화에서 간결한 '최소 응답'이 효과적임을 탐구하고, 이것이 LLM의 행동에 미치는 영향을 분석했다.
세 줄 요약
- 연구 결과, 최소 응답은 사람이 수집한 데이터셋에서는 흔하지만 LLM이 생성한 데이터에서는 현저히 적게 나타났다.
- 기존 상담 대화 시스템과 평가 프레임워크는 명시적이고 정보가 많은 답변을 선호하여, 짧은 상담자의 발화가 가진 상호작용적 가치를 간과한다.
- LLM 기반의 응답 품질 평가는 상호작용적으로 적절한 최소 응답을 저평가할 수 있으며, 합성 데이터로 훈련된 전문 모델도 취약하다.
심리 상담 대화에서 간결한 '최소 응답'이 효과적임을 탐구하고, 이것이 LLM의 행동에 미치는 영향을 분석했다.