관계 역학 이해를 위한 감정 지원 대화 평가 벤치마크 구축

기존의 정서적 지원 대화 시스템은 주로 일대일 상담자와 도움을 받는 사람 간의 상호작용과 개별적인 감정 상태에 초점을 맞추어, 다자간 시나리오에서 발생하는 관계 역학(interpersonal relations)을 충분히 탐구하지 못했습니다. 이에 연구진은 LLM이 단순히 언어적 내용을 처리하는 것을 넘어, 관계가 변화하는 역동성을 포착하고 활용하여 더욱 효과적인 정서적 지원을 제공할 수 있는지 평가하기 위해 '관계 인식형 감정 지원 대화'라는 새로운 과제를 도입했습니다.

RESCUE(Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark)는 실제 커플 및 가족 인터뷰 대화를 기반으로 구축되었으며, 총 191개의 샘플과 7,079턴의 주석 처리된 발화가 포함됩니다. 이 벤치마크는 사회정서적 및 지원 관련 역동성에 대한 풍부한 주석을 바탕으로, '관계 이해(Relational Understanding)'와 '관계 민감도 지원(Relation-Sensitive Support)'이라는 두 가지 핵심 능력을 평가하는 여섯 가지 과제를 정의했습니다.

열 가지의 LLM을 대상으로 한 실험 결과에 따르면, 현재 모델들은 국소적인 감정 신호나 개입 단서에 의존하는 과제에서는 비교적 좋은 성능을 보였습니다. 그러나 관계 패턴 예측이나 관점 예측, 지원 전략 예측과 같이 관계가 밀접하게 관련된(relation-intensive) 과제에서는 어려움을 겪는 것으로 나타났습니다. 이는 현재 LLM이 대인관계를 모델링하고 관계 민감도가 필요한 지원 결정을 내리는 데 한계가 있음을 보여줍니다.