다자간 대화의 미래를 예측하는 AI 모델 'GLARE' 개발
GLARE: Generative Learning via Adversarial Reward Estimation For Social Dynamics Forecasting
arXiv장시간 다자 간 대화에서 논점 변화, 발언 의도 등을 추적하며 미래 내용을 예측하는 새로운 벤치마크(MDFB)가 개발되었습니다.
- 제안된 GLARE 모델은 적대적 모방 학습을 활용하여, 대화 흐름이 실제 인간 발언과 유사하도록 정책 보상을 개선하는 데 성공했습니다.
- 이 벤치마크는 단순한 작업 학습을 넘어, 다양한 범용 AI 모델의 '사회적 추론 능력'을 객관적으로 비교하고 평가하는 기준으로 활용 가능합니다.
- 다만, 모델이 예측한 결과가 실제 관찰된 인간의 연속적인 발언보다 낮은 수준에 머무르는 등, 완벽한 미래 대화 재현에는 한계가 존재합니다.
장시간에 걸친 다자 간 회의 상황에서 논점 변화, 발언 의도, 참여자의 의견 불일치 등을 추적하고 미래 내용을 예측하는 것이 중요해지면서 새로운 가 제시되었습니다. 연구진은 실제 사례 2,207개의 회의와 24,794개의 미래 질문을 기반으로 'Meeting Dynamic Forecasting Benchmark (MDFB)'를 구축했습니다. 이 벤치마크는 주어진 대화 기록 접두사(transcript prefix)와 활성 질문을 바탕으로 그럴듯한 다중 차례의 대화 연속성을 생성하는 것을 목표로 합니다.
제안된 모델 GLARE는 적대적 모방 학습(adversarial imitation learning)을 조건부 언어 생성에 적용한 방식입니다. 이 방법에서 판별자(discriminator)는 관찰된 대화 연속성이 현재의 액터가 생성한 샘플보다 우수한지 순위를 매깁니다. 이 점수가 KL-정규화 정책 보상으로 사용되며, 현재 정책의 부정적인 예시를 통해 재학습함으로써 보상 환경이 액터와 함께 진화하도록 합니다.
GLARE는 유용성(utility) 측면에서 평균 0.66, 인간 유사성(human-likeness) 측면에서 0.70의 평균 인간 평가 승률을 달성하며 SFT 및 SPIN 모델보다 우수한 성능을 보였습니다. 다만, 예측된 결과가 관찰된 실제 인간의 대화 연속성을 넘어서지는 않는 한계도 확인되었습니다. MDFB는 이러한 특성 덕분에 단순한 작업 학습뿐만 아니라 다양한 범용 AI 모델들의 '사회적 추론 능력'을 비교 평가하는 기준으로 활용될 수 있습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.