LLM 가상 페르소나, 행동 이력이 개인 설명보다 예측력 높다
Behavioral History Outperforms Descriptions of the Person for LLM Synthetic Personas
대규모 언어 모델(LLM)을 가상 인물(페르소나)로 활용하여, 이들이 실제 인간의 행동 변화를 얼마나 정확하게 예측하는지 분석했습니다.
인공지능이 인간의 행동을 예측할 때, 단순히 현재 상태를 아는 것보다 과거에 쌓인 누적된 행동 패턴을 분석하는 것이 훨씬 강력한 지표가 될 수 있어요.
- 단순히 성격이나 인구통계 정보만으로는 개인의 행동 패턴 재현에 한계가 있었으나, 과거 설문 답변 같은 '행동 이력'을 추가하자 예측력이 크게 향상되었습니다.
- 이는 AI 모델이 사회과학 연구에 활용될 때, 현재 상태 설명보다 누적된 과거 행동 패턴 분석이 개인 특성 파악에 훨씬 강력한 지표임을 시사합니다.
- 다만, 이러한 예측력은 교육 수준이나 소득 같은 사회경제적 요인에 따라 차이를 보였으며, 특정 행동 편향 영역에서 유효성이 높게 나타났습니다.
본 연구는 (LLM)을 설문 응답자를 대표하는 합성 페르소나로 활용하여, 이들이 실제 인간의 의사결정을 얼마나 정확하게 재현하는지 분석했습니다. 연구진은 개인 정보가 없는 조건부터 인구통계학적 특성, 성격 특성, 인지 점수, 그리고 최종적으로 과거 설문 답변을 '행동 이력'으로 추가하는 5가지 조건을 설정하여 실험을 진행했습니다. 이 과정에서 845명의 미국 성인 대상 두 차례 패널 데이터를 사용했으며, 응답자들이 위험 선호도, 시간 선호도 등 14가지 행동 편향에 대한 측정치를 제공받았습니다.
연구 결과, 페르소나의 예측력을 비교했을 때 단순한 설명 기반 페르소나는 인간 간 변동성(between-person variation) 중 53~67%만을 회복하는 것으로 나타났습니다. 그러나 여기에 응답자의 행동 이력 정보를 추가하자 그 예측력이 약 인간 수준으로 복원되는 것을 확인했습니다. 개별 수준에서는 설명 기반 페르소나가 관찰된 정보량의 7~12%만을 달성한 반면, 행동 이력을 포함했을 때는 이 수치가 28%까지 높아지는 것으로 분석되었습니다.
특히 연구진은 행동 이력 정보를 포함한 조건이 모든 17개 인구통계학적 그룹에서 가장 높은 추정 정보량을 보였으며, 합성 응답자가 보여주는 교육 수준이나 소득 관련 차이가 인간의 반응과 유사하게 나타났습니다. 결론적으로 LLM 합성 페르소나에게는 개인이 어떤 사람인지에 대한 설명보다 과거 답변을 통한 누적된 행동 패턴이 개인 수준 예측에 더 큰 영향을 미치는 것으로 밝혀졌습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
LLM을 활용해 어떤 방식으로 인간의 행동 예측 실험을 진행했나요?
연구진은 대규모 언어 모델(LLM)을 합성 페르소나로 사용했어요. 개인 정보가 없는 조건부터 인구통계학적 특성, 성격 특성, 인지 점수, 그리고 과거 설문 답변인 '행동 이력'까지 5가지 조건을 설정하여 실험을 진행했습니다.
행동 이력을 추가했을 때 예측력이 얼마나 향상되었나요?
단순한 설명만으로는 인간 간 변동성의 53~67% 정도만 회복했지만, 응답자의 행동 이력 정보를 추가하자 그 예측력이 거의 인간 수준으로 복원되는 것을 확인했어요. 개별 수준에서도 정보량이 크게 높아졌습니다.
LLM 페르소나에게는 어떤 정보가 가장 중요하다고 밝혀졌나요?
개인이 어떤 사람인지에 대한 설명보다 과거 답변을 통해 누적된 행동 패턴이 개인 수준의 예측에 더 큰 영향을 미치는 것으로 밝혀졌습니다.