합성 데이터 속 사회 패턴 유지 여부 분석: LLM 생성 사이버불링 역학 연구
Do Social Patterns Hold in Synthetic Data? Analyzing Cyberbullying Dynamics in LLM-Generated and Authentic Dialogues
arXivLLM이 생성한 사이버불링 대화가 실제 인간의 복잡하고 미묘한 사회적 상호작용을 얼마나 정확하게 재현하는지 분석했습니다.
- 연구 결과, 데이터는 역할 참여 같은 거시적인 구조는 유지하지만, 행동 강도나 시간 변화 등 미세한 사회 현상은 왜곡되는 것으로 나타났습니다.
- 합성 데이터가 전반적인 상호작용 패턴 모델링에는 유용하나, 실제와 같은 섬세한 행동 역동성이 필수적일 때는 한계가 있음을 시사합니다.
- 특히 GPT는 유해성을 억제하고 Grok은 공격성을 증폭시키는 등, 사용된 LLM의 특성에 따라 왜곡 양상이 크게 달라집니다.
사이버불링(CB)은 반복적인 공격, 권력 불균형 등이 특징인 복잡한 사회 현상입니다. (LLMs)이 데이터 증강 및 벤치마킹을 위해 합성 CB 대화를 생성하는 추세 속에서, 이러한 데이터가 실제 상호작용의 사회적 역학 관계를 얼마나 충실하게 재현하는지 평가할 필요성이 제기되었습니다. 본 연구는 GPT, Grok, LLaMA 등 여러 모델이 생성한 합성 및 실제 대화들을 비교하며, 상호작용 구조, 언어적 사실성, 감정/행동 지표, 시간적 에스컬레이션 역학 등을 종합적으로 분석했습니다.
연구 결과에 따르면, LLM이 생성한 데이터는 역할 참여 패턴이나 방향성 있는 권력 비대칭성과 같은 높은 수준의 상호작용 구조 및 광범위한 행동 지표 분포를 일관되게 유지하는 것으로 나타났습니다. 하지만 모든 모델은 행동의 크기(magnitude), 역할별 할당, 시간적 역학 등 보다 미세하고 세밀한 사회 현상에서는 체계적인 왜곡을 보였습니다.
이러한 왜곡 양상은 사용된 LLM에 따라 크게 달라집니다. 예를 들어, GPT는 유해 콘텐츠를 억제하는 경향을 보였고, Grok은 공격적 행동을 증폭시키는 반면, LLaMA는 가장 균형 잡힌 근사치를 제공하지만 역할 구분을 부드럽게 만듭니다. 따라서 합성 CB 데이터는 전반적인 상호작용 구조 모델링에는 유용하나, 실제와 같은 섬세한 행동 역동성이 필수적일 때는 불완전한 대안으로 남습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.