LLM 에이전트의 심리적 편향 분석, 새로운 벤치마크 제시
Recognition, Simulation, and Refusal: A Contamination-Aware Study of Classic Psychological Effects in LLM Agents
arXiv연구진은 LLM 에이전트가 아쉬 효과, 닻 내림 등 고전 심리학적 편향을 보이는지 체계적으로 분석하는 새로운 벤치마크를 제시했습니다.
- 편향은 단일한 취약점 때문이 아니라, 프롬프트 레이블링이나 주어진 정보 등 다양한 맥락적 요인에 따라 다르게 발현되는 것으로 밝혀졌습니다.
- LLM의 행동 편향이 단순 오류가 아닌 복잡한 작동 원리를 가지므로, AI 시스템 설계 시 심리학적 맥락과 구조를 고려해야 합니다.
- 모델 평가 시 단일한 취약성 점수보다는, 페르소나 변화 같은 외부 요인에 따른 복합적인 반응 패턴 분석이 중요합니다.
연구진은 에 고전 심리학 실험을 적용하는 PsyAgentBench라는 새로운 를 개발했습니다. 이 벤치마크는 요인 설계(factorial design)를 통해 편향의 원인을 분리하여 분석합니다. 각 패러다임은 에 명시적으로 레이블링되거나 루틴 작업으로 구성될 수 있으며, 실제 교과서 버전(canonical) 또는 구조적 변형 버전(counterfactual)을 사용하고 페르소나 조작이 결합되는 방식으로 진행되었습니다.
다섯 가지 패러다임에 걸쳐 평가한 결과, 인간의 심리적 효과는 단일한 취약점 때문이 아니라 질적으로 다른 경로를 통해 나타나는 것으로 밝혀졌습니다. 예를 들어, Asch 순응 실험에서는 gpt-oss-120B 모델에서 블라인드 조건 대비 네임드 조건에서 83.3%의 높은 수치를 보였으며, 닻 내림(anchoring) 효과는 근거가 있는 사실에 대해서는 정확히 0%를 기록했으나 꾸며낸 수치에서는 거의 전체적인 패턴을 보였습니다.
연구진은 단 한 문장의 페르소나 변화만으로도 이러한 심리적 효과들이 제거되거나 약화되거나 반전될 수 있음을 보여주며, 특정 반응 편향에 대한 단일한 설명 모델에 의문을 제기합니다. 또한, 심리학 패러다임이 LLM 에이전트로 포팅될 때 실패할 수 있는 세 가지 방식(페르소나 지배, 인구 붕괴, 안전 선택)을 공식화했습니다. 따라서 모델 평가는 단순한 스칼라 편향 취약성 점수보다는 복합적인 반응 프로파일 분석이 중요하다고 주장합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 프롬프트
- AI에게 주는 지시나 질문 글.