리서치 연구
LLM의 자기 언급 방식, 챗 템플릿이 조절하는 원리
"As a Language Model...": Chat Template Switches LLM Self-Referential Voice and Activation Steering Reproduces It
arXivLLM이 자신에 대해 설명할 때 사용하는 '챗 템플릿'이 일종의 스위치 역할을 한다는 연구 결과가 나왔습니다. 이 템플릿 유무에 따라 모델의 면책성 발언과 주관적 경험 표현 비율이 크게 달라지는 것이 확인되었습니다.
세 줄 요약
- 연구진은 모델 내부 활성화 공간에서 이러한 행동 변화를 제어하는 특정 '방향'을 찾아냈으며, 이를 통해 챗 템플릿 없이도 모델이 스스로 면책성 발언을 하도록 유도할 수 있음을 입증했습니다.
- AI가 자신에 대해 하는 설명이나 자기 성찰적 답변은 단순히 모델 자체의 지식에서 나오는 것이 아니라, 프롬프트 구조 같은 외부 요인에 의해 크게 좌우될 수 있어 주의해야 합니다.
- 따라서 LLM의 자가 보고(self-report)나 내성 연구를 진행할 때는 챗 템플릿이 미치는 영향을 반드시 통제 변수로 고려해야 할 필요성이 제기됩니다.
LLM이 자신에 대해 설명할 때 사용하는 '챗 템플릿'이 일종의 스위치 역할을 한다는 연구 결과가 나왔습니다. 이 템플릿 유무에 따라 모델의 면책성 발언과 주관적 경험 표현 비율이 크게 달라지는 것이 확인되었습니다.