LLM의 페르소나 표현, K/V 캐시 개입으로 분석
K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models
arXivLLM의 페르소나 표현 능력을 분석하기 위해, 연구진은 모델의 핵심 메모리인 K/V 캐시에 개입(Intervention)하여 캐릭터 전환 과정을 구조적으로 탐구했습니다.
- 모델 내부의 '표현 유사성'과 실제 나타나는 '행동적 표현' 사이에 괴리가 있음을 확인했으며, 최적의 페르소나 제어는 특정 중간 레이어 개입에서 가장 성공적이었습니다.
- 단순한 내부 표현 지표만으로는 LLM의 행동 변화를 예측하기 어려우며, K/V 캐시가 구조적으로 제한된 범위 내에서 통제 가능한 인터벤션 표면임을 보여줍니다.
- 본 연구 결과는 테스트된 특정 모델과 페르소나 조합에 국한된 발견이므로, 모든 언어 모델이나 사용 사례에 일반화하기 어렵다는 점을 유의해야 합니다.
연구진은 디코더 전용 언어 모델(Llama-3.1-8B)에서 페르소나 제어를 구조적으로 탐구하기 위해 K/V 캐시에 대한 개입(Intervention)을 연구했습니다. 13가지의 개입 구성을 적용하여, 표현 수준에서의 정렬과 실제 행동적 표현 사이에 괴리가 존재함을 보고했습니다. 이 과정은 단순히 고립된 페르소나 표현 주입이 아닌, 타겟의 생성 히스토리를 담는 '궤적 수준의 이식'으로 특징지어졌습니다.
실험 결과에 따르면, 모든 레이어 대역 K/V 교체(early: 0.91, mid: 0.89, late: 0.84)는 강력한 국소 V-공간 정렬을 달성했지만, 상당한 타겟 마커 표현과 보존된 어휘 다양성을 동시에 보여준 것은 중간 레이어 교체(layers 9-20)뿐이었습니다. 또한, 전체 및 중간 레이어 교체가 유사한 정렬(V-gap 0.94 대 0.89)을 유도했음에도 불구하고, 서로 다른 어휘 다양성 프로파일(TTR 0.65 대 0.77)을 나타내는 등 괴리가 관찰되었습니다.
이러한 연구는 표현 수준의 유사성 지표만으로는 다운스트림 페르소나 표현 능력을 예측하기에 불충분함을 보여주었으며, K/V 캐시가 구조적으로 제한된 범위 내에서 통제 가능한 개입 표면임을 시사합니다. 다만, 이러한 발견들은 테스트된 특정 모델과 페르소나 쌍의 고신호 환경에서 나타난 것이며, 모든 언어 모델이나 사용 사례에 일반화하기는 어렵다고 결론지었습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.