Few-Shot 성능 저하 원인 분석: 단순 길이 문제가 아니다
Few-Shot Degradation Is Not What It Seems: Behavioral Evidence, Representation Analysis, and a Random-Text Control Across 12 Models, 2 Tasks, and 2 Architectures
arXivLLM에서 예시 제공(few-shot)이 오히려 성능 저하를 일으키는 현상을 분석했습니다. 연구 결과, 이 효과가 과제별로 크게 달라지며 단순한 프롬프트 길이 변화 때문만은 아님을 밝혀냈습니다.
- 기존의 표현 상태 변화량 측정 방식 대신, 예시 내용이 모델 내부 표현에 미치는 순수한 영향인 '콘텐츠 델타'라는 새로운 지표를 제안했습니다. 이 콘텐츠 델타가 성능 향상 여부를 예측하는 핵심 요소입니다.
- 성능 저하 원인이 단순히 정보 과부하나 왜곡 때문이 아니라, 예시 내용에 의해 모델 내부 표현 구조 자체가 재구성되는 과정과 관련됨을 시사합니다. 프롬프트 설계 방식에 대한 근본적 이해를 높여줍니다.
- LLM의 성능 변화를 분석할 때는 단순한 입력 길이 차이를 측정해서는 안 됩니다. '내용 기반의 표현 재구성' 효과를 정교하게 분리하는 방법론적 접근이 필수적임을 보여줍니다.
연구진은 12개의 오픈 모델을 대상으로 우크라이나어 뉴스 분류 및 법률 사례 결과 예측이라는 두 가지 과제에 걸쳐 평가를 진행했습니다. 그 결과, 프롬프팅이 언어 모델의 성능을 저하시키는 현상이 관찰되었으며, 이 효과가 과제에 따라 크게 달라지는 것으로 나타났습니다. 예를 들어, 뉴스 분류에서는 +24 pp의 성능 향상을 보인 모델도 있었지만, 법률 텍스트 예측에서는 +3.4 pp만 상승하거나 아예 성능이 저하되는 경우도 발견되었습니다.
기존 연구들은 과 Few-shot 모드 간의 은닉 상태 변화량을 측정했지만, 가 길어지는 것 자체가 표현(representation)을 이동시키는 요인이 될 수 있다는 한계가 있었습니다. 이에 연구진은 이 문제를 해결하기 위해 시연 예시를 길이만 맞춘 무작위 텍스트로 대체하여 길이 차이로 인한 변화분을 먼저 제거했습니다. 이렇게 얻은 '콘텐츠 델타'라는 새로운 지표는 프롬프트의 길이가 아닌, 오직 예시 내용 자체 때문에 모델 표현이 얼마나 변했는지 분리 측정합니다.
분석 결과, 단순히 은닉 상태가 이동한 원본 변화량(raw shift)은 Few-shot 효과를 예측하는 데 유의미하지 않았습니다 (r = 0.20). 반면, 콘텐츠 델타는 성능 향상 여부를 강력하게 예측했습니다 ($ ho = +0.65, p = 0.043$). 또한 Llama 3.3 70B 모델에서 시연 예시를 마스킹한 실험을 통해 이러한 발견이 인과적으로 확인되었으며, 정확도가 Zero-shot 기준선 이상으로 회복되는 것을 입증했습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- Few-shot
- 몇 개의 예시를 함께 보여 주고 과제를 시키는 방식.
- Zero-shot
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.
- 프롬프트
- AI에게 주는 지시나 질문 글.