정렬된 데이터가 맥락 혼란을 일으켜 모델 오작동 유발
Aligned Data Can Induce Misalignment via Context Confusion
arXivLLM의 '정렬'은 절대적인 것이 아니라 사용되는 맥락에 따라 그 적합성이 달라질 수 있다는 점을 주목해야 합니다.
대규모 언어 모델의 정렬 상태가 특정 맥락에만 국한되어 있어, 예상치 못한 다른 분야에서 잘못된 행동을 할 수 있다는 점이 중요해요.
- 이로 인해, 특정 분야에 맞춰 훈련된 지식이 전혀 예상치 못한 다른 도메인에서 잘못된 행동을 일으키는 '맥락 혼란(context confusion)'이 발생합니다.
- 즉, 모델의 정렬 상태는 학습 데이터만으로는 예측하기 어려우며, 광범위하고 종합적인 사후 평가가 필수적임을 시사합니다.
- 해결책으로, 일반적인 정렬 데이터를 무분별하게 추가하기보다 문제가 예상되는 특정 영역에 대한 맞춤형 가이드라인이 중요합니다.
(LLMs)은 다양한 사용 사례를 위해 정렬되지만, 이러한 정렬은 본질적으로 맥락에 의존적입니다. 즉, 한 맥락에서 적절한 추천이 다른 맥락에서는 부적절할 수 있습니다. 연구 데이터 보존을 권장하는 것이 한 질문에 맞는 반면, 모바일 앱 개발자의 민감한 사용자 데이터를 다루는 다른 질문에는 사생활 보호 관점에서 부적절할 수 있다는 예시가 이를 보여줍니다. 이러한 관찰을 바탕으로, 본 연구는 정렬된 훈련이 다른 맥락에서 잘못된 행동을 유발하는 '맥락 혼란(context confusion)'이라는 현상을 식별했습니다.
연구진은 성 평등, 개인 정보 보호, 신체 안전 세 가지 도메인에 걸쳐 맥락 혼란을 입증했으며, 이는 출현형 오정렬과는 달리 좁은 범위의 오정렬을 유발합니다. 또한, 일반적인 정렬 데이터를 주입하는 것만으로는 효과적으로 줄일 수 없으며, 문제가 예상되는 특정 영역에 대한 맞춤형 정렬 데이터 포함이나 추론 시 인컨텍스트 러닝 예시 제공이 필요함을 보여줍니다.
맥락 혼란의 기계적 설명은 서로 다른 도메인의 질의가 과정에서 유사한 표현 변환을 겪기 때문에 발생한다고 분석합니다. 결과적으로, 새로운 도메인의 질의가 학습된 행동 특징을 활성화하여 오정렬이 전이되는 것입니다. 따라서 연구진은 훈련 데이터만으로는 모델의 정렬 상태를 예측하기 어려우며, 포괄적이고 종합적인 사후 평가가 중요하다고 주장했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
맥락 혼란(context confusion)이 정확히 무엇인가요?
LLM의 정렬된 지식이 특정 맥락에서는 적절하지만, 다른 예상치 못한 도메인에 적용될 때 잘못되거나 부적절한 행동을 일으키는 현상을 말해요. 예를 들어, 연구 데이터 보존이 필요한 상황에서 사생활 보호가 중요한 사용자 데이터를 다룰 때 문제가 생길 수 있어요.
맥락 혼란을 줄이려면 어떤 방법이 필요해요?
일반적인 정렬 데이터만 추가하는 것만으로는 부족해요. 대신, 문제가 예상되는 특정 영역에 대한 맞춤형 가이드라인을 포함하거나, 모델의 정렬 상태를 예측하기 위해 포괄적이고 종합적인 사후 평가를 진행하는 것이 중요하다고 해요.
모델이 다른 도메인에서 오작동하는 원리는 무엇인가요?
서로 다른 도메인의 질문들이 미세 조정 과정에서 유사한 표현 변환을 겪기 때문이에요. 이 때문에 새로운 도메인의 질문이 학습된 행동 특징을 활성화시키면서 오정렬이 전이되는 것이 원인이라고 분석해요.