희소한 전문가 모델(MoE)의 개인정보 보호를 위한 RAPTOR 프레임워크
RAPTOR: Role-Aware Private Training for Mixture-of-Experts
arXiv기존의 차분 프라이버시(DP) 학습 방식은 희소한 전문가 모델(MoE)을 하나의 블록으로 취급하여, 데이터 처리 과정에서 여러 성능 저하 문제를 겪어왔습니다.
- 연구진은 '역할 인식형 프라이빗 학습(RAPTOR)'이라는 새로운 프레임워크를 제안했습니다. 이는 공유 계층과 전문가 최적화를 분리하고 실패 모드를 직접 해결합니다.
- 실험 결과, RAPTOR는 표준 DP 방식 대비 다양한 프라이버시 예산 수준에서 일관된 성능 향상을 입증하며 대규모 모델 활용 가능성을 높였습니다.
- 이 기법은 데이터가 하나의 전문가에게만 할당되는 구조를 전제로 하며, 특히 프라이버시 제약(ε)이 엄격할수록 가장 큰 성능 개선 효과를 보여 주목됩니다.
기존의 차분 프라이버시(DP) 방식은 희소한 (MoE) 모델을 단일 밀집 블록으로 취급하는 경향이 있습니다. 이로 인해 공유 계층과 전문가가 데이터를 처리하는 과정에서 여러 성능 저하 문제가 발생하는데, 구체적으로는 전역 클리핑(global clipping)이 전문가 기울기를 억제하거나, 배치 수준 정규화가 희소한 업데이트를 희석시키고, 고정된 프라이버시 노이즈가 낮은 부하의 전문가에 대한 신호 대 잡음비를 저하시키는 문제가 지적되었습니다.
연구진은 이러한 문제들을 해결하기 위해 '역할 인식형 프라이빗 학습(RAPTOR)'이라는 프레임워크를 제안했습니다. RAPTOR는 공유 계층과 전문가 최적화를 번갈아 수행하며, 각 실패 모드를 직접적으로 겨냥합니다. 이 방식은 전문가별 클리핑 및 노이즈와 공용 기대 소유자 분모, 그리고 사적인 실현된 전문가 개수에 의존하지 않는 업데이트 일정을 활용하여 $(\varepsilon,\delta)$-DP를 만족함을 증명했습니다.
RAPTOR는 Switch Transformer 및 OLMoE의 GLUE 태스크 미세 조정과 DeepSeek-VL2-Tiny 모델에 적용되었습니다. 실험 결과, RAPTOR는 다양한 프라이버시 수준($\varepsilon$)에서 표준 DP 기준선 대비 일관된 성능 향상을 보여주었습니다. 특히 프라이버시 예산이 가장 엄격한 조건(tightest budgets)에서 가장 큰 개선 폭을 나타내어 대규모 모델의 활용 가능성을 높였습니다.
용어 풀이
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- Mixture-of-Experts
- 여러 하위 모델 중 일부만 골라 계산하는 구조. 모델이 커도 실행 비용을 줄일 수 있어요.