부분 참여 환경을 위한 강건한 연합 학습 집계 기법 SWB-DM
SWB-DM: A Calibrated Sliced-Wasserstein-Barycenter Aggregator with Delayed-Momentum Caching for Byzantine-Robust Federated Learning under Partial Participation
arXiv연합 학습(FL)의 기존 견고 집계 방식들은 소수 클라이언트만 참여할 경우 취약해지는 문제를 해결하기 위해 SWB-DM을 제안합니다.
- SWB-DM은 업데이트를 1차원 분포로 간주하여 트림된 바리센터를 계산하고, 지연 모멘텀 캐싱으로 전체 모집단 기반의 견고성을 확보하는 것이 핵심입니다.
- 기존 방식들이 소수 공격자에게 쉽게 실패하거나 오작동하는 것과 달리, SWB-DM은 다양한 테스트 환경에서 높은 안정성과 성능 향상을 입증했습니다.
- 캐싱 기능 구현 시 초기 구동 비용이 발생할 수 있으며, 특정 고급 공격 유형에 대해서는 여전히 개선이 필요한 부분이 존재합니다.
기존의 견고한 연합 학습(FL) 집계 방식들은 해당 라운드에 참여하는 클라이언트들이 전체 모집단을 공정하게 대표한다는 취약한 가정에 의존합니다. 실제 환경에서는 소수의 클라이언트만 참여할 경우, 적은 수의 공격자도 샘플을 지배하여 기존 방법론들의 유한 표본 보장을 무효화시킬 수 있습니다.
SWB-DM은 이러한 문제를 해결하기 위해 도입되었으며, 각 클라이언트 업데이트 슬라이스를 1차원 분포로 간주하고 트림된 Wasserstein 바리센터를 계산합니다. 또한, 개발된 medoid 기반 게이지 고정 단계를 통해 좌표 정체성을 복구하며, DeMoA 스타일의 지연 모멘텀 캐싱을 사용하여 매 라운드 전체 클라이언트 모집단에 걸쳐 업데이트를 저장함으로써 견고성을 확보합니다.
실험 결과, SWB-DM은 CIFAR-10 환경에서 큰 성능 향상을 보였으나, 캐시 기능을 구현할 때는 실제 구동 비용(warm-up cost)이 발생한다는 점을 확인했습니다. 또한, 특정 고급 공격 유형에 대해서는 여전히 개선이 필요한 부분이 존재합니다.