활용 사례 연구
Distributed Training using an Intelligent Network
ARarXiv
광역 네트워크(WAN) 환경에서의 분산 훈련을 위해 네트워크 자체를 훈련의 능동적 참여자로 활용하는 방법을 제안했다.
세 줄 요약
- 시스템 측면에서는 멀티캐스트 기술과 인라인 FPGA를 이용해 트래픽 병목 현상을 완화하고, 알고리즘적으로는 최적화 프레임워크로 동기화 일정을 생성한다.
- 이 방법은 데이터 센터 내 작업자 간 훈련을 넘어 WAN까지 확장하여, 배치된(colocated) 훈련의 기준에 근접하게 만든다.
- 제안한 방식은 DoubleZero 네트워크와 같은 실제 프로그래밍 가능한 WAN 환경에서 최적 일정이 네트워크 기능 변화에 따라 어떻게 바뀌는지 보여준다.
광역 네트워크(WAN) 환경에서의 분산 훈련을 위해 네트워크 자체를 훈련의 능동적 참여자로 활용하는 방법을 제안했다.