리서치 연구
발열을 고려한 온디바이스/엣지/클라우드 LLM 추론 라우팅
HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference
arXiv온디바이스 LLM 추론은 데이터 보호에 유리하지만, 장시간 구동 시 발생하는 열 제약으로 시스템 불안정성이 주요 문제입니다.
세 줄 요약
- 연구진이 개발한 HybridInfer는 기기의 실시간 발열 여유 공간과 질의 복잡도를 활용하여 최적의 추론 단계를 결정하는 강화학습 라우터입니다.
- 단순히 품질을 높이는 것을 넘어, 장치 자원 및 열 상태를 종합적으로 관리해 모바일 환경에서의 LLM 신뢰성과 지속 가능성을 극대화합니다.
- 본 연구는 온디바이스 발열 여유 공간을 추론 단계 선택의 핵심 요소로 활용한 최초 사례로, 성능 최적화에 새로운 기준을 제시했습니다.
온디바이스 LLM 추론은 데이터 보호에 유리하지만, 장시간 구동 시 발생하는 열 제약으로 시스템 불안정성이 주요 문제입니다.