리서치 연구
에지-클라우드 환경에서 탄소 효율적인 함수 호출 라우팅 시스템
Carbon-Aware Routing for Function Calling in Edge-Cloud LLM Systems
arXivLLM의 함수 호출 기능 사용 시 발생하는 높은 에너지 소비와 탄소 배출 문제를 해결하기 위한 새로운 라우팅 프레임워크가 제안되었습니다.
세 줄 요약
- 이 프레임워크는 k-NN 예측과 실시간 전력망 탄소 강도를 결합하여, 쿼리를 가장 낮은 배출량의 에지/클라우드 계층으로 분산 처리하며 평균적으로 탄소 배출량을 4배 절감합니다.
- AI 에이전트 시스템 활용도가 높아짐에 따라, 모델 성능을 유지하면서도 운영 단계에서의 환경 지속 가능성을 확보하는 것이 핵심 과제로 떠오르고 있습니다.
- 제안된 방법론은 최신 함수 호출 벤치마크에서 검증되었으며, 탄소 절감 효과와 함께 클라우드 수준의 높은 정확도를 유지한다는 장점이 있습니다.
함수 호출 기능이 탑재된 (LLM)은 현대 AI 시스템의 핵심 요소가 되고 있지만, 현재 배포 방식은 추론을 강력한 클라우드 기반 모델로만 라우팅하여 상당한 에너지 사용과 탄소 배출 문제를 야기합니다. 본 연구는 이러한 지속 가능성 문제에 대응하기 위해 탄소 인식 라우팅 프레임워크를 제안하며, 에지-클라우드 아키텍처의 세 가지 계층에 걸쳐 함수 호출 쿼리를 분산 처리하는 방식을 제시합니다.
이 프레임워크는 핵심적으로 경량 k-NN 예측기를 활용하여 작동합니다. 이 예측기는 통합된 시맨틱-렉시컬 공간에서 각 에지 계층에 대한 쿼리별 정확도, 지연 시간, 전력 소비를 추정합니다. 이러한 예측값은 실시간 그리드 탄소 강도와 결합되어 모든 쿼리를 성공적으로 실행할 수 있는 가장 낮은 배출량의 계층으로 라우팅하는 데 사용됩니다.
최신 함수 호출 및 다양한 LLM 패밀리에서 평가된 결과, 제안된 프레임워크는 클라우드 수준에 필적하는 정확도를 유지하면서도 운영 탄소 배출량을 평균적으로 $4 imes$ 절감하는 효과를 보였습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.