모델 연구
GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon
ARarXiv
LLM의 환경 영향을 분석하기 위해, 애플 실리콘 기반의 새로운 벤치마크 프레임워크 'GreenBench'가 개발되어 에너지 효율성을 측정했습니다.
세 줄 요약
- 테스트 결과, M4 Pro는 데이터센터 GPU 대비 토큰당 에너지 효율이 30~40배 높았으며, 모델 크기가 작을수록 전력 효율성이 월등히 뛰어남을 입증했습니다.
- 사용 목적에 따라 최적의 모델 선택 기준을 제시합니다. 정확도와 효율성(Qwen) 또는 낮은 지연 시간(Llama) 등 실질적인 가이드라인을 얻을 수 있습니다.
- 이 측정 결과는 통합 메모리 구조를 활용한 단일 사용자 환경에 기반하므로, 실제 배포 시에는 다양한 사용 조건과 변수를 고려해야 합니다.
LLM의 환경 영향을 분석하기 위해, 애플 실리콘 기반의 새로운 벤치마크 프레임워크 'GreenBench'가 개발되어 에너지 효율성을 측정했습니다.