모델 연구
How Do Prompt Variations Affect Energy Consumption in On-Device LLMs?
ARarXiv
모바일 기기에 탑재되는 LLM의 에너지 효율성을 높이기 위해, 프롬프트 설계가 전력 소비에 미치는 영향을 심층적으로 분석했습니다.
세 줄 요약
- 연구 결과, 인지 부하(cognitive load)는 토큰당 에너지 비용을 결정하고, 문구 패턴은 전체적인 토큰 사용량 측면에서 에너지를 변화시킵니다.
- 따라서 LLM의 성능과 전력 효율성을 동시에 고려할 때, 모델별 특성에 맞는 프롬프트 설계가 필수적임을 확인했습니다.
- 에너지 최적화를 위해서는 단순히 프롬프트를 조정하는 것을 넘어, 사용되는 모델 종류와 기기 환경 등 다양한 요소를 종합적으로 고려해야 합니다.
모바일 기기에 탑재되는 LLM의 에너지 효율성을 높이기 위해, 프롬프트 설계가 전력 소비에 미치는 영향을 심층적으로 분석했습니다.