리서치 연구
비용을 고려한 최적 LLM 식별 방법론 제안
Cost-Aware Best-LLM Identification using Dueling Feedback
arXiv다양한 비용 구조를 가진 여러 LLM 중 최적의 '최고 모델'을 식별하는 새로운 접근 방식을 제안합니다.
세 줄 요약
- 모델 응답의 쌍별 비교(Dueling Feedback)로 선호도를 측정하고, 비용까지 고려한 트랙-앤-스톱 알고리즘으로 최적화를 입증했습니다.
- 이는 단순 성능 비교를 넘어, 실제 운영 환경에서 비용 효율성까지 극대화하는 LLM 선택 기준을 제시합니다.
- 모델 간의 우위(Condorcet winner)가 존재한다는 가정 하에, 다양한 실세계 데이터셋을 통해 알고리즘의 높은 신뢰성을 입증했습니다.
다양한 비용 구조를 가진 여러 LLM 중 최적의 '최고 모델'을 식별하는 새로운 접근 방식을 제안합니다.