리서치 연구
복잡도 기반 LLM 라우팅의 등록 편향 문제
Register Bias in Complexity-Based Large Language Model Routing
arXivLLM 서비스가 쿼리 복잡도를 기준으로 모델을 라우팅할 때, 비표준 언어 사용자의 질문이 길이만으로 낮은 성능의 모델에 할당되는 편향이 발견되었습니다.
세 줄 요약
- 이러한 편향은 비표준 영어 표현이 기능어를 생략하여 길이가 짧아 보이는 '입력 길이' 신호 때문에 발생하며, 이는 라우팅 시스템의 취약점을 보여줍니다.
- 복잡도 기반 라우팅은 이미 모델 성능이 낮은 특정 언어 집단에게 낮은 품질의 답변을 반복적으로 노출시켜 서비스 공정성에 심각한 장벽을 만듭니다.
- 따라서 단순히 라우팅 로직 개선만으로는 부족하며, 모든 계층의 LLM 모델 자체에 내재된 근본적인 언어 편향 해소가 시급합니다.
LLM 서비스가 쿼리 복잡도를 기준으로 모델을 라우팅할 때, 비표준 언어 사용자의 질문이 길이만으로 낮은 성능의 모델에 할당되는 편향이 발견되었습니다.