차량 에이전트 기능 호출을 위한 소형 언어 모델 설계 방식 비교
From Fixed Keys to Readable Schemas: Small Language Models for Vehicle Agent Function Calls
arXiv차량 내 비서 시스템이 자연어 요청을 정확한 기능 호출로 변환하는 기술에 대해, 두 가지 함수 표현 방식의 성능과 한계를 비교 분석했습니다.
- 기존 토큰 기반(FT)은 학습된 기능만 처리하지만, 스키마를 프롬프트에 제공하는 방식(SIP)이 미지의 기능을 일반화하고 요청 거부 능력이 뛰어남을 입증했습니다.
- 이는 AI 시스템 설계 시 모델 크기보다 '함수 정보 표현 방식' 자체가 기능 인식 능력과 실패 처리 방식을 결정하는 핵심 요소임을 보여줍니다.
- 다만, 일반화에 유리한 SIP는 메모리 사용량 및 추론 지연 시간이 증가한다는 단점이 있으므로, 시스템 설계 시 이 트레이드오프를 고려해야 합니다.
차량 내 비서 시스템은 자연어 요청을 정확한 차량 기능 호출로 변환해야 하며, 이 과정은 엄격한 메모리 및 지연 시간 제약 하에 이루어져야 합니다. 이를 위해 소형 언어 모델(SLMs)이 매력적으로 사용되고 있습니다. 함수 표면을 표현하는 두 가지 접근 방식 중 하나는 전용 기능 (FT)을 사용하는 것이고, 다른 하나는 스키마를 에 직접 제공하는 SIP 방식입니다. FT는 간결하지만 학습된 기능으로 제한되는 반면, SIP는 미지의 기능을 일반화할 수 있으나 더 긴 프롬프트와 높은 추론 오버헤드를 가집니다.
연구진은 Android Automotive에서 파생된 79개 차량 기능을 포함하는 총 9,822개의 단일 턴 예시를 로 구축했습니다. 270M부터 1.7B 까지 네 가지 SLM을 비교한 결과, 학습 과정에서 본 기능에 대해서는 모델 크기 증가가 제한적인 이점을 제공하며, 전반적으로 가장 강력한 성능은 0.6B 모델에서 나타났습니다.
특히 학습 데이터에 포함되지 않은 기능(held-out functions)의 경우, FT 방식은 정확도가 0을 기록했습니다. 반면 SIP는 일반화 능력을 보여주며 규모가 커질수록 성능이 크게 향상되었습니다. 또한, 범위를 벗어난 요청 처리 시에는 SIP가 제공된 기능을 기반으로 거부하는 것이 더 신뢰성이 높았으나, 이 과정에서 메모리 사용량과 지연 시간이 증가한다는 단점이 있습니다.
결론적으로 이론적 분석에 따르면, 함수 표면을 어떻게 표현하느냐가 모델의 능력과 실패 모드를 결정하는 핵심 요소입니다. 즉, SLM 기반 차량 기능 호출 시스템 설계 시에는 단순히 모델 크기만 고려할 것이 아니라, 기능 정보 표현 방식(FT vs SIP)이 성능에 미치는 영향을 종합적으로 판단해야 합니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 매개변수
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.