리서치 연구
인도 다국어 음성 에이전트 성능 평가 데이터셋 'IndicFDB' 공개
IndicFDB: Benchmarking Full-Duplex Voice Agents across Indian Languages
arXiv기존 영어 중심의 음성 에이전트 평가 도구의 한계를 극복하고자, 인도 아대륙 10개 언어를 포괄하는 대규모 데이터셋 'IndicFDB'를 구축했습니다.
세 줄 요약
- 평가 결과, 상용 API는 언어에 관계없이 일관된 성능을 보였으나, 빠른 응답 속도와 정지 처리 능력 중 하나를 선택해야 하는 트레이드오프가 확인되었습니다.
- 이 데이터셋은 단순 번역 능력을 넘어, 턴 테이킹이나 사용자 끼어들기 같은 실제 대화 맥락에서의 음성 에이전트 성능 평가 기준을 제시한다는 점에서 중요합니다.
- 개방형 모델들은 백채널링, 응답 품질, 지연 시간 등 여러 요소 간의 복잡한 상충 관계를 보여주며, 균형 잡힌 설계가 필수적임을 시사합니다.
기존 영어 중심의 음성 에이전트 평가 도구의 한계를 극복하고자, 인도 아대륙 10개 언어를 포괄하는 대규모 데이터셋 'IndicFDB'를 구축했습니다.