오디오 LLM, 음성 입력 신뢰도 자체 진단 기능 구현

오디오 대규모 언어 모델(Audio LLMs)은 사용자와 음성을 통해 상호작용할 수 있게 하지만, 입력 녹음의 품질이 저하될 경우 잘못된 전사(transcription)를 기반으로 오답을 생성하는 문제가 발생합니다. 연구진은 이 문제를 해결하기 위해 모델 자체의 전사 신뢰도를 평가하는 방법을 연구했으며, 초기 분석 결과 LLM이 자신의 전사 신뢰도를 판단하는 능력이 떨어진다는 것을 확인했습니다.

기존에 사용되던 음성 품질 예측이나 생성 불확실성 추정 등 기존 접근 방식들은 전사 실패를 감지하는 데 제한적인 신호를 제공했습니다. 이에 연구진은 전사 신뢰도가 모델의 오디오 인코더 표현(representations)에 강하게 반영되어 있음을 발견하고, 이를 활용하여 경량화된 신뢰도 예측기를 개발했습니다.

이 예측기는 답변 생성 전에 입력 음성 품질을 미리 판단할 수 있으며, 만약 사용자의 음성 질의가 신뢰도가 낮다고 예측되면 사용자에게 명확한 설명을 요청하는 방식으로 작동합니다. 이 예측기는 기존 오디오 LLM을 수정하지 않고도 적용 가능하며, 인-도메인에서 81.10%, 크로스-도메인에서 78.09%의 매크로-F1 점수를 달성하여 기존 최고 성능 모델보다 높은 수치를 기록했습니다.