음성 LLM의 가짜 발화(Spurious Onset) 원인 분석 및 완화 기술
Causal Analysis and Mitigation of Spurious Onsets in Full-Duplex Speech LLMs
arXiv실시간으로 듣고 말하는 대규모 언어 모델(LLM)이 사용자가 말을 멈춘 침묵 구간에서도 부적절하게 발화하는 '가짜 시작(spurious onset)' 문제를 진단하고 해결책을 제시했습니다.
- 모델의 다음 토큰 분포가 이전 사용자 입력에 크게 의존하지 않는 경우만 발화를 억제하는 인과적 반사실 질문 방식을 적용하여 정확도를 높였습니다.
- 이 기술은 AI 음성 인터페이스의 신뢰성을 획기적으로 개선하여, 사용자가 침묵할 때 발생하는 불필요한 발화를 막고 자연스러운 대화 경험을 보장합니다.
- 모델 재훈련 과정 없이 추론 단계에서 실시간으로 적용 가능하며, 결정 시간이 61ms 이하로 매우 빨라 즉시 활용 가능한 장점이 있습니다.
대화형 음성 (LLM), 예를 들어 Moshi나 PersonaPlex와 같은 풀-듀플렉스 시스템은 듣기와 말하기를 동시에 수행할 수 있습니다. 그러나 이들 모델은 사용자가 장시간 침묵을 유지하는 경우에도 부적절하게 발화를 시작하는 '가짜 시작(spurious onset)' 문제를 보입니다. 연구진은 이러한 가짜 발화의 원인을 분석했으며, 관찰된 모든 발화 시점에서는 음성 확률이 80ms 프레임 내에서 9자릿수 이상 급증하는 현상을 발견했습니다.
이를 해결하기 위해 모델이 사용자 발화에 반응하는지 여부를 판단하는 인과적 반사실 질문(causal counterfactual question)을 도입했습니다. 구체적으로, 이전 사용자 입력이 음소거되었을 때도 다음 분포가 유사하게 유지될지를 가정하여 개입합니다. 이 기준에 따라 분포 변화가 적은 발화 시작 지점의 온셋만 억제함으로써, 실제 사용자의 의도적인 응답은 보존하는 방식을 적용했습니다.
이 추론 시간(inference-time) 방식은 모델 재훈련 과정 없이 실시간으로 작동하며 높은 성능을 입증했습니다. 테스트 결과, Moshi와 PersonaPlex 모두에서 각각 13/13회 및 9/9회의 가짜 온셋을 성공적으로 억제했으며, 동시에 모든 40개의 실제 응답(genuine responses)은 보존되었습니다. 또한, 결정 시간은 95퍼센타일 기준으로 61ms 이하로 매우 빨라 즉시 활용 가능합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.