모델 연구
Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models
ARarXiv
arXiv 논문이 음성 언어 모델의 억양 사용 실패를 단계별로 추적하는 방법을 제시했다.
세 줄 요약
- 네 가지 이해 전용 음성 언어 모델에서 억양 정보는 오디오 경로와 후반 LLM 상태에 남아 있었지만 최종 답변에는 일부만 드러났다.
- 억양을 듣고 표현하지 못하는 단계를 가려내면, 실패 원인은 인식 부족과 사용 부족으로 나뉜다.
- 이 결과는 같은 내용 대비 실험 안에서 확인됐고, 개입은 방향성 회복이지 정확한 클래스 복원은 아니다.
arXiv 논문이 음성 언어 모델의 억양 사용 실패를 단계별로 추적하는 방법을 제시했다.