리서치 연구
의료 음성 인식 평가를 위한 재현 가능한 프로토콜 MedWER
MedWER: A Reproducible, Model-Free Evaluation Protocol for Medical Speech Recognition
arXiv의료 음성 인식(ASR)에서 일반적인 단어 오류율(WER)은 약물 오인식 등 임상적으로 치명적인 오류를 놓칠 수 있어, 새로운 평가 프로토콜 MedWER가 개발되었습니다.
세 줄 요약
- MedWER는 외부의 버전 의존적인 '블랙박스' 모델 대신, 공공 출처 기반의 고정된 용어 목록(약물, 진단명 등 19,373개)을 사용하여 평가 지표를 산출합니다.
- 이 프로토콜은 평가 과정의 재현성(Reproducibility)과 투명성을 확보하여, 의료 AI 모델 개발 및 성능 비교에 객관적이고 신뢰할 수 있는 기준을 제시합니다.
- MedWER는 평가 구성 요소를 명확히 고정하고, 재샘플링된 개별 발화 점수를 바탕으로 95% 신뢰 구간과 함께 결과를 보고하는 높은 기술적 엄밀성을 갖췄습니다.
의료 음성 인식(ASR)에서 일반적인 단어 오류율(WER)은 약물 오인식 등 임상적으로 치명적인 오류를 놓칠 수 있어, 새로운 평가 프로토콜 MedWER가 개발되었습니다.