리서치 연구
SpeakPay: Domain-Adaptive LoRA Fine-Tuning of Whisper for Low-Resource Nepali Financial Speech Recognition
ARarXiv
네팔의 시각 장애인을 위한 음성 기반 지갑 'SpeakPay'를 개발하고, 저자원 환경에서의 금융 명령어 인식 기술을 연구했습니다.
세 줄 요약
- Whisper 모델에 도메인 적응 학습(LoRA)을 적용하여 음성 오류율을 크게 낮췄으며, 특히 거래 성공률은 기존 대비 약 20배 향상되었습니다.
- 본 연구는 소량의 전문 데이터만으로도 저자원 환경에서 금융 등 특정 도메인의 음성 인식 시스템 성능을 실질적으로 개선할 수 있음을 입증했습니다.
- 최적 성능 달성을 위해 약 300개의 도메인 특화 음성 데이터가 필요하며, 오류 분석 결과 숫자 인식 혼동이 주요 실패 원인으로 확인되었습니다.
네팔의 시각 장애인을 위한 음성 기반 지갑 'SpeakPay'를 개발하고, 저자원 환경에서의 금융 명령어 인식 기술을 연구했습니다.