리서치 연구
기타 오디오 기반의 표현 기법 인식 탭 악보 생성 도구
TART: A Modular Tool for Technique-Aware Audio-to-Tablature Guitar Transcription
arXivTART는 기타 오디오를 연주 기법과 지판 정보가 포함된 상세한 탭 악보로 자동 변환하는 모듈식 파이프라인입니다.
세 줄 요약
- 기존 시스템의 한계를 극복하기 위해, 슬라이드나 벤딩 같은 표현 기법 분류와 정확한 지판 할당을 포착하는 네 단계 구조를 채택했습니다.
- 단순 음표 인식을 넘어 연주자의 섬세한 표현까지 기록하여, 음악 콘텐츠의 접근성과 학습 자료로서의 가치를 혁신적으로 높입니다.
- 다양한 표준 및 노이즈 환경에서 제로샷 방식으로 평가되었으며, 높은 성능을 입증해 실제 녹음 환경에서도 활용 가능함을 보여줍니다.
자동 음악 변환(AMT) 기술은 기타 분야에서 여전히 한계에 직면해 있다. 기존 시스템들은 슬라이드, 벤딩 같은 표현적인 연주 기법을 포착하는 데 어려움을 겪으며, 음표를 잘못된 줄-지판 조합에 할당하는 경우가 많다. 또한 깨끗한 녹음 환경에서 학습되어 실제 노이즈가 포함된 실시간 오디오에도 일반화하기 어렵다는 문제점이 지적된다.
이를 해결하기 위해 TART라는 모듈식 4단계 오디오-탭 악보 파이프라인이 제안되었다. 이 시스템은 (1) 오디오를 MIDI로 변환하는 모델, (2) 표현 기법을 분류하는 장치, (3) 문자열-지판 할당을 위한 오디오 조건부 T5 인코더-디코더, 그리고 (4) 자동 탭 악보 생성기로 구성되어 있다.
TART는 GuitarSet, EGDB 및 노이즈 환경을 가정한 두 가지 보조 에서 방식으로 평가되었다. 그 결과, 오디오-MIDI F50은 81.35%를 달성했으며, 문자열-지판 Tab F1 점수는 71.8%, 최종 엔드투엔드 Tab F1 점수는 54.08%를 기록했다. TART는 지문 정보와 표현 기법 주석을 모두 포함하는 기타 탭 악보를 직접 생성하는 최초의 프레임워크라는 점에서 의의가 있다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.