오픈소스 음악 생성 모델 YuE2 공개: 편집 가능한 악보 지원
m-a-p/YuE2-3B
Hugging Face오픈소스 음악 생성 모델 YuE2가 공개되어, 가사와 스타일 프롬프트만으로 보컬과 반주가 포함된 전문적인 수준의 곡을 제작할 수 있습니다.
- 단순 생성을 넘어 사용자가 악보를 직접 편집하거나 AI 에이전트의 피드백을 통해 곡을 수정하는 '에이전틱 편집' 기능을 제공하며, 상업 모델 대비 최고 성능을 입증했습니다.
- 일반 사용자부터 개발자까지 누구나 고품질 음악 창작이 가능하며, 커버 곡 제작이나 복잡한 AI 애플리케이션 구축의 강력한 기반 기술로 활용될 전망입니다.
- 로컬 구동을 위해서는 최소 24GB 이상의 고성능 GPU가 필요하며, 기존 노래를 커버하는 등 복잡한 작업은 여러 전문 도구를 거치는 워크플로우 이해가 필수적입니다.
YuE2는 가사와 스타일 를 입력하면 보컬과 반주가 포함된 완성도 높은 곡을 제작할 수 있는 음악 생성 모델입니다. 이 모델은 단순한 생성을 넘어 사용자가 직접 편집 가능한 악보를 통해 멜로디와 코드를 조정하는 것이 특징입니다. 성능 측면에서도, YuE2는 WildSongBench 에서 평가된 모든 개방형 및 독점 모델 중 최고 평균 점수인 6.9632를 달성하며 높은 경쟁력을 입증했습니다.
YuE2는 사용자가 악보(ABC)와 가사를 준비하여 커버 곡을 만들거나, 에게 원본 악보, 프롬프트, 변경 요청 사항을 전달하여 재화성을 부여하는 '에이전틱 편집' 기능을 지원합니다. 예를 들어, 기존 노래를 커버할 경우 SheetSage2 등으로 멜로디 ABC와 가사를 별도로 추출한 후, YuE2 파이프라인에 입력하고 `cot="melody"` 모드를 사용하는 워크플로우가 필요합니다.
개발자 관점에서 로컬 구동을 위해서는 최소 24GB 환경과 Python 3.10 이상이 요구됩니다. 사용자는 `YuE2Pipeline` 클래스를 통해 모델을 불러온 후, 스타일 프롬프트와 가사 등을 지정하여 곡 생성을 요청할 수 있습니다. 특히, 생성 시에는 `cot="full"` 옵션을 기본값으로 사용하여 멜로디 및 코드 계획(Melody + chord planning)을 수행하는 것이 일반적입니다.
용어 풀이
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- AI 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.