리서치 연구
만화 의성어 번역 및 시각 재현 파이프라인 'OnomatoBridge'
OnomatoBridge: Onomatopoeia Translation and Rendering Pipeline in Manga
arXiv만화 속 의성어/의태어를 다른 언어로 번역하고 시각적으로 재현하는 새로운 파이프라인 'OnomatoBridge'가 개발되었습니다.
세 줄 요약
- 본 기술은 기존 방식에서 발생하던 잔여물이나 스타일 불일치 문제를 해결하며, 영어 텍스트 정확도를 높이고 일본어 흔적을 크게 줄이는 성과를 보였습니다.
- 만화 콘텐츠의 글로벌 배포나 디지털 현지화 과정에서 시각적 품질을 유지하며 언어를 변환하는 데 중요한 기술 기반이 될 수 있습니다.
- 현재는 Manga109 데이터셋을 활용하여 일본어-영어 번역에 초점을 맞추었으며, 다른 언어나 다양한 만화 스타일에 대한 적용 가능성이 향후 과제입니다.
만화 속의 의성어(onomatopoeia)는 독특한 시각적 스타일을 통해 사운드, 움직임, 감정을 전달하는 중요한 요소입니다. 이 의성어를 다른 언어로 번역하고 시각적으로 재현하려면 원본의 시각적 스타일을 유지하며 일본어 텍스트를 깨끗하게 대체해야 합니다. 기존 접근 방식들은 일본어 의성어를 제거하고 양식화된 영어 의성어로 대체할 때 잔여 아티팩트나 스타일 불일치 문제를 자주 발생시켰습니다.
이러한 문제점을 해결하기 위해 'OnomatoBridge'라는 필터링 파이프라인이 개발되었습니다. OnomatoBridge는 시각적 의성어 번역을 수행하는 것을 목표로 하며, 일본어에서 다른 언어로의 깨끗한 대체와 함께 원본 스타일을 보존하는 데 중점을 둡니다.
연구진은 Manga109 의성어 데이터셋을 활용하여 일본어-영어 번역에 OnomatoBridge를 평가했습니다. 실험 결과, 제안된 방법이 기존 방식보다 우수한 성능을 입증했으며, 영어 텍스트의 정확도를 약 10점에서 25점 향상시키고 잔여 일본어 텍스트를 상대적으로 20%에서 50% 감소시키는 성과를 보였습니다.