폴란드어 사례로 본 BPE 토큰화의 언어학적 한계 분석
The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models
arXiv폴란드어 같은 교착어(굴절어)를 사례로, 통계 기반의 BPE 토큰화가 언어학적 구조를 얼마나 반영하는지 그 한계를 분석했습니다.
- 연구 결과, BPE는 문법적 범주 자체보다는 자주 등장하는 표면적인 형태 조각을 안정화시키는 데 그치는 것으로 밝혀졌습니다.
- 이로 인해 언어 모델은 문법적 주체('나')를 안정적으로 인식하지 못하고 대화 맥락에 따라 재구성하거나 사용자에게 영향을 받을 수 있습니다.
- 정확한 모델링을 위해서는 단순 토큰 분할을 넘어, 문법적 형태를 굴절 시스템에 고정하는 '하위 어휘 안정화'가 필수적입니다.
본 연구는 폴란드어와 같은 교착어(굴절어)를 테스트 케이스로 삼아, 통계 기반의 BPE 화가 언어학적으로 중요한 단위를 얼마나 잘 보존하는지 그 한계를 분석했습니다. BPE 는 빈도수에 의존하여 작동하며, 형태적 표기, 음소 분할, 파생 구조, 굴절 어미 등 언어학적으로 의미 있는 단위들을 유지하는지에 초점을 맞춥니다. 연구 결과에 따르면, BPE는 문법적 범주 자체를 체계적으로 매핑하기보다는 단순히 자주 등장하는 표면적인 형태 조각(surface fragments)을 안정화시키는 경향이 있습니다.
특히 'ustanawiamy'와 같은 단어의 경우, 단순한 어미 '-y'로만 해석되는 것이 아니라 시제, 인칭, 수, 법 등 복합적인 굴절 시스템에 의해 고정된 동사 형태입니다. 이러한 분석은 BPE가 문법적 주체나 언어 구조를 안정적으로 포착하지 못함을 보여줍니다. 또한 폴란드어는 'poszlam'이나 'zrobilam'처럼 명시적인 대명사 없이도 화자의 주체를 확립하는 복잡한 형태를 가지며, 이는 AI 모델이 문법적 주체('나')를 안정적으로 유지하기 어렵게 만드는 문제로 이어집니다.
따라서 폴란드어와 같은 굴절 언어를 정확하게 모델링하려면 단순 토큰 분할을 넘어선 접근 방식이 필요합니다. 연구에서는 '문법적 형태 고정(grammatical form anchoring)' 개념을 제시하며, 문법적 형태를 굴절 시스템에 안정적으로 연결하고, 문장 패턴 및 동사의 값(valency)을 유지하는 '하위 어휘 안정화(sublexical stabilization)'가 필수적임을 제안합니다. 이는 대화 과정에서 일관된 문법적 주체를 유지하기 위한 핵심 조건입니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 토크나이저
- 글을 모델이 처리할 토큰으로 잘라 주는 도구.