토큰 경계가 압축 효율과 예측 성능에 미치는 영향 분석

본 연구는 텍스트 예측 모델에서 사용되는 전처리 과정(pre-tokenisation)이 토큰 단위의 생성 가능 영역을 제한하는 것이 실제 데이터의 압축 비용 및 성능에 어떤 제약을 가하는지 측정합니다. 경계 규칙 유무에 따라 최소 토큰 개수를 바운딩하여 이 비용을 측정했으며, 그 결과 영어 위키피디아 데이터를 분석했을 때 경계 설정이 최적 토큰 개수를 28.3%에서 36.8%까지 증가시키는 비용이 발생함을 확인했습니다.

연구진은 중간 단계의 경계 정책을 연구하기 위해 '경계 라이선스(boundary licences)'를 도입했습니다. 이는 커트 지점을 가로지르는 어휘 항목에 제한을 두는 방식으로, 별도의 영어 및 중국어 적합 코퍼스에서 10%의 어휘 예산을 할당했을 때 각각 85.2%와 100.0%의 토큰 개수 감소율 회복률을 달성했습니다.

이러한 결과는 토큰 경계로 인해 발생하는 압축 비용과, 그 결과 생성된 토큰 단위 자체의 예측 품질을 분리하여 정량적으로 측정하는 새로운 기준을 제시합니다. 이는 AI 모델 설계 시 전처리 방식이 성능에 미치는 영향을 명확히 파악할 수 있게 합니다.