다국어 가독성 평가: 전통적 방식과 신경망 접근법 분석
Analyzing Traditional and Neural Approaches to Multilingual Readability Assessment
arXiv연구진은 다국어 환경에서 자동 가독성 평가(ARA)를 위해 전통적인 통계 모델과 최신 트랜스포머 기반 신경망 모델의 성능을 비교 분석했습니다.
- 트랜스포머 모델이 표면 길이, 구문 구조 등 핵심 언어 특징들을 복구했으나, 범용 모델보다 언어별 인코더가 패턴 추적에 더 효과적이었습니다.
- 가독성 평가는 주관성이 높고 평가자 의존성이 크므로, 모델이 단순한 표면 패턴을 넘어 실제 언어 구조를 반영하는지 검증하는 것이 중요합니다.
- 다만, 높은 선형 분리 가능성이 항상 방향성을 의미하지는 않으므로, 개수 기반의 가독성 특징 분석에는 여전히 한계가 존재함을 확인했습니다.
기반 모델은 자동 가독성 평가(ARA)에 강점을 보이지만, 특징 기반 모델은 예측 결과가 언어적 속성과 연결되어 있어 여전히 활발히 사용되고 있다. 가독성 레이블 자체가 주관적이고 평가자 의존성이 크기 때문에, 단순히 높은 정확도가 표면적인 패턴을 반영하는 것인지 아니면 난이도를 정의하는 실제 언어 구조를 내포하고 있는지를 검증하는 것이 중요하다.
연구진은 ReadMe++ 데이터셋을 활용하여 아랍어, 영어, 프랑스어, 힌디어, 러시아어를 포함한 다국어 환경에서 전통적 모델과 트랜스포머의 성능을 비교 분석했다. 이 과정에서 SHAP(Shapley Additive Explanations)를 이용해 전통 분류기의 특징들을 식별하고, 이를 TCAV 개념 세트로 사용하여 다국어 XLM-R 및 언어별 인코더에 적용하여 테스트를 진행했다.
분석 결과, 트랜스포머는 표면 길이, 구문 구조, 어휘 다양성 신호를 복구했으며 전통 모델의 순서형 CEFR 구조를 반영하는 모습을 보였다. 다만, 모델 계열, 언어, 레이어에 따라 정렬 정도가 달랐으며, 특히 언어별 인코더가 XLM-R보다 전통적 모델을 더 명확하게 추적했다. 또한, 높은 선형 분리 가능성이 항상 방향성을 의미하지 않아 개수 기반 가독성 특징 분석에는 여전히 한계가 존재함을 확인했다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.