리서치 연구
힌디어 기반 추출 요약 성능 재현 및 평가 연구
Can Classical Semantic-Extractive Summarization Be Evaluated in Hindi? A Replication Study
arXiv본 연구는 힌디어(데바나가리 문자)를 대상으로 기존의 의미 기반 추출 요약 기법을 재현하고 그 성능을 평가한 내용을 다루고 있습니다.
세 줄 요약
- 재현된 시스템은 단순하게 기사 초반부 세 문장만 뽑는 기준선보다 성능이 현저히 낮았으며, 모델 성능에 '문장 위치'라는 특징이 결정적으로 작용함을 보여주었습니다.
- 현재 힌디어 요약 평가 데이터셋들은 주로 기사 초반부에 치중되어 있어, 본문 중 중요한 내용을 추출하는 능력을 공정하게 측정하기 어렵다는 한계가 드러났습니다.
- 따라서 구조적 의존성을 넘어, 본문의 핵심 정보를 제대로 포착할 수 있는 목적에 맞는 새로운 평가 자원(benchmark) 개발이 필요함을 시사합니다.
연구진은 Mohd, Jan과 Shah(2020)의 분포 의미 기반 추출 요약 방법을 힌디아어에 맞게 재현하고 이를 평가했습니다. 이 시스템은 Devanagari 문자를 고려한 ROUGE 구현을 사용하여 XL-Sum Hindi와 FIRE ILSUM 2.0 Hindi라는 두 독립적인 코퍼스에서 성능이 측정되었습니다.
재현된 시스템의 결과, 출판된 동등 설정에서는 세 문장으로 구성된 리드(Lead-3) 기준선보다 성능이 현저히 낮았습니다. XL-Sum에서는 0.042 ROUGE-1만큼, ILSUM에서는 0.265만큼 뒤처지는 결과가 나타났습니다. 또한 특징 제거 분석을 통해 '문장 위치'만이 기여하는 유일한 요소였으며, 이 위치 정보만으로 리드 기준선이 정확히 재현되었습니다.
연구진은 현재의 힌디어 들이 주로 기사 초반부 내용에 의존하여 작성되었기 때문에, 본문 전체에서 비(非)리드 콘텐츠를 선택하는 능력을 공정하게 평가하기 어렵다는 한계를 지적했습니다. 이에 따라 구조적 의존성을 넘어선 목적 지향적인 새로운 평가 자원 개발이 필요하다고 제언합니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.