위기 담론 분석을 위한 5단계 지식 증류 프레임워크 'CrisisKD'
CrisisKD: Five-Stage Knowledge Distillation for Aspect-Level Sentiment and Emotion Analysis in Crisis Discourse
arXiv위기 담론 속에서 감정과 의견의 대상(Aspect)을 파악하기 위해, 5단계 지식 증류 기반의 'CrisisKD' 프레임워크를 제안했습니다.
- 거대한 LLM의 지식을 작고 효율적인 학생 모델에 전수하는 '지식 증류' 방식을 적용하여, 높은 정확도를 유지하면서도 추론 비용을 획기적으로 절감했습니다.
- 본 기술은 공중 보건이나 재난 상황처럼 민감한 위기 담론에서 대중의 관심사와 감정을 정확히 포착하여, 정책적 대응 전략 수립에 기여할 수 있습니다.
- 약 5만 개 이상의 Aspect 레이블을 포함한 데이터셋을 구축 및 공개했으며, 실제 환경에서의 성능 검증은 엄격한 골드 세트와 외부 벤치마크로 입증했습니다.
본 연구는 위기 상황, 특히 건강 관련 이슈에서 감정적 단어나 구절의 대상(Aspect)을 파악하는 것이 공중 보건 및 사회 문제 이해에 중요하다고 보고, 이를 위한 5단계 프레임워크인 CrisisKD를 제안했습니다. 이 프레임워크는 주석이 없는 소셜 미디어 데이터에서 Aspect-Level Sentiment 및 Emotion 분석을 수행하도록 설계되었습니다.
CrisisKD는 교사(Teacher) 의 지식을 더 작고 효율적인 학생(Student) 모델에 전수하는 지식 증류 방식을 사용합니다. 교사 LLM은 Aspect 추출, 구문 파싱, 의견 추출, 감성 분류, 감정 분류 등 5가지 작업을 통해 레이블과 추론 과정을 생성하며, 이 과정이 학생 모델을 지도하여 최종적으로 End-to-End ABSA 및 감정 탐지 기능을 수행하게 합니다.
연구진은 본 프레임워크를 활용하여 50,615개의 Aspect 레벨 레이블을 포함하는 데이터셋을 구축하고 공개했습니다. 성능 검증 결과, 수동으로 주석 처리된 500개 트윗 골드 세트에서 Qwen2.5-7B 학생 모델은 Aspect 추출에서 7.9 F1 포인트, 감정 정확도에서 17.0 포인트 향상을 보였습니다. 또한 외부 ABEA 에서도 기존 대비 성능 개선을 입증했습니다.
용어 풀이
- 지식 증류
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.