리서치 연구
Reliable Financial Named Entity Recognition under Domain Shift
ARarXiv
금융 NER에서 분포 변화 시 신뢰도 추정과 선택적 예측을 SEC 공시, 금융 뉴스, 일반 소셜로 검증한 연구가 발표됐다.
세 줄 요약
- BERT와 LoRA 튜닝 Qwen2.5-0.5B/1.5B를 5개 신호, 3개 시드, 부트스트랩으로 평가해 분포 변화 시 신뢰도 순위가 바뀐 것을 확인했다.
- 표준 F1만으로는 분포가 바뀌면 어떤 예측을 자동화해도 안전한지 드러나지 않아, 신뢰도 기반 거절이 문장 오류를 낮춘다.
- 도메인 내 신뢰도 높은 40%에서 문장 오류를 34.3%에서 2% 미만으로 낮추지만, 극단적 소셜 시프트에서는 쓸모 있는 큰 깨끗한 부분집합을 찾지 못했다.
금융 NER에서 분포 변화 시 신뢰도 추정과 선택적 예측을 SEC 공시, 금융 뉴스, 일반 소셜로 검증한 연구가 발표됐다.