금융 감성 분석의 이중적 유효성 검증 연구 결과

기존 금융 NLP 분야에서는 일반적으로 감성 도구를 인간 라벨링과 비교하여 성능을 검증한 후, 이를 시장 신호 추출에 활용하는 표준 워크플로우가 존재합니다. 본 연구는 이러한 가정을 검증하기 위해 2002년부터 2025년까지의 증권 집단 소송(securities class actions) 코퍼스를 사용했습니다. 이 데이터에는 70,500개의 X 메시지가 포함되어 있으며, 단일 주석자가 라벨링한 골드 샘플을 기반으로 다섯 가지 분석 도구(VADER, Loughran-McDonald, FinBERT, Twitter-RoBERTa 및 LLM 주석기)를 동일한 파이프라인에 적용했습니다.

연구 결과, 구성 타당성(construct validity)과 예측적 유효성(predictive validity) 간의 관계는 표본 추출 방식과 점수 표현 방식에 따라 달라지는 것으로 나타났습니다. 일반적인 방법별 샘플링을 사용했을 때, 인간의 합의도는 1일 전 시점보다 같은 날짜의 등급별 연관성과 더 가깝게 일치했습니다. 반면, 고정-n 패널에서는 두 시간대 모두에서 유사한 등급 순위 상관관계가 관찰되었으나, 거친 순서(coarse ordering)는 여전히 약한 것으로 확인되었습니다.

따라서 본 연구는 벤치마크 합의도가 의미론적 유효성(semantic validity)을 확립할 수는 있지만, 그것만으로는 시장 예측 순위(predictive rankings)를 결정하지 못한다는 결론을 제시했습니다. 이는 금융 NLP 모델 개발 시 단순한 감성 점수 비교 이상의 깊이 있는 고려가 필요함을 시사합니다.