투자자 텍스트로 최대 예상 수익 예측 가능성 연구
BAIBAICHUCHU at the NTCIR-19 FinArg-3 Task: When Is Maximum Possible Profit Predictable from Investor Text?
연구진은 투자자들의 소셜 미디어 게시글을 분석하여 최대 예상 수익(MPP)을 예측하는 AI 모델을 개발하고 성능을 검증했습니다.
투자자의 글 내용만 분석하는 것보다 시장의 변동성이나 관찰 기간 같은 복합적인 요소를 함께 고려해야 정확한 수익 예측이 가능하다는 점을 보여줘요.
- 분석 결과, 게시글의 단순한 내용보다 '게시 전 변동성'과 '관찰 기간'을 결합한 지표가 미래 수익 예측에 훨씬 높은 정확도를 보였습니다.
- 이는 금융 시장 분석 시, 단순히 발언 내용(Sentiment)만 보는 것이 아니라 시장 국면과 위험도 같은 복합적 요소를 함께 고려해야 함을 의미합니다.
- 결론적으로, 정확한 예측은 텍스트 정보뿐 아니라 시장 국면, 역사적 변동성, 관찰 기간 등 여러 요소가 종합적으로 작용할 때 가능합니다.
BAIBAICHUCHU 팀은 NTCIR-19 FinArg-3의 소셜 미디어 서브태스크에 참여하여 투자자의 게시글을 최대 예상 수익(MPP) 기준으로 순위화하는 작업을 수행했습니다. 이들은 어휘적 특징, MacBERT 랭커, 그리고 심판관으로 구성된 세 가지 트랙의 앙상블 모델을 사용했으며, 개발 평가에서 0.734를 기록했으나 최상의 공식 실행 점수는 0.517이었습니다.
사후 감사 결과, 제출된 심판관이 MPP가 입장(stance)에 민감함에도 불구하고 약세 게시글에 장기 보유 규칙을 적용하는 오류가 발견되었습니다. 이를 수정하자 정확도가 변하지 않으면서도 공식 예측 87개 중 28개가 변경되었고, 개발 정확도는 0.680에서 0.622로 하락했습니다.
연구진은 순위를 방향성 텍스트, 변동성, 기간(horizon) 및 쌍별 마진으로 분해하여 분석했습니다. 그 결과, 게시 전 변동성을 관찰 기간에 따라 스케일링한 지표($\sigma_{\mathrm{pre},20}\sqrt{N_i}$)가 나중의 잘린 기간 MPP 대리 지표와 연관성이 높게 나타났습니다(Spearman $\rho=0.320$). 이 지표는 불평등 결과 쌍 중 61.4%를 정확하게 순서화했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
미래 수익 예측에 가장 중요한 요소는 무엇인가요?
게시글의 단순한 내용보다는 '게시 전 변동성'과 '관찰 기간'을 결합한 지표가 높은 정확도를 보였어요. 이 지표는 불평등 결과 쌍 중 61.4%를 정확하게 순서화했어요.
초기 모델에서 어떤 오류가 발견되었나요?
최대 예상 수익이 발언의 입장(stance)에 민감함에도 불구하고, 약세 게시글에 장기 보유 규칙을 적용하는 오류가 발견되었어요. 이를 수정하자 예측 결과가 변경되는 것을 확인할 수 있었어요.
연구진은 어떤 방식으로 분석을 진행했나요?
순위를 방향성 텍스트, 변동성, 기간(horizon), 그리고 쌍별 마진으로 나누어 분석했어요. 그 결과, 게시 전 변동성을 관찰 기간에 따라 스케일링한 지표가 미래 수익 예측과 높은 연관성을 보였어요.