리서치 연구
금융 언어 모델의 시점 적응 기법 PALM 제안
PALM: Point-in-Time Adaptation for Financial Language Models
arXiv금융 언어 모델이 과거 데이터를 분석할 때 발생하는 '미래 정보 유출(look-ahead bias)' 문제를 해결하는 새로운 적응 방법론 PALM을 제안했습니다.
세 줄 요약
- 기존 PIT 모델의 매년 전체 재학습 부담을 줄이고, 결정일 이전 텍스트에 낮은 순위 어댑터만 적용하여 효율적으로 지식을 업데이트합니다.
- 적은 비용으로 기존 모델의 지식에 새로운 기간 정보를 추가할 수 있으며, 이는 지속적인 사전 학습 방식보다 뛰어난 성능을 입증했습니다.
- 본 방법론은 10년간의 금융 뉴스 데이터와 크기가 다양한 광범위한 PIT 모델군에서 그 유효성을 성공적으로 검증했습니다.
금융 언어 모델이 과거 데이터를 분석할 때 발생하는 '미래 정보 유출(look-ahead bias)' 문제를 해결하는 새로운 적응 방법론 PALM을 제안했습니다.