TW3Cast: 에이전트 없이 시계열 예측에서 높은 성능을 달성한 시스템
TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split
arXiv시계열 예측 시스템 TW3Cast가 복잡한 에이전트나 언어 모델 없이도 GIFT-Eval 벤치마크에서 높은 성능을 입증했습니다.
- 핵심은 학습 데이터로 미리 계산하고 고정(Frozen)된 라우팅 테이블을 활용하여, 최적의 전문가 모델을 선택하는 구조입니다.
- 이 방식은 기본 모델만 사용할 때보다 훨씬 뛰어난 성능을 보여주며, 복잡한 아키텍처 없이도 높은 예측 신뢰성을 확보할 수 있음을 입증했습니다.
- 모든 결정이 학습 데이터 기반 백테스트로 이루어졌으므로, 실제 환경에서의 일반화 가능성 및 구조적 편향에 대한 검토가 필요합니다.
시계열 예측 시스템인 TW3Cast는 2026년 9월 14일 기준으로 GIFT-Eval 에서 평균 MASE 순위로 130개 항목 중 3위를 기록했습니다. 주목할 점은 이 시스템이 나 언어 모델을 사용하지 않는다는 것입니다. TW3Cast의 핵심은 학습 데이터(training split)를 기반으로 한 테이블을 계산하여 고정(frozen)한 후, 최적의 전문가 모델을 선택하는 구조입니다.
TW3Cast는 97개의 데이터셋 및 주파수/호라이즌 구성 각각에 대해 네 가지 모드 중 하나로 작동합니다. 첫째, 명시적인 규칙으로 정제된 전문 지식을 가진 또는 전체 모델(Chronos-2, TiRex, Toto 등)을 사용하는 '전문가' 모드가 있습니다. 둘째, 이 전문가를 포함하는 '분위수 블렌드', 기본 모델들의 '블렌드', 그리고 학습 데이터 기반 백테스트로 진행되는 '선택 토너먼트' 모드가 존재합니다.
시스템의 모든 결정은 해당 백테스트에서 이루어지며, 후보 모델이 전문가로 인정받기 위해서는 토너먼트를 통과해야 합니다. 성능 비교 결과, 기본 모델만 사용했을 때 평균 MASE 순위는 33.8을 기록했고, 토너먼트 모드는 38.0을 달성했습니다. 반면, 전체 라우터(full router)를 활용한 경우 평균 MASE 순위는 19.4로 가장 낮은 수치를 보였습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- LoRA
- 모델 전체 대신 작은 추가 부분만 학습시켜 적은 비용으로 미세 조정하는 기법.
- 파인튜닝
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.