트랜스포머 기반 시계열 예측을 위한 경량 플러그인 게이트
A Lightweight Plug-in Gate for Transformer-Based Time-Series Forecasters
arXiv기존 트랜스포머 기반 시계열 예측 모델은 외부 변수(공변량)를 처리하는 과정이 불분명했습니다. 본 연구는 인코더 입력 직전에 작동하여 공변량이 타겟 경로로 유입되는 정도를 정교하게 조절하는 경량 게이트 모듈을 제안합니다.
- 제안된 게이트는 TimeXer, iTransformer 등 다양한 모델에 플러그인 형태로 적용되었으며, 여러 데이터셋에서 기존 성능과 경쟁할 만한 결과를 보였습니다. 특히 사용량을 규제(usage-regularized)하여 안정성을 확보했습니다.
- 시계열 예측 시 외부 요인(날씨, 경제 지표 등)을 결합하는 경우, 이 게이트는 모델이 불필요하거나 과도하게 변수에 의존하는 것을 막아 예측의 신뢰성과 안정성을 높이는 데 기여합니다.
- 본 모듈은 '제로 추가 튜닝 프로토콜'로 검증되어 기존 모델 구조를 크게 변경하지 않고 적용 가능하다는 것이 큰 장점입니다. 복잡한 시계열 분석에 쉽게 통합할 수 있습니다.
기존 기반의 시계열 예측 모델들은 외부 변수(공변량)가 타겟 예측 경로로 어떻게 유입되는지에 대한 명시적인 단계가 부족했습니다. 본 연구는 인코더 입력 직전에 작동하는 경량 게이트를 제안하여, 공변량이 표현 단위에 진입하는 정도를 조절하는 인터페이스 역할을 합니다. 이 게이트는 표현 단위에 시그모이드 점수를 할당하며, 평균 진입을 페널티화하는 사용 규제 변형도 함께 연구되었습니다.
이 플러그인 모듈은 TimeXer, Inverted Transformer(iTransformer), Patch Time Series Transformer(PatchTST) 등 다양한 모델 구조에 적용되어 평가되었습니다. 평가는 각 게이트가 해당 기준 모델의 기본 설정을 상속받는 '제로 추가 튜닝 프로토콜' 하에서 진행되었으며, Electricity Transformer Temperature minute-level (ETTm1 및 ETTm2), 교통량, 에너지, 독감 유사 질환(ILI) 등 여러 데이터셋을 활용했습니다.
테스트 결과에 따르면, 제안된 게이트는 해당 기준 모델들과 경쟁할 만한 성능을 보였습니다. 특히 사용량을 규제하는 변형을 적용했을 때 평균 진입 점수는 감소했지만, 예측 오차는 페널티가 없는 TimeXer 설정과 유사하게 유지되었습니다. 이는 외부 요인에 대한 과도하거나 불필요한 의존성을 막아 시계열 예측의 신뢰성과 안정성을 높이는 데 기여합니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.