시계열 예측을 위한 최소 제곱 원리 비교 분석
Least Squares for Time Series Forecasting
시계열 예측의 두 가지 방법(잠재 변수 디코딩과 고정 랭크 적합)을 최소 제곱 원리를 이용해 비교 분석했습니다.
시계열 데이터 예측 시, 단순히 과거 패턴을 따르는 것보다 데이터가 가진 근본적인 변화 메커니즘을 파악하는 것이 더 안정적이고 정확한 결과를 얻는 데 중요해요.
- 실험 결과, 단순히 과거 패턴에 의존하는 방식보다 신호 자체의 변화 양상(혁신 분산)을 포착하는 것이 더 안정적인 예측 성능을 보였습니다.
- 이는 복잡한 시간 흐름 데이터를 다룰 때, 데이터가 가진 근본적인 변화 메커니즘 파악이 예측 정확도 향상에 결정적임을 시사합니다.
- 다만, 단일 시점의 예측 정확도가 높더라도 반복적으로 예측 과정을 거치면(오픈 루프), 시간이 지남에 따라 오차가 급격히 누적될 수 있다는 한계가 확인되었습니다.
본 연구는 시계열 예측에 사용되는 두 가지 접근 방식을 비교합니다. 첫 번째 방식은 LeNEPA와 같이 다음 잠재 변수를 회귀하여 표현 손실(representation loss)로 오차를 최소화하는 방법입니다. 이 프로그램은 디코딩된 잠재 좌표의 오류를 줄이는 것을 목표로 하며, 스칼라 타겟과 선형 디코더의 경우 일반 최소 제곱법과 일치합니다. 다른 방식은 전체 다음 벡터를 고정 랭크(fixed rank)에서 적합시킨 후 인코더를 고정하고 헤드를 연결하는 것입니다.
4차원 시계열 데이터가 마지막 세 좌표에서 자기회귀성을 가질 경우, 두 프로그램의 예측 결과에 차이가 나타납니다. 고정 랭크로 적합한 방식은 반복되는 좌표에 질량 $0.9998$을 부여하고 나머지 신호는 주변 분산 $2.794$에서 예측합니다. 반면, 예측 프로그램은 신호 자체에 질량 $1$을 부여하며 혁신 분산(innovation variance) $0.992$와 일치하는 결과를 보였습니다.
랭크 2로 확장할 경우 두 프로그램의 결과는 일치했습니다. 다만, 적합된 단일 단계 계수 $0.803$를 반복적으로 적용하여 예측을 진행했을 때(open-loop), 초기 한 단계에서의 오차 $0.992$가 시간이 지남에 따라 $2.700$으로 급격히 누적되는 한계점이 확인되었습니다.
두 가지 시계열 예측 방식은 각각 어떤 원리로 작동하나요?
첫 번째 방식은 LeNEPA처럼 다음 잠재 변수를 회귀하여 표현 손실로 오차를 최소화하는 방법이에요. 두 번째 방식은 전체 다음 벡터를 고정 랭크에서 적합시킨 후 인코더와 헤드를 연결하는 방식으로 작동해요.
예측을 반복할 때 시간이 지남에 따라 어떤 문제가 발생하나요?
두 방식 모두 단일 시점의 예측 정확도가 높더라도, 이 결과를 가지고 예측 과정을 계속 진행하면(open-loop), 초기 단계에서 발생했던 작은 오차가 시간이 지나면서 급격하게 누적되는 한계점이 확인되었어요.
특정 자기회귀성을 가진 시계열 데이터에서는 두 방식이 어떻게 다른가요?
4차원 시계열 데이터에서 마지막 세 좌표에 자기회귀성이 있을 경우, 고정 랭크로 적합한 방식은 반복되는 좌표에 높은 질량을 부여하는 반면, 예측 프로그램은 신호 자체에 질량 1을 부여하며 혁신 분산과 일치하는 결과를 보였어요.