[논문리뷰] How Good Can Linear Models Be for Time-Series Forecasting?

링크: 논문 PDF로 바로 열기

메타데이터

저자: Lang Huang, Jinglue Xu, Luke Darlow

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Ridge Regression: 본 논문에서 제안하는 forecasting 모델로,closed-form solution을 통해 연산 효율성과 해석 가능성을 확보한 선형 모델입니다.
• SearchCast: 전처리기(Preprocessing) 설정을 데이터셋, horizon, variate별로 최적화하는 파이프라인으로, 본 연구의 핵심 방법론입니다.
• Lookback (L): 모델이 예측을 위해 참조하는 과거 시계열 데이터의 길이(context length)를 의미합니다.
• Local Normalization: 전체 데이터가 아닌, 입력 윈도우의 후행 일부(trailing fraction) 데이터에 기반하여 통계량을 산출하는 정규화 기법입니다.
• Horizon Grouping: 예측 시점(H)을 특정 블록으로 묶어 동일한 하이퍼파라미터를 공유하게 함으로써 탐색 효율성을 높이는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 시계열 예측 분야에서 모델의 복잡도를 높이는 것이 성능 향상을 보장한다는 기존의 통념을 반박하고, 선형 모델의 한계가 모델 자체의 capacity가 아닌 부적절한 Preprocessing 설정에서 기인함을 증명합니다. 기존 연구들은 고정된 context length와 일반적인 전처리 방식을 사용함으로써 선형 모델이 가진 잠재력을 충분히 활용하지 못했습니다 [Table 1]. 이러한 구조적 편향은 Transformer와 같은 복잡한 모델들이 성능 우위를 점하는 것처럼 보이게 만들었으나, 저자들은 적절한 하이퍼파라미터 튜닝만으로도 선형 모델이 강력한 성능을 발휘할 수 있음을 제시합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Ridge regression을 기반으로 context length, local normalization, regularization, augmentation을 체계적으로 탐색하는 SearchCast 프레임워크를 제안합니다 [Figure 2]. 특히 horizon과 series의 heterogeneity를 고려하여 하이퍼파라미터를 그룹화하고, 3-fold cross-validation을 통해 최적의 설정을 도출합니다. 실험 결과, 제안 모델은 8개 벤치마크 중 6개에서 Transformer, MLP, CNN 기반의 최신 baseline들을 능가하는 성능을 보였습니다 [Table 1]. 정량적으로는 OLS 대비 Exchange 데이터셋에서 14.8%, ETTm2에서 4.8%의 MSE 감소를 달성했습니다. 또한, 최적의 Lookback은 horizon이 길어질수록 무조건 증가하는 것이 아니라 데이터셋의 특성에 따라 비단조적으로 변화함을 밝혀냈으며 [Figure 3], Local normalization이 full-window normalization보다 거의 항상 우월한 성능을 기록함을 확인했습니다.

Figure 2 — SearchCast 모델의 Lookback 영향

Figure 3 — Lookback과 Horizon의 상관관계

4. Conclusion & Impact (결론 및 시사점)

본 연구는 선형 모델의 성능이 모델 구조보다는 전처리 전략의 최적화에 크게 의존한다는 점을 명확히 규명하였습니다. 제안된 SearchCast는 단순히 예측 성능을 높이는 것을 넘어, 도출된 최적 하이퍼파라미터가 데이터의 시계열 구조를 진단하는 지표로 활용될 수 있음을 보여줍니다. 이러한 접근 방식은 향후 복잡한 모델 설계에 앞서 선형 기반 모델을 통해 데이터의 기본 특성을 파악하는 것이 필수적인 과정임을 시사하며, 학계와 산업계 전반에 걸쳐 효율적인 시계열 예측 모델 구축을 위한 실질적인 가이드라인을 제공합니다.

Figure 7 — 하이퍼파라미터 튜닝 히트맵

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.