Forecasting :Principles and Practice를 바탕으로 정리한 문서입니다.

Forecasting: Principles and Practice , Rob J Hyndman and George Athanasopoulos

Table of Content

1. Stationary and Non-Stationary
2. Autoregressive(AR) Model
3. Moving Average(MA) Model
4. Autoregressive and Moving Average Model(ARMA)
5. Autoregressive Integrated Moving Average Model(ARIMA)
6. ACF(Autocorrelated Function) and PACF(Partially ACF)

1. Stationary and Non-Stationary

(1) Stationary Process(정상성) : 시간과 관계없이 평균과 분산이 일정한 시계열 데이터

(2) Non-Stationary Process(비정상성) : 시간에 관계없이 평균과 분산이 일정하지 않은 시계열 데이터

정상성과 비정상성을 비교할 수 있는 방법
X축을 Lag(현재 데이터와의 시점 차이)로 설정하고, Y축을 ACF(Autocorrelation Function)으로 시각화하였을 때 주기적으로 나타나는 패턴이 없으면 Stationary Process로 볼 수 있습니다.

Autocorrelation이란?
Correlation은 일반적으로 두 변수 사이의 관계를 -1~1의 값으로 표현하는 척도입니다. -1에 가까울 수록 음의 상관관계가, +1에 가까울수록 양의 상관관계가 존재한다고 볼 수 있습니다. Autocorrelation이란 Correlation에 Auto 개념이 추가된 것으로 시계열적인 관점으로 보았을 때 Time shifted된 자기 자신과의 상관 관계를 의미합니다.

2. Autoregressive(AR) Models

자기자신을 종속변수(Dependent Variable) $y_t$

차수 $p$의 자기회귀모델은 다음과 같이 표현할 수 있습니다.

$y_t = c + \Phi_{1} y_{t-1} + \Phi_{2} y_{t-2} + ... + \Phi_{p} y_{t-p} + \epsilon_{t}$

위의 식에서 $\epsilon_{t}$

3. Moving Average(MA) Models

자기자신을 종속변수(Dependent Variable) $y_t$

차수 $q$의 이동평균모델은 다음과 같이 표현할 수 있습니다.

$y_t = c + \epsilon_{t} + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} + ... + \theta_{q} \epsilon_{t-q}$

여기서 $\epsilon_{t}$

4. Autoregressive and Moving Average (ARMA)

자기자신을 종속변수(Dependent Variable) $y_t$

p와 q 차원을 가지는 ARMA Model의 수식은 다음과 같습니다.

$y_t = \theta_{0} + \theta_{1} y_{t-1} + \theta_{2} y_{t-2} + ... + \theta_{p} y_{t-p} + \epsilon_{t} + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} +...+ \theta_{q} \epsilon_{t-q}$

5. Autoregressive Integrated Moving Average (ARIMA)

기존 AR, MA, ARMA 모델의 경우 데이터가 정상 (Stationary)이어야 함으로 비정상 (Nonstationary)인 경우는 차분 (differencing)을 통해 데이터를 정상으로 변형해주어야 합니다. ARIMA는 ARMA 모형에 차분을 d회 수행해준 모델입니다.

데이터를 정상으로 바꾸는 방법은 무엇일까? - 차분(Differencing)
차분이란, 현 시점 데이터에서 d시점 이전 데이터를 뺀 것을 의미합니다. 정상성을 나타내지 않는 시계열을 정상성을 나타내도록 만드는 한 가지 방법으로 연이은 관측값의 차이를 계산하여 데이터가 정상성을 나타내도록 변화시킵니다.

위 그림은 차분이 어떻게 일어나는지 나타낸 그림입니다. 시차 1에서 차분을 구하는 경우 "1차 차분(first difference)" 이라고 부르며, 시차 2에서 차분을 구하는 경우 "2차 차분(second difference)" 라고 부릅니다. 1차 차분을 진행했음에도 정상성을 나타내지 않는 경우 2차 차분을 진행하게 되지만 2차 차분의 의미상 원본 데이터의 "변화에서 나타나는 변화"를 모델링하게 되는 셈이어서 실제 상황에서는 2차 차분 이상으로 구해야하는 경우는 거의 일어나지 않습니다.

위의 그림은 로그 변환, 1차 차분, 2차 차분 수행 결과를 시각화한 결과입니다. 일반적으로 시계열 곡선이 특정한 트렌드를 가지고 있다면 1차 차분을, 시간에 따라 변화하는 트렌드가 있다면 2차 차분을 수행합니다.

ARIMA는 Autoregressive Integrated Moving Average의 약자로 이동 평균을 누적한 자기 회귀 즉 자기 회귀와 이동 평균 모델을 결합한 모델입니다. 수식은 아래와 같이 나타낼 수 있습니다.

$y_t' = c+ \Phi_{1} y_{t-1}' + \Phi_{2} y_{t-2}' + ... + \Phi_{p} y_{t-p}' + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} +...+ \theta_{q} \epsilon_{t-q} + \epsilon_t$

위의 식에서 $y_t'$

• $p$ = 자기 회귀 부분의 차수
• $d$ = 1차 차분이 포함된 정도
• $q$ = 이동 평균 부분의 차수

자기 회귀(AR)과 이동 평균 모델(MA)에 사용되는 것과 같은 정상성과 가역성 조건은 ARIMA 모델에도 적용됩니다. 지금까지 다룬 모델을 ARIMA 모델로 표현하는 것도 가능합니다.

• White Noise : ARIMA(0,0,0)
• 확률 보행 : 상수가 없는 ARIMA(0,1,0)
• 표류를 포함하는 확률보행 : 상수가 있는 ARIMA(0,1,0)
• AR : ARIMA(p,0,0)
• MA : ARIMA(0,0,q)

6. ACF and PACF

ACF(AutoCorrelation Function)?

ACF(AutoCorrelation Function, 자기상관함수) 는 k시간 단위로 구분된 시계열의 관측치 간 상관계수 함수를 의미하며, k가 커질수록 ACF는 0에 가까워집니다. 상관값이 두 변수 사이의 선형 관계의 크기를 측정하는 것처럼, 자기상관(Autocorrelation)은 시계열의 사차값(lagged values) 사이의 선형 관계를 측정합니다.

시차 그래프에서 각 패널과 관련된 몇가지 자기상관 계수가 있습니다. $r_1$

$r_k$

PACF(Partial ACF)?

부분 상관(Partial Correlation) 이란 두 확률변수 X와 Y에 의해 다른 모든 변수들에 나타난 상관 관계를 설명하고 난 이후에도 여전히 남아있는 상관 관계라고 정의할 수 있습니다.

따라서 부분자기상관함수(PACF) 는 자기 상관 함수와 마찬가지로 시계열 관측치 간 상관 관계 함수이고, 시차 k에서의 k 단계만큼 떨어져 있는 모든 데이터 점들 간의 순수한 상관 관계를 의미합니다.

쉽게 말해, $y_t$

$PACF(k) = Corr(e_{t}, e_{t-k})$

ACF와 PACF를 어떻게 사용하는가?

보통은 단순하게 시간 그래프(Time Plot)만 보고 나서 어떤 p와 q 값이 데이터에 맞는지 이야기할 수 없습니다. 하지만 ARIMA 모델에서 적절한 p와 q 값을 결정하기 위해 때때로 ACF 그래프와 PACF 그래프를 이용하면 가능합니다.

서로 다른 k 값에 대해, $y_t$

위와 같은 문제를 극복하기 위해 PACF 그래프를 사용할 수 있습니다. 이 값은 시차 $1, 2, 3, ..., k-1$

ACF와 PACF의 모양을 통해 ARIMA 모델의 매개 변수인 p와 q를 결정하는 방법은 아래와 같습니다.

.
.
.
감사합니다!