Pourquoi le critère d'information ( non ajusté ) est-il utilisé pour sélectionner l'ordre de décalage approprié dans le modèle de série chronologique?

9

Dans les modèles de séries chronologiques, comme ARMA-GARCH, pour sélectionner le décalage ou l'ordre approprié du modèle, différents critères d'information, comme AIC, BIC, SIC, etc., sont utilisés.

Ma question est très simple, pourquoi ne pas utiliser le ajusté pour choisir le modèle approprié? Nous pouvons sélectionner un modèle qui conduit à une valeur plus élevée de ajusté . Parce que les deux ajustés et le critère d'information pénalisent pour un nombre supplémentaire de régresseurs dans le modèle, où l'ancien pénalise et plus tard pénalisent la valeur de vraisemblance. $R^2$ $R^2$ $R^2$ $R^2$

regression time-series model-selection aic bic Neeraj
la source

Il se peut que je manque quelque chose dans les réponses (ci-dessous), mais les carrés R ainsi que les carrés R ajustés conviennent à la classe relativement limitée de modèles estimés OLS tandis que les AIC, BIC, etc., conviennent à la classe plus large de linéaires généralisés modèles estimés, peut-être, avec ML ou une variante.

Mike Hunter

12

Je dirais qu'au moins en discutant des modèles linéaires (comme les modèles AR), et AIC ajustés ne sont pas si différents. $R^2$

Considérez la question de savoir si doit être inclus dans Cela équivaut à comparer les modèles où . Nous disons que est le vrai modèle si . Notez que . Les modèles sont ainsi imbriqués . Une procédure de sélection de modèle est une règle dépendante des données qui sélectionne le plus plausible de plusieurs modèles. $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

Nous disons que est cohérent si $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

Considérez ajusté . Autrement dit, choisissez if . Comme diminue de façon monotone dans , cette procédure équivaut à minimiser . À son tour, cela équivaut à minimiser . Pour un suffisamment grand , ce dernier peut être écrit comme où $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ est l'estimateur ML de la variance d'erreur. La sélection de modèle basée sur équivaut donc asymptotiquement à choisir le modèle avec le plus petit . Cette procédure est incohérente.

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

Proposition :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

Preuve : où suit l'avant-dernière ligne car la statistique est la statistique LR dans le cas de régression linéaire qui suit un asymptotique distribution nulle. QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

Considérons maintenant le critère d'Akaike, Ainsi, l'AIC échange également la réduction de la SSR impliquée par des régresseurs supplémentaires contre le "terme de pénalité". , "qui pointe dans la direction opposée. Ainsi, choisissez si , sinon sélectionnez .

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

On peut voir que l' est également incohérent en continuant la preuve ci-dessus à la ligne trois avec . Le ajusté et l' choisissent donc le "grand" modèle avec une probabilité positive, même si est le vrai modèle. $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

Comme la pénalité pour la complexité dans AIC est un peu plus grande que pour ajusté , elle peut cependant être moins sujette à une sur-sélection. Et il a d'autres belles propriétés (minimisant la divergence KL vers le vrai modèle si ce n'est pas dans l'ensemble des modèles considérés) qui ne sont pas abordées dans mon article. $R^2$

Christoph Hanck
la source

1

Grande réponse: pas trop lourde mais toujours exacte! S'il avait été là hier, je n'aurais pas posté le mien.

Richard Hardy

Et pour le boîtier ARMA-GARCH? Comment ferait-il pour sélectionner les termes amung MA et GARCH?

R_{a d j}^{2}

$R^2_{adj}$

Zachary Blumenfeld

Je n'oserais pas dire. Comme vous l'expliquez, il n'est même pas clair ce que R2 signifie pour l'ajustement d'un tel modèle.

Christoph Hanck

5

La pénalité dans ne donne pas les belles propriétés en termes de sélection de modèle comme le possèdent l'AIC ou le BIC. La pénalité dans est suffisante pour faire de un estimateur non biaisé de la population quand aucun des régresseurs n'appartient réellement au modèle (selon les articles du blog de Dave Giles "In What Sense" le R-Squared "ajusté" est-il non biaisé? " et " Plus sur les propriétés du coefficient de détermination "ajusté" ); cependant, n'est pas un sélecteur de modèle optimal. $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(Il pourrait y avoir une preuve par contradiction: si AIC est optimal dans un sens et BIC est optimal dans un autre, et n'est équivalent à aucun des deux, alors n'est pas optimal dans les deux cas de ces deux sens.) $R^2_{adj}$ $R^2_{adj}$

Richard Hardy
la source

Combien de paramètres GARCH dois-je ajouter avant que n'augmente? :) .... Je crois qu'un argument similaire pourrait être avancé pour l'hypothèse d'erreurs corrélées (comme dans un modèle MA), Un modèle GLS ne réduit pas la somme des carrés des résidus par rapport aux moindres carrés ordinaires. Dans MA et GARCH, des paramètres (et non des variables explicatives pour lesquelles est ajusté) sont ajoutés au modèle. Les paramètres MA et GARCH ne sont pas ajoutés pour réduire la , ils sont plutôt ajoutés pour augmenter la probabilité et / ou diminuer une somme pondérée de résidus au carré pour refléter le manque de termes d'erreur iid.

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

Zachary Blumenfeld

Est-ce que cela concerne réellement le message d'origine ou ma réponse? En tout cas, je suis d'accord avec vos points.

Richard Hardy

Ce que j'essayais de souligner, c'est que ne peut pas vraiment être utilisé pour sélectionner les composants GARCH (et peut-être aussi les composants MA) car il est basé sur la fraction de sur qui sont des estimateurs biaisés de variance lorsque les termes d'erreur ne sont pas iid. (ce n'est qu'un cas spécifique du parti pris dont vous parliez). Dans le cas d'ARMA-GARCH, vous ne sélectionneriez jamais un modèle avec des composants GARCH, même s'il y avait une volatilité stochastique dans les données, car cela n'augmente pas . En gros, je suis d'accord avec vous en essayant de donner des exemples précis.

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

Zachary Blumenfeld

Pourquoi le critère d'information ( non ajusté ) est-il utilisé pour sélectionner l'ordre de décalage approprié dans le modèle de série chronologique?

Réponses: