Quelle est la relation entre l'ANOVA pour comparer les moyennes de plusieurs groupes et l'ANOVA pour comparer les modèles imbriqués?

12

Jusqu'à présent, j'ai vu l'ANOVA utilisée de deux manières:

Premièrement , dans mon texte d'introduction aux statistiques, l'ANOVA a été présentée comme un moyen de comparer les moyennes de trois groupes ou plus, comme une amélioration par rapport à la comparaison par paires, afin de déterminer si l'un des moyennes a une différence statistiquement significative.

Deuxièmement , dans mon texte d'apprentissage statistique, j'ai vu l'ANOVA utilisée pour comparer deux (ou plus) modèles imbriqués afin de déterminer si le modèle 1, qui utilise un sous-ensemble des prédicteurs du modèle 2, correspond aussi bien aux données, ou si le Le modèle 2 est supérieur.

Maintenant, je suppose que d'une manière ou d'une autre, ces deux choses sont en fait très similaires car elles utilisent toutes deux le test ANOVA, mais en surface, elles me semblent très différentes. D'une part, la première utilisation compare trois groupes ou plus, tandis que la deuxième méthode peut être utilisée pour comparer seulement deux modèles. Quelqu'un voudrait-il s'il vous plaît élucider le lien entre ces deux utilisations?

hypothesis-testing anova model-comparison f-test nested-models Austin
la source

3

En bref, je pense que le deuxième "anova" n'est pas du tout une ANOVA (si vous lisez en.wikipedia.org/wiki/Analysis_of_variance, vous ne verrez aucune mention de comparaison de modèles imbriqués). C'est un en.wikipedia.org/wiki/F-test et il est implémenté dans R en tant que anova()fonction, car la première ANOVA réelle utilise également un test F. Cela conduit à une confusion terminologique.

amibe dit Réintégrer Monica

Merci, je pense que vous avez mis le doigt sur la tête! Je n'avais pas considéré que la anova()fonction pouvait faire plus que de l'ANOVA. Cet article soutient votre conclusion: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

Austin

1

Un statisticien diplômé m'a appris que l'ANOVA en tant que test multi-échantillon est la même chose que l'ANOVA en tant que test de suprématie de modèle imbriqué. La même chose signifie, à ma connaissance, que nous comparons une somme (ou moyenne) de résidus résultant d'aucun modèle ou modèle plus simple aux résidus résultant d'un modèle, et le test F est applicable aux deux situations étant donné que les hypothèses sont remplies. La réponse que j'ai essayée est absolument à ce sujet. Je serais moi-même intéressé à comprendre le lien entre au moins un coefficient lm différent de zéro (statistiques F à un modèle) et la somme des résidus.

Alexey Burnakov

11

À ma connaissance, l'intuition abstraite de l'ANOVA est la suivante: on décompose les sources de variance de la variable observée dans différentes directions et étudie les contributions respectives. Pour être plus précis, on décompose la carte d'identité en une somme de projections et étudie quelles projections / directions contribuent de manière importante à expliquer la variance et lesquelles ne le font pas. La base théorique est le théorème de Cochran .

Pour être moins abstrait, j'ai intégré la deuxième forme mentionnée par l'OP dans le cadre que je viens de décrire. Par la suite, j'interprète la première forme comme un cas particulier de la seconde.

Considérons un modèle de régression avec variables explicatives (le modèle complet) et comparons-le au modèle restreint avec variables. WLOG, les dernières variables du modèle complet ne sont pas incluses dans le modèle restreint. La question à laquelle l'ANOVA a répondu est $K$ $K-J$ $J$

"Peut-on expliquer significativement plus de variance dans la variable observée si l'on inclut variables supplémentaires" $J$ ?

On répond à cette question en comparant les contributions de variance des premières variables , des variables suivantes et de la partie restante / inexpliquée (la somme résiduelle des carrés). Cette décomposition (obtenue par exemple à partir du théorème de Cochran) est utilisée pour construire le test F. Ainsi, on analyse la réduction (en incluant plus de variables) de la somme résiduelle des carrés du modèle restreint (correspondant au tous les coefficients appartenant aux dernières variables sont nuls ) en incluant plus de variables et obtient la statistique F Si la valeur est suffisamment grande, la variance expliquée par le supplémentaire $K-J$ $J$ $H_0:$ $J$

\frac{\frac{R S S_{r e s t r} - R S S_{f u l l}}{J}}{\frac{R S S_{f u l l}}{N - K}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$ variables est significatif.

Or, la première forme mentionnée par le PO est interprétée comme un cas particulier de la seconde forme . Considérons trois groupes différents A, B et C avec les moyennes , et . Le est testé en comparant la variance expliquée par la régression sur une interception (le modèle restreint) avec la variance expliquée par le modèle complet contenant une interception, un mannequin pour le groupe A et un mannequin pour le groupe B. La statistique F résultante est équivalente à l'ANOVA- test sur Wikipédia $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$

\frac{\frac{R S S_{i n t e r c e p t} - R S S_{d u m m i e s}}{2}}{\frac{R S S_{d u m m i e s}}{N - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$ . Le dénominateur est égal à la variation au sein des groupes, le numérateur est égal à la variation entre les groupes. Si la variation entre les groupes est plus importante que la variation au sein des groupes, on rejette l'hypothèse que toutes les moyennes sont égales.

bmbb
la source

+1. Je me demande si vous seriez d'accord avec ma remarque sur la terminologie dans le commentaire ici: stats.stackexchange.com/questions/315979/#comment602611_315979 .

amibe dit Réintégrer Monica

Je suis définitivement d'accord qu'il y a beaucoup de confusion dans la terminologie ;-). Familièrement, je n'associe l'ANOVA qu'à la première forme de PO. Je viens de jeter un œil au livre de Scheffé "The Analysis of Variance" dans lequel les "dessins imbriqués" sont mentionnés.

bmbb

@bmbb, j'ajouterais à votre dernier commentaire ceci: un cas simple où nous comparons des modèles lm imbriqués, dont l'un est l'interception uniquement. Le fait qui m'avait frappé à propos du modèle avec interception est que lorsque nous nous référons à ses résidus, nous nous référons en effet à sa variance, car les résidus sont calculés par rapport à une moyenne variable (qui est l'ordonnée à l'origine du modèle), et ce sont des écarts par rapport à échantillon moyen. Ainsi, nous faisons toujours l'analyse de la variance dans le cas de modèles imbriqués, même si nous analysons formellement les résidus.

Alexey Burnakov

6

Si vous effectuez une ANOVA unidirectionnelle pour tester s'il existe une différence significative entre les groupes, vous comparez implicitement deux modèles imbriqués (il n'y a donc qu'un seul niveau d'imbrication, mais il est toujours en cours d'imbrication).

Ces deux modèles sont:

Modèle 0: les valeurs (avec le numéro d'échantillon et le numéro de groupe) sont modélisées par la moyenne estimée, de l'échantillon entier. $y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $y_{i j} = {\hat{β}}_{0} + ϵ_{i}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
Modèle 1: Les valeurs sont modélisées par les moyennes estimées des groupes.

(et si nous représentons le modèle par les variations entre les groupes, , alors le modèle 0 est imbriqué dans le modèle 1) $\hat{\beta_j}$

$y_{i} = {\hat{β}}_{0} + {\hat{β}}_{j} + ϵ_{i}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

Un exemple de comparaison des moyennes et de l'équivalence avec des modèles imbriqués: prenons la longueur du sépale (cm) de l'ensemble de données sur l'iris (si nous utilisons les quatre variables, nous pourrions en fait faire du LDA ou de la MANOVE comme Fisher l'a fait en 1936)

Les moyennes totales et groupées observées sont:

\begin{matrix} μ_{t o t a l} & = 5.83 \\ μ_{s e t o s a} & = 5.01 \\ μ_{v e r s i c o l o r} & = 5.94 \\ μ_{v i r g i n i c a} & = 6.59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

Qui est sous forme de modèle:

\begin{matrix} model 1: & y_{i j} = 5.83 + ϵ_{i} \\ model 2: & y_{i j} = 5.01 + {[\begin{matrix} 0 \\ 0.93 \\ 1.58 \end{matrix}]}_{j} + ϵ_{i} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

Le dans le modèle 1 représente la somme totale des carrés . $\sum{\epsilon_i^2} = 102.1683$

Le dans le modèle 2 représente la somme des carrés au sein du groupe . $\sum{\epsilon_i^2} = 38.9562$

Et la table ANOVA sera similaire (et calculera implicitement la différence qui est la somme entre les groupes de carrés qui est le 63,212 dans la table avec 2 degrés de liberté):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

avec

F = \frac{\frac{R S S_{d i f f e r e n c e}}{D F_{d i f f e r e n c e}}}{\frac{R S S_{n e w}}{D F_{n e w}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

ensemble de données utilisé dans l'exemple:

longueur des pétales (cm) pour trois espèces différentes de fleurs d'iris

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

Sextus Empiricus
la source

1

+1 mais le formatage du tableau de données en tant que tableau en latex est une très mauvaise pratique !! On ne peut pas le copier-coller n'importe où! Si vous voulez vraiment inclure les données, pourquoi ne pas les formater comme un bloc de code? Mais dans ce cas, vous pouvez également créer un lien vers l'article Wikipédia Fisher Iris qui contient les données.

amibe dit Réintégrer Monica

En dehors de cela, quelle est votre opinion sur le problème de terminologie que j'ai mentionné dans ce commentaire stats.stackexchange.com/questions/315979/#comment602611_315979 ?

amibe dit Réintégrer Monica

1

Je ne pense pas que la terminologie floue soit un gros problème. Dans mon esprit, je ne considère jamais l'ANOVA comme une comparaison de la variance au sein des groupes et entre eux et je fais toujours la projection mentale à la comparaison de deux modèles. Je ne pense pas que ce soit un gros problème puisque la distribution f, un rapport de deux variables distribuées khi-deux indépendantes, est dans un certain sens, un rapport de variations. Appliquer le test f pour étudier des modèles imbriqués revient en quelque sorte à comparer les variations, à analyser les variations, donc l'ANOVA me semble acceptable (j'essaie actuellement de rechercher des références historiques).

Sextus Empiricus

Je ne dis pas que c'est un problème. Mais je me demande si le terme "ANOVA" se réfère au test F comparant les modèles imbriqués uniquement dans R (comme je l'ai suggéré dans mon commentaire lié) ou s'il s'agit d'une terminologie acceptée plus large. Je n'ai pas vérifié les manuels, donc mes preuves ne viennent que de Wikipédia.

amibe dit Réintégrer Monica

Dans les Méthodes statistiques de Fisher de 1925 pour les chercheurs, lorsqu'il explique «l'analyse de la variance», il inclut des exemples qui appliquent la technique aux lignes de régression (mais pas de modèles imbriqués).

Sextus Empiricus

1

L'utilisation de l'ANOVA en comparaison entre plusieurs modèles signifie pour tester si au moins un des coefficients utilisés dans le modèle d'ordre supérieur (et absent dans le modèle d'ordre inférieur) est significativement différent de zéro.

Cela revient à dire que la somme des résidus pour le modèle d'ordre supérieur est nettement inférieure à celle du modèle d'ordre inférieur.

Il s’agit de deux modèles puisque l’équation de base utilisée est

MSM/MSE

Où MSM est la moyenne des résidus au carré du modèle d'ordre inférieur (où l'ordre le plus bas est la moyenne de la variable cible, c'est-à-dire intercepter).

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

Vous pouvez lire des sujets similaires sur CV, comme

Comment utiliser anova pour comparer deux modèles?

Alexey Burnakov
la source

À mon humble avis, cela ne répond pas à la question.

amibe dit Réintégrer Monica

1

D'après ce que j'ai appris,

Vous pouvez utiliser des tableaux ANOVA pour déterminer si vos variables explicatives ont réellement un effet significatif sur la variable de réponse, et ainsi s'adapter au modèle approprié.

Par exemple, supposons que vous ayez 2 variables explicatives et , mais vous ne savez pas si réellement un effet sur Y. Vous pouvez comparer les tableaux ANOVA des deux modèles: $x_1$ $x_2$ $x_2$

y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ϵ

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$ vs

y = β_{0} + β_{1} x_{1} + ϵ

$y=\beta_0 + \beta_1x_1 + \epsilon$

Vous effectuez un test d'hypothèse avec la somme des carrés extra résiduels à l'aide du test F pour déterminer si un modèle réduit avec seulement est plus significatif. $x_1$

Voici un exemple de sortie ANOVA pour un projet sur lequel je travaille dans R, où je teste deux modèles (un avec les jours variables et un sans les jours variables):

Comme vous pouvez le voir, la valeur de p correspondante du test F est de 0,13, ce qui est supérieur à 0,05. Ainsi, nous ne pouvons pas rejeter l'hypothèse nulle selon laquelle Days n'a aucun effet sur Y. Donc, je choisis le modèle 1 plutôt que le modèle 2.

JPMSpoof
la source

À mon humble avis, cela ne répond pas à la question.

amibe dit Réintégrer Monica

Quelle est la relation entre l'ANOVA pour comparer les moyennes de plusieurs groupes et l'ANOVA pour comparer les modèles imbriqués?

Réponses: