L'ANOVA s'appuie-t-elle sur la méthode des moments et non sur le maximum de vraisemblance?

13

Je vois mentionné à divers endroits que l'ANOVA fait son estimation en utilisant la méthode des moments.

Je suis confus par cette affirmation parce que, même si je ne suis pas familier avec la méthode des moments, ma compréhension est que c'est quelque chose de différent et non équivalent à la méthode du maximum de vraisemblance; d'autre part, l'ANOVA peut être considérée comme une régression linéaire avec des prédicteurs catégoriels et une estimation par l'OLS des paramètres de régression est la probabilité maximale.

Donc:

  1. Qu'est-ce qui qualifie les procédures ANOVA comme méthode des moments?

  2. Étant donné que l'ANOVA est équivalente à l'OLS avec des prédicteurs catégoriques, n'est-ce pas la probabilité maximale?

  3. Si ces deux méthodes s'avèrent en quelque sorte équivalentes dans le cas particulier de l'ANOVA habituelle, y a-t-il des situations ANOVA spécifiques lorsque la différence devient importante? Conception déséquilibrée? Mesures répétées? Conception mixte (inter-sujets + intra-sujets)?

amibe dit réintégrer Monica
la source
4
Dans le cadre simple, et par simple je veux dire ANOVA unidirectionnelle et bidirectionnelle, l'ANOVA est dérivée d'un TLR sous des distributions normales avec des variances égales, donc c'est la probabilité maximale qui est utilisée. Bien sûr, dans le cas normal, les estimateurs mle et mom coïncident donc la distinction n'est pas très importante. Dans les paramètres plus complexes, cependant, plutôt que de dériver des TLR, nous nous appuyons sur la régression OLS. L'OLS n'est que le mle sous une distribution normale et est un estimateur de maman dans le cadre plus général, si l'on impose l'orthogonalité avec les résidus qui est.
JohnK
1
@JohnK, merci beaucoup pour votre commentaire mais j'ai du mal à en comprendre certaines parties, en particulier la deuxième partie: quels sont les "paramètres plus complexes" dans lesquels l'ANOVA s'appuie sur OLS au lieu de LRT (et pourquoi)? Pourquoi OLS n'est-il pas MLE dans ce "cadre plus général" - je pensais que les erreurs normales sont toujours supposées dans n'importe quel scénario ANOVA? Qu'est-ce que l'orthogonalité avec les résidus doit faire? J'apprécierai grandement si vous développez votre commentaire en réponse.
amibe dit Réintégrer Monica
2
@amibe. J'ai édité ma réponse pour répondre à votre premier point sur l'ANOVA étant une méthode d'estimation des moments. Cela n'est vrai que pour les effets aléatoires.
Placidia

Réponses:

12

J'ai rencontré l'ANOVA pour la première fois lorsque j'étais étudiant à la maîtrise à Oxford en 1978. Les approches modernes, en enseignant ensemble des variables continues et catégorielles dans le modèle de régression multiple, rendent difficile pour les jeunes statisticiens de comprendre ce qui se passe. Il peut donc être utile de revenir à des temps plus simples.

Dans sa forme originale, l'ANOVA est un exercice d'arithmétique par lequel vous divisez la somme totale des carrés en morceaux associés aux traitements, blocs, interactions, etc. Dans un cadre équilibré, des sommes de carrés avec une signification intuitive (comme SSB et SST) s'ajoutent à la somme totale ajustée des carrés. Tout cela fonctionne grâce au théorème de Cochran . En utilisant Cochran, vous pouvez calculer les valeurs attendues de ces termes sous les hypothèses nulles habituelles, et les statistiques F en découlent.

En prime, une fois que vous commencez à penser à Cochran et aux sommes de carrés, il est logique de continuer à trancher et à découper vos sommes de traitement de carrés en utilisant des contrastes orthogonaux. Chaque entrée dans le tableau ANOVA doit avoir une interprétation intéressante pour le statisticien et produire une hypothèse vérifiable.

J'ai récemment écrit un réponse où la différence entre les méthodes MOM et ML est apparue. La question portait sur l'estimation des modèles à effets aléatoires. À ce stade, l'approche ANOVA traditionnelle sépare totalement l'entreprise avec une estimation du maximum de vraisemblance, et les estimations des effets ne sont plus les mêmes. Lorsque la conception est déséquilibrée, vous n'obtenez pas non plus les mêmes statistiques F.

σp2σ2σ2+nσp2nσb2^. L'ANOVA fournit une méthode d'estimation des moments pour la variance à effet aléatoire. Maintenant, nous avons tendance à résoudre ces problèmes avec des modèles à effets mixtes et les composantes de la variance sont obtenues par une estimation du maximum de vraisemblance ou REML.

L'ANOVA en tant que telle n'est pas une méthode de procédure de moments. Il s'agit de diviser la somme des carrés (ou plus généralement, une forme quadratique de la réponse) en composants qui produisent des hypothèses significatives. Cela dépend fortement de la normalité car nous voulons que les sommes des carrés aient des distributions khi-deux pour que les tests F fonctionnent.

Le cadre du maximum de vraisemblance est plus général et s'applique à des situations comme les modèles linéaires généralisés où les sommes des carrés ne s'appliquent pas. Certains logiciels (comme R) invitent à la confusion en spécifiant les méthodes anova aux tests de rapport de vraisemblance avec des distributions asymptotiques de chi carré. On peut justifier l'utilisation du terme "anova", mais à proprement parler, la théorie sous-jacente est différente.

Placidia
la source
2
Le test F de l'ANOVA unidirectionnelle et bidirectionnelle est un test de rapport de vraisemblance et vous pouvez consulter Hogg et Craig, Intrduction to Mathematical Statistics, chapitre 9 si vous ne me croyez pas. De plus, le test F utilisé dans la régression normale est également un LRT, de nombreuses références pour cela.
JohnK
1
Je vais vérifier. Pour l'instant, j'ai supprimé le paragraphe.
Placidia
1
+1, merci beaucoup pour la réponse. C'est exactement votre réponse liée qui a déclenché ma question, soit dit en passant. Il y a beaucoup de choses que je ne comprends pas très bien dans ce que vous avez écrit. Je voyagerai au cours de la nouvelle année et n'aurai pas le temps d'y penser, mais je reviendrai sur ce sujet une fois de retour en janvier. En attendant, je voudrais encore une fois encourager @JohnK à publier une réponse développant les points qu'il a soulevés dans les commentaires. J'apprécierais particulièrement quelques explications plus techniques, peut-être avec un exemple spécifique. Joyeux Noël et bonne année à vous tous!
amibe dit Réintégrer Monica
1
Joyeux Noël à toi aussi. Dans mon article lié, je pensais juste à l'estimation de la variance à effet aléatoire, qui est MOM dans l'approche traditionnelle. Désolé si ma remarque vous a semblé plus générale que je ne le souhaitais.
Placidia
2
Au bout d'un an et demi, j'ai relu votre réponse et j'ai réalisé qu'elle était assez claire, alors je l'ai finalement marquée comme acceptée :-) A bientôt.
amibe dit Réintégrer Monica