Quelle est la différence mathématique entre les effets aléatoires et les effets fixes?

J'ai trouvé beaucoup de choses sur Internet concernant l'interprétation des effets aléatoires et fixes. Cependant, je n'ai pas pu obtenir une source épinglant ce qui suit:

Quelle est la différence mathématique entre les effets aléatoires et les effets fixes?

J'entends par là la formulation mathématique du modèle et la façon dont les paramètres sont estimés.

Le modèle le plus simple à effets aléatoires est le modèle ANOVA unidirectionnel à effets aléatoires, donné par les observations avec des hypothèses de distribution: ( y i j ∣ μ i ) ∼ iid N ( μ i$y_{ij}$

Ici, les effets aléatoires sont les . Ce sont des variables aléatoires, alors que ce sont des nombres fixes dans le modèle ANOVA avec des effets fixes.$\mu_i$

Par exemple, chacun des trois techniciens dans un laboratoire enregistre une série de mesures, et y i j est la j- ème mesure du technicien i . Appelez μ i la "vraie valeur moyenne" de la série générée par le technicien i ; il s'agit d'un paramètre légèrement artificiel, vous pouvez voir μ i comme la valeur moyenne que le technicien i aurait obtenu s'il avait enregistré une énorme série de mesures.$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Si vous souhaitez évaluer , μ 2 , μ 3 (par exemple pour évaluer le biais entre opérateurs), alors vous devez utiliser le modèle ANOVA à effets fixes.$\mu_1$$\mu_2$$\mu_3$

Vous devez utiliser le modèle ANOVA avec des effets aléatoires lorsque vous êtes intéressé par les variances et σ 2 b définissant le modèle, et la variance totale σ 2 b + σ 2 w (voir ci-dessous). La variance σ 2 w est la variance des enregistrements générés par un technicien (elle est supposée être la même pour tous les techniciens), et σ $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$ est appelée la variance entre techniciens. Idéalement, les techniciens devraient être choisis au hasard.$\sigma^2_b$

Ce modèle reflète la formule de décomposition de la variance pour un échantillon de données:

Variance totale = variance des moyennes moyennes des intra-variances$+$

qui se traduit par le modèle ANOVA avec des effets aléatoires:

En effet, la distribution de est définie par sa distribution conditionnelle ( y i j ) donnée µ i et par la distribution de µ i . Si l'on calcule la distribution "inconditionnelle" de y i j alors on trouve y i j ∼ N ( μ , σ 2 b + σ 2 w ) .$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Voir diapositive 24 et diapositive 25 ici pour de meilleures photos (vous devez enregistrer le fichier pdf pour apprécier les superpositions, ne regardez pas la version en ligne).

Fondamentalement, ce que je pense être la différence la plus nette si vous modélisez un facteur comme aléatoire, c'est que les effets sont supposés être tirés d'une distribution normale commune.

Par exemple, si vous avez une sorte de modèle concernant les notes et que vous voulez tenir compte des données de vos élèves provenant de différentes écoles et que vous modélisez l'école comme un facteur aléatoire, cela signifie que vous supposez que les moyennes par école sont normalement distribuées. Cela signifie que deux sources de variation sont modélisées: la variabilité à l'école des notes des élèves et la variabilité entre les écoles.

Il en résulte quelque chose appelé regroupement partiel . Considérez deux extrêmes:

1. L'école n'a aucun effet (la variabilité entre les écoles est nulle). Dans ce cas, un modèle linéaire qui ne tient pas compte de l'école serait optimal.
2. La variabilité des écoles est plus grande que la variabilité des élèves. Ensuite, vous devez essentiellement travailler au niveau de l'école plutôt qu'au niveau des élèves (moins de # échantillons). Il s'agit essentiellement du modèle où vous tenez compte de l'école en utilisant des effets fixes. Cela peut être problématique si vous avez peu d'échantillons par école.

En estimant la variabilité aux deux niveaux, le modèle mixte fait un compromis intelligent entre ces deux approches. Surtout si vous avez un nombre d'élèves par école moins important, cela signifie que vous obtiendrez un rétrécissement des effets pour les écoles individuelles estimés par le modèle 2 vers la moyenne globale du modèle 1.

C'est parce que les modèles indiquent que si vous avez une école avec deux élèves inclus, ce qui est mieux que ce qui est «normal» pour la population des écoles, il est probable qu'une partie de cet effet s'explique par le fait que l'école a eu de la chance dans le choix. des deux étudiants regarda. Il ne le fait pas aveuglément, il le fait en fonction de l'estimation de la variabilité intra-scolaire. Cela signifie également que les niveaux d'effet avec moins d'échantillons sont plus fortement attirés vers la moyenne globale que les grandes écoles.

L'important est que vous ayez besoin d'échangeabilité aux niveaux du facteur aléatoire. Cela signifie dans ce cas que les écoles sont (à votre connaissance) échangeables et que vous ne savez rien qui les distingue (à part une sorte de pièce d'identité). Si vous avez des informations supplémentaires, vous pouvez les inclure comme facteur supplémentaire, il suffit que les écoles soient échangeables sous réserve des autres informations prises en compte.

Par exemple, il serait logique de supposer que les adultes de 30 ans vivant à New York sont échangeables sous réserve du sexe. Si vous avez plus d'informations (âge, origine ethnique, éducation), il serait logique d'inclure également ces informations.

OTH si vous avez étudié avec un groupe témoin et trois groupes de maladies très différents, il n'est pas logique de modéliser le groupe comme aléatoire car une maladie spécifique n'est pas échangeable. Cependant, beaucoup de gens aiment si bien l'effet de retrait qu'ils plaideraient toujours pour un modèle d'effets aléatoires, mais c'est une autre histoire.

Je remarque que je ne me suis pas trop intéressé aux mathématiques, mais fondamentalement la différence est que le modèle à effets aléatoires a estimé une erreur normalement distribuée à la fois au niveau des écoles et au niveau des élèves tandis que le modèle à effet fixe a l'erreur juste sur le niveau des étudiants. Cela signifie en particulier que chaque école a son propre niveau qui n'est pas connecté aux autres niveaux par une distribution commune. Cela signifie également que le modèle fixe ne permet pas d'extrapoler à un élève de l'école non inclus dans les données originales alors que le modèle à effet aléatoire le fait, avec une variabilité qui est la somme du niveau de l'élève et de la variabilité du niveau de l'école. Si vous êtes spécifiquement intéressé par la probabilité que nous puissions y travailler.

En zone écon, ces effets sont des interceptions (ou constantes) spécifiques à chaque individu qui ne sont pas observées, mais peuvent être estimées à l'aide de données de panel (observation répétée sur les mêmes unités dans le temps). La méthode d'estimation des effets fixes permet une corrélation entre les intersections spécifiques à l'unité et les variables explicatives indépendantes. Les effets aléatoires ne le font pas. Le coût d'utilisation des effets fixes plus flexibles est que vous ne pouvez pas estimer le coefficient sur des variables invariantes dans le temps (comme le sexe, la religion ou la race).

NB D'autres domaines ont leur propre terminologie, ce qui peut être assez déroutant.

Dans un progiciel standard (par exemple R lmer), la différence de base est:

• les effets fixes sont estimés par maximum de vraisemblance (moindres carrés pour un modèle linéaire)
• les effets aléatoires sont estimés par des Bayes empiriques (moindres carrés avec un certain retrait pour un modèle linéaire, où le paramètre de retrait est choisi par maximum de vraisemblance)

Si vous êtes bayésien (par exemple WinBUGS), il n'y a pas de réelle différence.

@Joke Un modèle à effets fixes implique que la taille d'effet générée par une étude (ou une expérience) est fixe, c'est-à-dire que les mesures répétées pour une intervention donnent la même taille d'effet. Les conditions externes et internes de l'expérience ne changent probablement pas. Si vous avez un certain nombre d'essais et / ou d'études dans des conditions différentes, vous aurez différentes tailles d'effet. Les estimations paramétriques de la moyenne et de la variance pour un ensemble de tailles d'effet peuvent être réalisées en supposant qu'il s'agit d'effets fixes ou d'effets aléatoires (réalisés à partir d'une superpopulation). Je pense que c'est une question qui peut être résolue à l'aide de statistiques mathématiques.