Intuition sur l'estimation des paramètres dans les modèles mixtes (paramètres de variance vs modes conditionnels)

J'ai lu à plusieurs reprises que les effets aléatoires (BLUP / modes conditionnels pour, disons, les sujets) ne sont pas des paramètres d'un modèle linéaire à effets mixtes mais peuvent être dérivés des paramètres de variance / covariance estimés. Par exemple, Reinhold Kliegl et al. (2011) indiquent:

Les effets aléatoires sont les écarts des sujets par rapport à la RT moyenne et les écarts des sujets par rapport aux paramètres à effet fixe. Ils sont supposés être indépendamment et normalement distribués avec une moyenne de 0. Il est important de reconnaître que ces effets aléatoires ne sont pas des paramètres du LMM - seulement leurs variances et covariances. [...] Les paramètres LMM en combinaison avec les données des sujets peuvent être utilisés pour générer des «prédictions» (modes conditionnels) d'effets aléatoires pour chaque sujet.

Quelqu'un peut-il expliquer de manière intuitive comment les paramètres de (co) variance des effets aléatoires peuvent être estimés sans réellement utiliser / estimer les effets aléatoires?

mixed-model intuition blup statmerkur
la source

Réponses:

Considérons un modèle mixte linéaire simple, par exemple un modèle d'interception aléatoire où nous estimons la dépendance de sur chez différents sujets, et supposons que chaque sujet a sa propre interception aléatoire:Ici, les interceptions sont modélisées comme provenant d'une distribution gaussienne et le bruit aléatoire est également gaussien Dans la syntaxe, ce modèle serait écrit comme . $y$ $x$

y = une + b X + c_{je} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{je} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Il est instructif de réécrire ce qui précède comme suit:

\begin{matrix} y ∣ c \sim N (une + b X + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Il s'agit d'une manière plus formelle de spécifier le même modèle probabiliste. De cette formulation, nous pouvons voir directement que les effets aléatoires ne sont pas des "paramètres": ce sont des variables aléatoires non observées. Alors, comment pouvons-nous estimer les paramètres de variance sans connaître les valeurs de ? $c_i$ $c$

Notez que la première équation ci-dessus décrit la distribution conditionnelle de étant donné . Si nous connaissons la distribution de et de , alors nous pouvons déterminer la distribution inconditionnelle de en intégrant sur . Vous la connaissez peut-être comme la loi de la probabilité totale . Si les deux distributions sont gaussiennes, alors la distribution inconditionnelle résultante est également gaussienne. $y$ $c$ $c$ $y\mid c$ $y$ $c$

Dans ce cas, la distribution inconditionnelle est simplement , mais nos observations ne sont pas des échantillons de celle-ci car il existe plusieurs mesures par sujet. Pour continuer, nous devons considérer la distribution de l'ensemble du vecteur à dimensions de toutes les observations: où est une matrice bloc-diagonale composée de et . Vous avez demandé de l'intuition donc je veux éviter les maths. Le point important est que cette équation n'a pas $\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (une + b X, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$ plus! C'est ce que l'on adapte réellement aux données observées, et c'est pourquoi on dit que ne sont pas les paramètres du modèle.

c_{i}

$c_i$

Lorsque les paramètres , , et sont ajustés, on peut déterminer la distribution conditionnelle de pour chaque . Ce que vous voyez dans la sortie du modèle mixte sont les modes de ces distributions, alias les modes conditionnels. $a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

amibe dit réintégrer Monica
la source

J'aime cette réponse. J'ai aussi aimé la question. Personnellement, je lutte toujours sur le mécanisme (je ne me suis en fait jamais soucié d'étudier les algorithmes qui résolvent les LMEM). Je suppose donc que la différence des effets aléatoires se fait en passant de à J'imagine qu'un petit exemple qui fonctionne cela pourrait être bien. J'envisage de le faire moi-même, mais il y a peut-être des ressources qui montrent déjà de tels exemples (n'importe qui?).

y \sim N (une + b X, σ^{2} je)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (une + b X, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

Sextus Empiricus

@statmerkur Tau est un paramètre; la dernière formule dans ma réponse comprend toujours le tau. Le point crucial est que la dernière formule n'inclut PAS . Nous combinons simplement deux équations ensemble de telle sorte que tombe de là (techniquement, nous intégrons sur ). Ensuite, nous ajustons le modèle, ce qui signifie que nous ajustons tau et d'autres paramètres.

c

$c$

c

$c$

c

$c$

Amoeba dit Reinstate Monica

Je pense que je ne comprends tout simplement pas l'étape d'intégration. Comme l'a souligné @Martijn Weterings, un petit exemple ou référence (code R) où l'on peut trouver que ce serait génial!

statmerkur

Merci d'avoir accepté ma réponse et de m'avoir accordé la prime @statmerkur, mais il est dommage qu'elle ne soit pas claire. Je vais essayer de penser à un exemple. Je vous cinglerai lorsque je mettrai à jour la réponse.

Amoeba dit Reinstate Monica

@statmerkur Dans une réponse à cette question, je démontre le calcul manuel d'un modèle à effets mixtes (manuel dans le sens d'écrire la fonction de vraisemblance, l'optimisation est toujours effectuée par une fonction d'optimisation standard en R) stats.stackexchange.com/a/ 337348/164061

Sextus Empiricus

Vous pouvez facilement estimer les paramètres de variance et de covariance sans vous fier aux effets aléatoires en utilisant des effets fixes (voir ici pour une discussion effets fixes vs effets aléatoires; sachez qu'il existe différentes définitions de ces termes).

Les effets fixes peuvent être facilement dérivés en ajoutant une variable indicatrice (binaire) pour chaque groupe (ou pour chaque période de temps ou tout ce que vous pensez utiliser comme effets aléatoires; cela équivaut à la transformation intra). Cela vous permet d'estimer facilement les effets fixes (qui peuvent être considérés comme un paramètre).

L'hypothèse des effets fixes ne vous oblige pas à faire une hypothèse de la distribution des effets fixes, vous pouvez facilement estimer la variance des effets fixes (bien que cela soit extrêmement bruyant si le nombre d'observations dans chaque groupe est petit; ils minimisent le biais pour le coût d'une variance beaucoup plus grande par rapport aux effets aléatoires parce que vous perdez un degré de liberté pour chaque groupe en ajoutant ces variables indicatrices). Vous pouvez également estimer les covariances entre différents ensembles d'effets fixes ou entre les effets fixes et d'autres covariables. Nous l'avons fait par exemple dans un article intitulé Competitive Balance and Assortative Matching en Bundesliga allemande pour estimer si de meilleurs joueurs de football jouent de plus en plus pour de meilleures équipes.

Les effets aléatoires nécessitent une hypothèse préalable sur la covariance. Dans les modèles classiques à effets aléatoires, vous supposez que les effets aléatoires sont comme une erreur et qu'ils sont indépendants des autres covariables (de sorte que vous pouvez les ignorer et utiliser OLS et obtenir des estimations cohérentes quoique inefficaces pour l'autre paramètre si les hypothèses du modèle à effets aléatoires est vrai).

De plus amples informations techniques sont disponibles ici . Andrew Gelman a également beaucoup de travail plus intuitif à ce sujet dans son joli livre Analyse des données à l'aide de modèles de régression et multiniveaux / hiérarchiques

Arne Jonas Warnke
la source

Je fais référence aux paramètres de (co) variance des effets aléatoires (voir ma modification).

statmerkur

Je ne pense pas que cela réponde à la question.

amibe dit Réintégrer Monica le